地节二年春三月，大将军霍光病重，未几去世。汉宣帝与上官太后一同到场治丧，命以天子礼仪葬于茂陵。以玉衣、梓宫、便房、黄肠题凑为葬，死后哀荣，前无古人。

宣帝隐忍六年，此时霍光既死，终得亲政。因怀疑是霍家派人毒杀许皇后，故一旦亲政，便着手削减霍家权势，又安排史、许两家外戚亲属掌握大权，制衡霍氏。

霍显生性愚蠢，不知靠山已倒，应当养光韬晦，反而愈加张狂。

于是为丈夫下葬之时，随意改变霍光生前所设计墓地规制，擅自加以扩大。

先建起三个出口门阙，修筑神道，北面靠近昭灵，南面越出丞墨。

又大肆装修祠堂，辇车专用道直通到墓穴中永巷，又幽禁平民、奴婢、侍妾，令其守护坟茔。更大建住宅，制造乘辇，增加绣花坐垫、把手，涂饰黄金，又用皮裹丝絮以包车轮，侍婢用五彩丝带拉车，在府中游戏取乐。

霍光生时宠爱家奴总管冯子都，长得高大魁梧，玉树临风。此时霍显守寡独居，便与冯子都明铺暗盖，主仆通奸。

霍禹、霍山见此，也都效尤模仿，同时修缮住宅，常在平乐馆跑马追逐。

霍云多次称病不朝，私下外出，带宾客在黄山苑囿中张围打猎，委派奴仆代为上朝。

霍显与其诸女，不分昼夜进出长信宫，毫无限度。因闻宣帝亲理朝政，命御史大夫魏相任给事中。乃召集霍禹、霍云、霍山等人，与其密商。

霍显：大将军弃世，今御史大夫任给事中，一旦有人居中挑拨，汝辈尚能自救乎？

霍云：给事中虽落魏相之手，但天下兵权皆在我霍氏之手，其又能奈我何？

霍禹：此言是也。那魏相乃是一介文士，不足为忧！

其余子侄闻此，俱都哄然称是，齐都附和。霍显见此，也就只得罢议，众人皆散。

此后经月，太平无事。

这一日，霍云率其奴仆在当街横行，迎面正遇魏相乘舆。两家奴仆因为互不相让，引发口角相争。霍云大喝一声，正要下令大打出手；魏相喝止自家奴仆，绕路还府。

霍云却不肯就此罢休，驱使奴仆前往魏府，扬言要捣毁大门，打进府去。

魏相闻此，只得忍气吞声，亲出大门与霍云相见，当众屈身叩头请罪。霍云占尽上风，兼又威风抖足，这才率领众奴洋洋离去。

霍显闻之，不喜反忧，知道必有忧患将至。

其后未几，天子再次下诏，征拜魏相担任丞相，并常在闲暇时召入内宫谈论政事。