霍光从政的经历无疑是非常辉煌的，正史中对他忠 诚的赞美不乏文辞。但凡事要看两面，霍光几十年独掌朝  政，大权独揽，也有一些为时人所垢病的行为和做派，这 自然也逃不过史学家的春秋之笔。首先，霍光是一个工于心计、权力欲望很强的人。他 凡事都非常谨慎，细微盘算，甚至每次进入皇宫站立的位  置，都刻意保持不差分毫，足见其用心之精。
  霍光掌握朝 政大权后，多次拒绝了朝中王公大臣为子弟求官的要求， 其中就包括同为辅政大臣的桑弘羊等人，也因此与很多人  结了仇。从表面看来，霍光这是秉公执法，不徇私情。但 同时，霍光对自己家族成员加官晋爵却是“毫不吝惜”： 霍光的儿子霍禹和霍光兄长的孙子霍云都被封为中郎将；  霍云的弟弟霍山被封为奉车都尉、侍中，领胡越兵；霍光 的两位女婿邓广汉和范明友被封为东西宫的卫尉；其他的 亲戚如昆弟、外孙等也都被封为大夫、骑都尉、给事中等  职。
  用《汉书》中的一句话形容，就是“党亲连体，根据 于朝廷”，即霍家的势力盘根错节，占据了朝廷要职。值 得注意的是，霍光给予亲属的官职大都是掌管兵权的要职，由此可见其用意。其次，霍光治家不严，放纵家人为非作歹。霍禹、霍  山大肆治办宅第，骑马在皇家宫苑中肆意玩乐追逐。
  霍云 时常称病不肯上朝，自己带着宾客外出围猎消遣。霍光的 妻子霍显和几个女儿更是视严格的皇宫进出制度为无物，  不论白天夜晚，随意出入皇宫禁地，如同进出自家“菜 地”一般。主子骄横，奴才便更加飞扬跋扈。霍家家奴冯 子都在霍光生前很受宠信，霍光一死，他竟与霍光的遗孀 霍显私通淫乱。
  更有甚者，一次，霍家与御史中丞家的家  奴争斗，霍家家奴竟然闯入御史中丞的府邸，扬言“踢 馆”，最后逼得堂堂御史中丞给他们磕头谢罪才罢休。当 时流传甚广的一首著名乐府诗《羽林郎》中便有如下诗 句：“昔有霍家奴，姓冯名子都。依倚将军势，调笑酒家  胡。
  ”霍家的嚣张可见一斑。霍家的权势还体现在霍光丧葬的排场上。霍光死后， 他的家人极尽铺张之能事，将他的墓地修得如皇家陵寝一  般，奢华异常。霍光以及霍家势力的存在让皇帝时常感到 “如芒在背”，而专权的霍氏一族也一步步临近了覆亡的 深渊。