公元前85年，鉴于霍光的忠贞与功绩，汉昭帝封他为博陆侯。霍光的女儿嫁给上官桀的儿子上官安，上官桀家族通过盖长公主的帮助将上官安的女儿送入宫中成为皇后，此举虽最初遭到霍光的反对，但出于家族联姻关系及宫廷复杂的政治考量，霍光最终妥协。上官安因此获封桑乐侯，但上官父子企图通过裙带关系进一步扩张权力，遭到了霍光的坚决抵制，他坚持选拔官员应以德才兼备为原则，这一立场导致上官父子与霍光产生裂痕，进而与盖长公主、桑弘羊勾结，策划推翻霍光和汉昭帝，改立燕王刘旦。然而，阴谋泄露，霍光与昭帝迅速反击，果断铲除了上官父子和桑弘羊及其党羽，盖长公主和燕王闻讯自知无法逃脱，先后自尽，上官皇后因其年少且身为霍光的外孙女得以保全。
从此，霍光在朝廷中的影响力无人能及，他的诸多亲属也因此受益，霍氏家族一时显赫。直到公元前74年，汉昭帝驾崩且无子嗣继承皇位。霍光与众大臣商议后，未选择汉武帝不喜欢的广陵王刘胥，而是迎立了汉武帝的孙子、昌邑王刘贺为帝，霍光继续担任辅政大臣。然而，刘贺荒yín 无道，行为失德，不仅未能遵守孝道，反而变本加厉地胡作非为，这让霍光和群臣忧心忡忡，意识到若不及时制止，刘贺将会断送汉室江山。霍光遂联合众臣，毅然决定废黜刘贺，并寻找到汉武帝曾孙刘病已（后改名为刘询，即汉宣帝），将其扶上了皇位。
霍光的抉择展现了他对汉朝的无比忠诚和高瞻远瞩的政治眼光，面对可能颠覆国家稳定的危机，他勇于承担，哪怕冒着被后人诟病的风险，也要确保国家的长治久安。霍光择贤立君，废黜昏聩的昌邑王刘贺，转而拥立贤明的汉宣帝，这一举措有力地保障了刘氏王朝的延续和汉朝的稳定发展。