面对嘉靖的再次慰留，严嵩还是上疏请求致仕，并且将嘉靖送来的奏疏退回，严嵩在奏疏中称：国朝断无此例，臣不敢僭越也！
面对严嵩态度坚决的请求致仕，嘉靖没有第一时间答复，而是令内阁照常处理政务，有重大事项，还是要询问严嵩的意见，这就搞得徐阶很痛苦了，虽然严嵩已经明确上疏致仕，但是只要嘉靖还没有批准，严嵩就还是大明的内阁首辅，有关军国重事，确实需要严嵩的首肯才行。
徐阶只得一次次到严嵩府上恳请严嵩的意见，但是每次吃了闭门羹，严世蕃出来告知徐阶道：“徐阁老，若是私下拜访，家父当扫榻以待，有关国事还请徐阁老自决吧！”
徐阶苦笑着说道：“小阁老，严阁老是首揆，下官岂敢僭越。”
严世蕃面无表情的说道：“徐阁老说笑了，家父已经上疏陛下，请求致仕，只待陛下御批了。再者说，小阁老着三字，如今可不能用在下官身上了，贵府公子才是小阁老啊。”
徐阶赶紧说道：“小阁老说笑了，犬子何能及小阁老之万一也。”
严世蕃回答徐阶的就两个字，呵呵。
严嵩去意已决，现在朝廷和嘉靖都明白了，只看嘉靖什么时候正式下达诏书了。
严嵩最近每日在府内读书写字，同时打点行装，准备嘉靖的诏令一下达，就开始陆续的南归，严嵩当了近二十年的辅臣，他也不是什么爱惜羽毛之辈，宦囊丰厚，这是朝野皆知的事情。
严嵩精于书法诗词，是当世的大书法家，也是大鉴赏家。严嵩钟爱各种珍玩书画，下面的各级官员为了讨严嵩的欢心，搜取古玩不遗余力，尤其是古今名家书画，更是严嵩的心头所好，严嵩本人就是大书法家，笔力雄健，更是精于鉴赏。
严嵩这二十多年以来，所得的各种书画有三千多幅，都是精品。有魏、晋、六朝、唐、宋、 元、明各代众多书画名家的力作，王羲之、王献之、褚遂良、柳公权、颜真卿、怀素、苏轼、黄庭坚、米芾、文彦博、欧阳修，陆游、赵孟礴顺、李东阳、祝允明、文征明等大家之作，在严嵩府上并不稀奇。
更有《越王宫殿图》、《文会图》、清明上河图等前代名画，毫不夸张的说，严嵩的收藏，比之内府不遑多让。严嵩还有收藏的各色古籍善本，也都是极为珍贵之物。严嵩最近主要是一件件的筛选自己的收藏，严世蕃也陪着自己老父亲一件件的整理这些书画。