胡宗宪觉得这次赵文华能够大败倭寇，还是狼兵骁勇善战，也想调用狼兵到浙江来作战，但是被郑若曾和徐渭否定了，原因很简单，张经、赵文华能够调动狼兵，都是因为当时倭寇猖獗，本地官军和调来的客兵无力御敌，才准允调动狼兵来的。
眼下倭寇并没有大举袭扰浙江，胡宗宪就算上疏，恐怕也不会被朝廷准允。
徐渭还指出了调客兵的三个危害：滋扰地方、部分客兵战力不佳、耗费靡饷，客兵的军纪不佳已经是人所周知的了，之前松江大捷，赵文华为了约束狼兵，不惜倾尽府库，赏赐狼兵，就是为了满足狼兵，不让他们借机作乱，一旦狼兵或者其他客兵在浙江作乱，胡宗宪作为浙江巡抚和倡议调客兵的始作俑者，必然被弹劾。
胡宗宪便问道：“那以二位先生之见，应当如何处置此事？”
徐渭拿出自己拟的一份文书，对胡宗宪说道：“眼下要务，首先就是筑城。”
进入胡宗宪幕府的数月内，徐渭利用胡宗宪幕僚这一身份，考察了整个浙江城池，徐渭发现，浙江地区面临的城池现状是：沿海诸县仍有相当部分未筑城池，而元末明初兴筑的城池至今已渐趋坍圮，根本无法达到御暴卫民的目的。
徐渭说道：“东翁，浙江全境，尚有未筑城墙的，州县十九个，仅杭州附近，就有富阳、临安、新城、嘉善、崇德、平湖、桐乡等未有城墙。”
没有城墙，就意味着面对倭寇的劫掠，老百姓连庇护所都没有。不光如此，有些州县虽然有城墙，但是年久失修，难以御敌。如余杭县，城墙已经不足一丈，而且有多处坍塌，城防设施也基本都没有，敌楼、望台是一个也无。
徐渭已经统计过了，大概需要新修和重修的城墙有31处，一下子修筑这么多的城墙，需要巨额的投资，虽然县城的修筑，往往由知县联合城中的富户出资，省里面不会给太多钱，但是31座城墙，加起来也不是个小数字啊。
先胡宗宪沉吟不语，徐渭说道：“东翁，夫生历有阶， 御戎无策，曩者所恃以为安者，今无赖矣，无巳其城乎？夫城之为役固巨，然与其委积聚以资寇，孰与并汗血以自守，且吾诚不欲靳一时财力而不为吾民建万世长策也？”
郑若曾也劝道：“东翁，盗起而无城，是弃民也，宜亟下其议！”
胡宗宪当然知道两位幕僚的意思，若是到时候因为没有城墙，导致之前像上海县被倭寇劫掠那样的事情再次发生的话，恐怕胡宗宪头顶的乌纱就难保了。
胡宗宪思虑再三，下定决心说道：“诚如二位先生所言，城工一劳永逸，当亟为亡羊补牢计！请二位先生助某一臂之力！”
郑若曾、徐渭赶紧协助胡宗宪草拟修筑城墙的各种文书。