第二日不到午时，大单于带领匈奴全军已抵达雁门关，各部各自选好地势扎下营帐，左谷蠡王并左大将齐来见大单于，说道知大单于将亲来，故此等候，并未开仗。
大单于吩咐各部各自埋锅造饭，且先安顿下来，自领了各部首领齐来雁门关前踏看地理。观之良久，大单于叹道：“赵军这个地势选得好啊，这李牧打仗不怎么样，筑城的本事倒是不错。”
左贤王道：“的确如此，此城虽小，占住了要津，若是我们不能突破此城，南下无路。”
右贤王道：“占住了关键位置又如何，此城城墙如此低矮，骑兵冲到城下万箭齐发，等射杀了城上赵军，搭人梯也攻上去了。”
大单于道：“我大军新到疲乏，未可便战。还是左谷蠡王和左大将先进攻，我等休息好了，明日各部轮番进攻，拿下雁门关。”
左谷蠡王和左大将闻言脸色发白，不过却不敢反对，只得各自下去准备。
左谷蠡王与左大将领兵列于关城之下骂战，关上之人理也不理。二人下令以千人为一队，轮番冲到城关之下放箭，城楼上也放弩箭对射，各自伤了不少人。
赵成道：“将军何不下令全力射杀，如此零零散散的放箭，能射得几人？”
李牧道：“如今我们的任务是将匈奴人拖在城下，不可使其攻上来，又不可使其惧而退走。所以与对方在此不紧不慢的对攻，是最好的选择。”
赵大嘴道：“如此多匈奴人在城下，全都射杀了才好，却要拖住他们，真是急死个人。”
诸葛明道：“将军之意，若是我杀伤匈奴人太众，匈奴人破关无望，必然退走。若那时司马将军尚未准备好，匈奴人逃进了草原我就无能为力了。”
赵大嘴道：“原来如此。这么些个弯弯绕，将军是如何想到的？”
李将军不再答言，认真观战。
头曼单于领着众头领在关前山坡上观战，见城关上箭矢稀疏，不由道：“左谷蠡王往日里也是个勇士，今日为何如此无用，防守如此松懈之城，攻了半天毫无进展。”
战至日暮降临，匈奴人退兵。左谷蠡王计点人马，两部合计又折损了千余人。
雁门关将军府
李将军正与众将议事，诸葛明道：“今日大概折损了三四百人。”
赵大嘴道：“我城中军械如此充足，却只用些劣弓小弩守城，累我折损如此之众，心实不甘。”
李将军道：“示弱只是为了给司马将军争取时间，我已得报匈奴人果然全军南下，都到了关前。按计划匈奴人大军南下之后司马将军需要七日方可彻底堵死匈奴人归路，为免中途有差错，相约司马将军准备停当之后会点燃烽火台。我们得见狼烟四起，便可放手猛攻匈奴兵；狼烟不起，我们便须得设法拖住匈奴人。拖住匈奴人最好的办法，必得让匈奴人坚信雁门关可破，晋阳只在眼前。如此我们必须做出苦战之态，每日看起来都是堪堪抵住匈奴人进攻而已。”
次日头曼大单令左谷蠡王和左大将休整士卒，各部族轮番上阵。各部皆养精蓄锐已久，齐齐冲至关前放箭，关城之上箭矢依然并不密集。一部分蛮兵丢了弓箭，持弯刀搭人梯爬城而上，城上分了一部分箭雨射杀爬城蛮兵，依然被数个蛮兵爬上城头，双方在城墙上肉搏。
城头守军挥青铜剑砍去，几下将几个蛮兵逼退。
夜晚，头曼单于聚众于大帐之中商议。
头曼单于道：“如此小城，两番攻城无功，明日须得一鼓作气杀进去。”
众皆应诺。
次日又攻了一日，这次有百人攻上城头，依然被赵军赶下。
至夜头曼单于聚众商议，林胡小王道：“我听华夏的客商言道，中原人攻城是用大木做成长梯爬城，我观此城不高，若是寻得大木，做成长梯攻城，必可成功。”