祖逖率领人马成功渡江后在淮阴驻扎。他招募新兵、铸造兵器并开展军事训练，得到当地百姓的鼎力支持。不久他便组建了一支两千人的队伍并正式展开北伐行动。在他的带领下，部队势如破竹，沿途百姓热烈拥护。祖逖连克数敌，夺回黄河以南大片土地。
当时，长江以北的诸多地区，地主豪强们各据一方，设立坞堡以自保。他们有的自守一隅，有的与胡人勾结反晋，有的则与晋朝联手对抗胡人。这些豪强之间为争夺地盘，时常爆发激烈冲突。祖逖深知，若能将这些人拉拢过来，共同北伐，将极大增强北伐力量。
于是，他主动邀请这些地主豪强至军营，坦诚相告：“胡人侵犯我国土，国家危在旦夕。我们若再内斗，岂不是民族的罪人？应联合起来，驱逐胡人，保卫家国。此乃英雄豪杰之责。”祖逖的言辞恳切，深深打动了这些地主豪强，他们纷纷摒弃前嫌，转而支持祖逖的北伐大业。
随着地主豪强的加入，祖逖的威望日益提升，部队人数也不断壮大，几乎每战必胜。
公元319年，蓬陂坞堡主陈川与后赵将领桃豹勾结，集结五万精兵，意图阻止祖逖北进。双方在蓬陂展开激战，四十余日不分胜负，粮草皆告急。此时，祖逖心生一计。他命士兵运送装满泥土的布袋至军营，又故意让几袋大米半路上被桃豹军抢去。桃豹见之大喜，误以为晋军粮草充足，而自己的部队却面临断粮之危。他急忙派人向石勒求援。祖逖早已料到这一招，设伏于路，截获了后赵的粮草。桃豹军无粮可食，只得连夜撤退。祖逖趁机追击，收复数座失地。
随后的几年里，祖逖率领部队连战连胜，终将后赵jūn_duì 逐出黄河以南地区，为北伐事业立下赫赫战功。
祖逖身为军事统帅，作战时总是身先士卒，冲锋在前，其英勇无畏的精神深深感染了北伐军的每一位将士。因此，在他率领下，北伐军将士个个英勇善战，所向披靡。此外，这支jūn_duì 纪律严明，对百姓关怀备至，经常帮助那些家园被毁的百姓耕作，深受百姓爱戴。
正当祖逖厉兵秣马，准备挥师北进，一举收复中原之际，司马睿却因妒贤嫉能，害怕祖逖势力过大，难以控制，于是设法牵制他。司马睿派遣自己的亲信戴渊接管北方六州的军事大权，实则剥夺了祖逖的军权。祖逖为国家鞠躬尽瘁，却落得如此下场，心中苦闷不已。
不久之后，噩耗传来，好友刘琨竟被朝廷所害。这一消息让祖逖心情更加沉重，加之连日劳累，终于病倒。然而，即使在病中，他仍心系黄河沿岸的防务，生怕石勒趁机偷袭，于是亲自安排人手修筑工事，确保防线稳固。