太兴三年六月祖逖确定刘琨死讯，无比悲痛，立像立碑。命军士司长个个身穿素服，吊祭刘琨。又命公孙成和王安将写给王敦的信带去送到王敦处，暗中告知慕容廆不要让他管段部鲜卑生死。祖逖自此设置将座旁空位，经常自言自语对空位说到：“越石此处兵可至否？”“越石，古之将者。可有此军。”“汝与我，闻鸡起舞，定策天下。”“汝怎能先我而去？”时而暗自流泪，数日不见一人、不食一餐、不言一语。刘琨婢女武氏南下，到了祖逖处。献上刘琨平时写的诗集，和一支胡笳。祖逖一概收归，将胡笳立于空座，不停的念刘琨的诗，直到声哑低靡才肯停下。
八月督军童建与董昭因为战后分配不合，怒上心起。派人遣刺客袭杀董昭又命人送信石虎表示归降。刺客至帐内，董昭与刺客相战。董昭赤手空拳刺客持剑，二人互博十回合，刺客不敌被董昭用胡凳砸昏，众人急忙进入董昭帐。刺客苏醒和盘托出。祖逖不禁赞道：“不愧为我之典韦，能自力而保！”童建得知刺客失手后，惶恐不安携亲信三百人北渡黄河投于石虎。石虎亲自迎接，对童建说道：“汝此来相投，乃弃暗投明。既封你为都尉！”童建感激不尽。
太兴四年，二月祖逖派董昭攻汝南郡，桃豹败退而走。两军对峙四十余日后，祖逖，桃豹粮食逐渐不足。祖逖问于众人破解之法，桓宣见此说道：“祖公善兵戈，却不知兵法。”祖约说到：“我兄若不知兵，何有今日之业？”祖逖止住祖约让桓宣继续说下去，桓宣说到：“有言道，实者虚之，虚者实之。如同诸葛武侯骗司马懿之粮，有怒而不敢攻，有粮皆献于我也。”祖逖让桓宣继续说下去，桓宣说到：“桃豹军粮，由汴水而下。我诈而诱之，必获其粮。”祖逖大喜说道：“汝真乃我之郭嘉！”众人商议后于是命士卒一百夜中装粮运送，桃豹斥候查看后报于桃豹。桃豹领军攻之，夺取祖逖军粮。发现祖逖粮车中粮袋，个个饱满，打开看到粟米充盈，于是认为祖逖粮食充足，斥候所报有假，于是斩斥候三人。派人向石勒索粮，要求快速补给，祖逖在汴水设伏兵三百由董昭带领，石勒粮船到后，桃豹命人搬运。粮船离去，粮袋堆积如山。桃豹命人清点，这时伏兵四出，桃豹弃粮而逃。祖约尽夺石勒运给桃豹的军粮，逼得桃豹退守东燕。祖逖命冯宠进占封丘，压逼桃豹，桃豹因军中无粮只能撤兵。三月公孙成和王安回到祖逖处，祖逖问二人王敦与朝中诸事。二人一一作答，得知戴渊将要接替祖逖。祖逖三日一言不发，不进食。众人见状苦求祖逖，为当下而谋。祖逖这才恢复以往。
四月桃豹败逃后，祖逖又多次出兵进攻石虎麾下赵军，使石虎疲于防守。石虎问计冉良，可冉良不知如何是好。于是二人撤军黄河以北。河南境内有赵固、黄建安、倪超、上官巳、公孙珑（公孙其华等人割据一方，因各部缺粮，互相掠夺，兵戎相见。倪超部曲被赵固，上官巳二人攻溃，倪超仅剩十人来投祖逖。祖逖接纳倪超并遣王安、桓宣斡旋，王安见赵固说到：“汝自兵一方，何不投祖公？”赵固说到：“于我何益？”王安继续说道：“汝既不投石勒，又为害周边，各路豪强皆想杀汝而并其众！汝疲于应付，若投之祖公。不仅使周身安然，还可为朝建功。”赵固于是答应归附。桓宣见到黄建安时看到石勒的亲信也在这里，二话不说持剑就砍，石勒亲信被桓宣斩杀。黄建安大为恐惧，命人将桓宣逮捕。桓宣说到：“汝乃晋人，今与石勒共谋。何也？”黄建安说道：“我势单力薄，欲降石勒何错之有？”桓宣说到：“今石勒使者死于尔地，汝还想与石勒共谋呼？”黄建安说道：“乃足下所迫，至我于何地！”桓宣说到：“北有石勒，周围豪强而据。汝若再杀我，岂不得罪于祖公？”黄建安于是命人解开桓宣，桓宣说到“祖公正欲北讨石勒，各路豪杰纷纷往之。汝何不投？”黄建安听闻后也只能答应桓宣率部归降。上官巳得知黄建安何赵固二人已投祖逖，不知自己去向，于是询问帐中诸葛青。诸葛青悠悠然说道：“今晋室必将再乱，君臣不睦。洛阳已复，晋庭却失进取之心。祖逖北伐必然受阻，我等届时又投何人？不如北投石勒。祖逖使者必然到此，令兵众身穿破衣烂甲。持锈器，命众作哀状。来人观之，则自退耳！”上官巳听从。祖约前来，看到上官巳其人部众，个个有气无力，手持断戈，残破不堪。如诸葛青所料未与其议，自退而走。赵固，黄建安，倪超都服从祖逖，带军攻打赵军。收复黄河南岸中原土地。祖逖礼贤下士，善恤民情，关系疏远、位低之人，也能施布恩信，予以礼遇。将士有功，加以赏赐。他生活俭朴，不畜资产，劝督农桑，深得民心。
公孙珑（其华扣押祖逖来使樊雅，命匪首麻曳据山头而掠民。祖逖命冯宠率军攻其山寨樊雅出逃，公孙珑（其华率领其众避于祖逖。公孙成得知后请求单骑前去劝降，祖逖不准。公孙成说道：“使我前去必可劝降。”祖逖问到：“为何要与匪首劝降？”公孙成对祖逖说了来龙去脉。祖逖这才知道这位匪首是他的亲人，于是让公孙成前去劝降。公孙成一路打听，进入外黄县见到麻曳，麻曳看到公孙成后说道：“不想近十年之久，还能再见于汝？”二人相互叙旧，公孙成请求见公孙珑。麻曳带他见了公孙珑，此时公孙珑在集合部众打算东逃，看到麻曳带着公孙成于是命麻曳点检部众。自己示意公孙成随她到县衙，公孙成跟随公孙其华来到县衙，问道：“为何下山掠民？”其华说道：“部众近年少粮故而掠民。”公孙成：“为何扣押来使？”其华又说：“此辈处言不逊，处处言过。所以扣押。”公孙成拉住其华的后衣说道：“汝百般如此，早晚必亡！何不投祖公？”公孙其华话锋一转说到：“家父，今去否？”公孙成说道：“家父日夜不思汝归，日夜自责。”公孙其华说到：“众随我十数年来，多为祸百姓！我今归之，不知祖逖愿意纳否？”公孙成说道：“我当力保，汝勿忧！”公孙珑说道：“现朝中许你何职？”公孙成说：“豫州长史。”公孙珑告诉公孙成说：“我欲携众前去青州，聚匪乱生！”公孙成说道：“为何一意孤行？”公孙珑言道：“众皆流落之人，山林之中无亲无故。只能各自为伴，随我日久，仍不知我性。我欲使众，草渡余生。”公孙成说：“我幼岁之时，汝便常言愿与耿弇班超之士为嫁。为何沦落至此？”公孙珑说道：“父不随我愿，一意孤行故而离之。致以今日。”公孙成对公孙珑说道：“汝离家日久，不想再见老父一面？”公孙珑说：“我若归去，彼众何归？”公孙成说：“众归祖逖，汝归家室！”于是二人携军见祖逖，祖逖听从二人建议命麻曳统领匪众，匪众听闻公孙珑要离去无不哀哭送别，离别时公孙珑稍有装扮，众人恍然，这才明白。公孙其华与其部众离别后，公孙成带着亲侍和公孙其华南下，离别之际祖逖又将刘琨诗集让公孙成带往江南，公孙成应允。
石勒屡屡不克祖逖，向张宾问计。张宾说道：“祖逖英杰也，麾下谋士猛将可立足一方。其人之才更胜刘琨二倍有余。不易图也，不如与其和好。边民互惠使其有所忌。时日一久，晋室内乱，届时祖逖疲于应对可再图之。”石勒说道：“先生乃我卧龙也。”说完命人去将童建斩杀，石虎对此颇有不满却也只得答应，石勒斩童建向祖逖示好。祖逖看到石勒不纳叛奸，亦与石勒修好，关东暂得和平。
六月初四戴渊到与祖逖日夜商讨进军王敦事宜。祖逖问到戴渊兵识之事，戴渊却不能对答。戴渊颇有才，却无远见。祖逖部众都孤立戴渊，戴渊不受待见。明白其众之意，于是以皇令为由，强制命众南下。数日后祖逖也不待见戴渊。戴渊愤恨告诉祖逖：“汝为兵一方，难道要谋反吗？”祖逖说道：“我若想反，兵下江南三月可立。何需等六年之久？”戴渊说到：“陛下命我来替汝，必有其理。”祖逖听闻后日夜不眠，忧愤成疾。戴渊欲胁迫祖逖部众引兵南下。祖逖自北伐始收复河南半数失地，却最终受制于人，心中甚为不快。担心内乱爆发，北伐难成。众人商量纷纷想劝祖逖用兵自立，杀戴渊。祖逖心身失忽说道：“我若为曹操，尔众既是功臣。然天下之人将何以看待？勿要再言，再言自立者谋反论罪。”祖逖虽患病，坚持营缮虎牢城。戴渊不通兵不听祖逖解释，上疏道：“祖逖率众修一偏城，于朝中何用？实则不肯为陛下所趋。”司马睿看后回书祖逖处，写道：“汝与戴渊合众，乃朕意！不齐心不共力怎能防备王敦？”虎牢城北临黄河，西接成皋，易被攻破，祖逖命儿子祖济率众修筑壁垒。祖济和部众日夜修缮十日后，壁垒任然未修成，六月廿四日祖逖在雍丘病逝，死前告诉部众要为朝廷计，不可敌视戴渊。祖逖郁郁而终时年五十六岁。祖逖死后，豫州百姓如丧父母个个身穿素服拜吊祖逖，谯梁士人为祖逖建祠堂。其部众对戴渊和朝廷失望透顶，纷纷拥戴祖约。戴渊更加孤立，屡屡以皇帝之名迫胁祖逖部众，祖逖部众都不为所动，任由戴渊一人胡言乱语。戴渊见此深感无望，也只能上疏写到：“臣无服众之能，祖逖部众多随祖约。”晋元帝看后追赠祖逖为车骑将军，并命其弟祖约接掌其部众。石勒听闻祖逖病死，再三确认后命石虎领兵五万南下而攻，祖约难以抵御，弃守关东，洛阳再次丢失，后一路难退至寿春。河南之地又被石勒攻陷。
十月钱凤给王敦谏言道：“祖逖已死，朝中无人可敌王州牧也！以此之时起兵攻之，朝中必为所惧。届时天下定矣！”十一月王敦开始清点部众，对其部众说道：“陛下受奸佞所惑，奸佞小人屡异王氏，为陛下左右。今举王师，在斯一举！安帝业，清君侧，排奸佞！”城下众人面面相觑，少数者喊道“平奸佞，立君业。”王敦见军心可用，命人传檄文于健康……
