洛澗之戰的勝利令晉軍信心倍增，謝玄作為前鋒率軍繼續乘勝追擊，水陸并進，直抵淝水東岸，在八公山邊扎下大營，與壽陽的秦軍隔岸對峙。
由于擔心秦軍人多勢眾，長時間對峙于自己不利，謝玄便派使者去見苻堅說：“君主英武，萬民敬仰?，F在兩軍對壘，有淝水阻隔，兵刃不能相接。相持既久，糧草枯竭，天寒地凍，對雙方都沒有好處。鑒于秦軍實力雄厚，不如稍微向后退一退，留出一塊空地來，雙方對決勝負立現，在下也好回去交差。”
苻堅心想：無論你想干什么，我且以逸待勞，等你軍過河到一半我就下手，幾十萬鐵騎給他來個半渡而擊，以雪洛澗之戰失敗之恥。于是下令軍隊后撤。
由于前秦統一北方不久，軍隊東拼西湊成分復雜，對于勞師遠襲，也持消極厭戰態度。加之洛澗一戰新敗，幾萬人一夜潰散，恐慌情緒蔓延，現在又無理由地后撤，進一步動搖了軍心，造成了軍隊陣腳大亂。
一見秦軍后撤，謝玄果斷命令八千多騎兵馬上搶渡淝水，登岸后不做停頓即刻向秦軍發動猛攻。
東晉降將朱序見人心浮動，趁機帶領下屬大聲喊叫：“秦軍敗了！秦軍敗了！”
人心惶惶的秦軍信以為真，亂作一團，在晉軍騎兵迅猛的攻擊下，互相踐踏，死傷無數，主帥苻融戰死，君主苻堅為流矢所傷，單騎向北方逃走。見主帥已死，多數人馬丟盔棄甲連夜逃竄，風餐露宿，挨餓受凍，死去的有十分之七八。
淝水之戰東晉以少勝多，干脆利落地化解了前秦近百萬大軍壓境的亡國危機，并斬獲財物無數。這明顯和宰相謝安的事先精心籌劃密不可分，于是謝安聲望日隆。
在東晉舉國歡慶的同時，也有流言蜚語。以謝安為首的救亡圖存的英雄們，在敵人的刀光劍影中，在敵人的數萬鐵蹄下渾然不懼，但經不住自己人無端的中傷。
這時孝武帝已經23歲了，潛藏在內心的對門閥政治的疑懼悄悄抬起了頭，他害怕謝安也像桓溫一樣功高震主，害怕自己被廢，奸諂小人也乘機煽風點火，捏造罪名陷害忠良。于是皇帝和宰相貌合神離，有了嫌隙，孝武帝明里暗里逐漸讓有血緣關系但無能的胞弟司馬道子接替了謝安的位置。
對于這件事，睿智干練的桓伊看得很清楚，他說：“為君既不易，為臣良獨難。忠信事不顯，乃有見疑患。周旦佐文武，《金朦》功不刊。推心輔王政，二叔反流言。”
大意就是當皇帝不容易，做良臣尤其難。明明做了忠君之事卻視而不見，還疑神疑鬼。就像周旦輔佐文王、武王的功勞，《金朦》也沒有書寫，殫精竭慮地輔佐皇帝反被流言所傷。
385年四月，淡泊名利的謝安不屑與小人勾心斗角爭權奪利，于是主動交出手上權力。八月，病逝于建康，享年六十六歲。
遙想當年，孝武帝年幼，權臣桓溫當道，是謝安力挽狂瀾竭盡忠誠輔佐護衛，才使晉室得以安穩。
十年前，晉軍在與前秦的交戰中處于劣勢，是謝安舉薦有軍事才能的侄子謝玄出任兗州刺史，在廣陵挑選良將，訓練精兵，選拔了劉牢之等勇士，訓練出了北府兵，才有今日之成功。
而今鳥盡弓藏，兔死狗烹，謝安遭遇了這種糟透了的事情，有苦難言。東晉統一國家的希望，就像一顆流星在夜空劃過一道亮光，轉瞬就消失在無邊的黑暗里了。
乘著淝水之戰的勝利，謝玄一鼓氣，收復了部分失地。但沒有了謝安在朝堂斡旋與鼎力相助，北伐戰爭沒走幾步就戛然而止了。
387年，迫于政治形勢的變化，謝玄被迫辭職，放棄了北府軍的領導權。隨后抑郁成疾，于388年去世，終年48歲。
接替謝玄的是皇室宗親司馬恬，在司馬家族里此人功勛、名望、才干俱佳，故深得晉孝武帝器重，于是在388年領鎮北將軍、兗青二州刺史。掌握了北府軍的領導權。但好景不長，兩年就后死了。
王恭是晉孝武帝皇后之兄，年輕時就有氣節有志向，頗受孝武帝器重。390年，王恭接替司馬恬擔任兗、青二州刺史，鎮守京口。
在這段管理層風起云涌變化莫測的日子里，在底層效力的劉裕先是作為孫無終的司馬，后被孫無終推薦為劉牢之的參軍，主要精力放在了嚴格訓練軍隊，熟悉各個兵種如何在戰場上協同作戰，以及各種陣法在實戰中的運用。
方陣、圓陣、疏陣、數陣、錐形陣、雁形陣、鉤形陣、玄襄陣等陣法，他都熟記于心。一字長蛇陣、二龍出水陣、天地三才陣、四門兜底陣、五虎群羊陣、六丁六甲陣、七星北斗陣、八門金鎖陣、九字連環陣、十面埋伏陣他都洞悉其妙。
他深知巧妙運用陣法，才可以避免軍隊一盤散沙失去戰斗力，才可能以少勝多。他明白將士紀律嚴明，戰斗力足夠強是戰爭成敗的關鍵。
他通過學習了解到戰陣整齊是士氣的源泉，只有保持嚴整的陣型，才可發揮出集團作戰的威力。而騎兵在正面突擊，長途奔襲，戰略合圍，斷敵后路等方面用處非常之大，非步兵力所能及。
每有戰事，他負責收集戰爭信息、分析戰場形勢、為主管出謀劃策。在作戰過程中，哪支部隊沖在前面，哪支部隊做后援，以及軍隊的后勤補給，都要做全盤考慮。
他個人素質的提升也由原來的注重個人武力向著注重將領的領軍與謀略能力轉化。從一個戰爭小白到指揮有方的將軍，劉裕從理論到實踐的能力都有了很大的變化。
他抓住日常訓練和小的戰爭機會，還注意發現提拔人才，周圍團結了一批能召之即來來之能戰，能一起出生入死的情同手足的將士，他已經不是一個人在戰斗了。