對(duì)于羊祜的這些作法，陸抗心中很清楚，因此，在很長的一段時(shí)間里，晉、吳兩國的荊州邊線處于和平狀態(tài)。
羊祜與陸抗對(duì)壘，雙方常有使者往還。
陸抗稱贊羊祜的德行度量，“雖樂毅、諸葛孔明不能過也”。
一次陸抗生病，向羊祜求藥，羊祜馬上派人把藥送過來，并說，“這是我最近自己配制的藥，還未服，聽說您病了，就先送給您吃。”
吳將怕其中有詐，勸陸抗勿服，陸抗不疑，并說，“羊祜怎會(huì)用毒藥害人呢？”
仰而服下。
當(dāng)時(shí)人都說，這可能是春秋時(shí)華元、子反重見了。
吳主孫皓聽到陸抗在邊境的做法，很不理解，就派人斥責(zé)他。陸抗回答，“一鄉(xiāng)一鎮(zhèn)之間，不能不講信義，何況一個(gè)大國呢？如我不講信義，正是宣揚(yáng)了羊祜的德威，對(duì)他毫無損傷?！?br/>
孫皓無言以對(duì)。
…………
咸寧二年(276年)十月，司馬炎改封羊祜為征南大將軍，恢復(fù)其貶降前的一切職權(quán)，開府儀同三司，可以自行辟召僚佐。當(dāng)初羊祜便認(rèn)為，要想伐吳，必須憑借長江上游的有利地勢(shì)。
經(jīng)過七年的練兵和各項(xiàng)物質(zhì)準(zhǔn)備，荊州邊界的晉軍實(shí)力遠(yuǎn)遠(yuǎn)超過了吳軍，而兩年前吳軍主帥陸抗病死，吳國境內(nèi)又因?yàn)閰侵鲗O皓的高壓統(tǒng)治使各種矛盾日益激化。這表明晉滅吳的條件和時(shí)機(jī)已經(jīng)成熟。
羊祜不失時(shí)機(jī)的上疏請(qǐng)求伐吳，奏上歷史有名的《請(qǐng)伐吳疏》，白話翻譯，達(dá)一千多字，不遜于《出師表》，有興趣的哥們兒，可找來一讀。
奏疏得到了司馬炎的肯定，卻遭到了朝內(nèi)其他大臣的反對(duì)，權(quán)臣賈充、荀勖（xù）、馮紞（dǎ
）等人的態(tài)度尤為激烈。他們提出西北地區(qū)的鮮卑未定，不應(yīng)該兩線作戰(zhàn)。只有度支尚書杜預(yù)、中書令張華等少數(shù)人贊同。
羊祜嘆道，“天下不如意的事總是十有七八，目前有些人當(dāng)斷不斷，當(dāng)予不取，怎能不讓以后的有識(shí)之士引為遺憾!”
…………
咸寧三年(277年)，司馬炎下詔封羊祜為南城侯，設(shè)置相的官職，與郡公同級(jí)。羊祜堅(jiān)意不接受這次加封，司馬炎也就答應(yīng)了。
羊祜每次被司馬炎提拔封賞，常持恬淡退讓態(tài)度，至誠之心世人皆知，他的德操志趣，往往不在官職的行列等次上。所以英名美德傳播遠(yuǎn)近，朝野上下有目共睹，朝中大臣議論，羊祜應(yīng)居宰相之位。
司馬炎將東南軍政要?jiǎng)?wù)托付給羊祜。
羊祜任職歷魏晉二朝，掌握國家機(jī)要，重大舉措，都要向他咨詢。他所獻(xiàn)的好計(jì)謀和正直的議論，事后都把稿子燒掉，所以世人很少知道。
這時(shí)，就有人到他的家里給他送禮，讓他幫著向朝廷舉薦自己，一度踏平檻石，往來如蟻。他也為此飄然。
他的母親孔老太太（孔融的女兒）這時(shí)還健在，她勸羊祜，“在朝為臣有舉薦賢士之責(zé)，然，賢士不以金帛求取仕途；反之，均為利己小人爾。你要凈心拭眼，不可貽誤朝綱?！?br/>
羊祜這才頓開茅塞，對(duì)舉薦人才分外小心，對(duì)于那些貓頭鼠眼，不壞善意的勢(shì)利小人，一概拒之門外；對(duì)那些賢士人才，他會(huì)拼力舉薦，凡是他所薦拔的人，都不知薦拔人是誰。
羊祜的女婿勸羊祜說，“購置些田產(chǎn)家業(yè)，也好卸官后有所歸宿，后事有所依托，這樣不是很好嗎？”
女婿的話，聽上去，沒有什么錯(cuò)，羊祜無話可說，但是，當(dāng)時(shí)在場(chǎng)的姐姐景獻(xiàn)皇后羊徽瑜反駁說，“這種說法是不對(duì)的。作為人臣，經(jīng)營私業(yè)就違背公事，這是很糊涂的做法，你們不應(yīng)有這種想法?！?br/>
羊祜討伐孫吳有功，應(yīng)當(dāng)增封爵位與封地，于是請(qǐng)求皇帝將自己應(yīng)增的爵位封地賜給舅父的兒子蔡襲，于是晉武帝下詔封蔡襲為關(guān)內(nèi)侯，食邑三百戶。
…………
同年冬十二月，吳夏口都督孫慎侵入西晉邊界，掠走弋陽、江夏等地上千家人口，羊祜沒有派兵進(jìn)行追擊。事后，晉武帝派人追查原因，并打算移徙荊州的治所。
羊祜說，“江夏離襄陽八百里，等知道吳賊侵犯的消息，賊已離去幾天了，再派兵去，哪能救護(hù)百姓呢？讓軍隊(duì)來回奔波，只圖不受責(zé)備，這樣做恐怕不合適。從前魏武帝設(shè)置都督，大致都與州府接近，因?yàn)檐婈?duì)宜聚合而忌分散。國境線上一方是敵，一方是我，認(rèn)真守住邊界就算了，這是古代人有益的教誨。如頻繁遷徙州府所在地，敵人出沒無常，很難確定州府應(yīng)設(shè)在哪里?！?br/>
使者也無法責(zé)問羊祜了。
…………
咸寧四年(278年)八月，羊祜染病，請(qǐng)求入朝。返回洛陽正逢姐姐景獻(xiàn)皇后羊徽瑜去世，羊祜十分悲痛，病情更加嚴(yán)重。司馬炎下詔，命他抱病入見，并讓他乘坐輦車上殿，不必跪拜，備受優(yōu)禮。羊祜則再一次向司馬炎陳述了伐吳的主張。
后來羊祜病重不能入朝，晉武帝專門派中書令張華前去咨詢方略，羊祜對(duì)張華說，“吳人暴政已到極點(diǎn)，此時(shí)伐吳可不戰(zhàn)而勝。如果放過這個(gè)機(jī)會(huì)，孫皓或不幸死去，吳人另立英明君主，雖有百萬大軍，長江是難以越過的，這不是留下后患嗎?”
張華很贊賞羊祜的主張。
羊祜又對(duì)張華說，“能實(shí)現(xiàn)我這個(gè)愿望的是你啊!”
司馬炎打算讓羊祜臥病統(tǒng)領(lǐng)征吳諸將，羊祜說，“取吳不必我親自參加，但平吳之后還要圣上操心去治理啊!關(guān)于功名的事，臣不敢自居。若我的一生即將完結(jié)，應(yīng)當(dāng)將未成事業(yè)托付他人，希望能審慎選出這個(gè)人。”
同年十一月羊祜病逝，享年五十八歲，并在臨終前舉薦杜預(yù)自代。
…………
羊祜死后，舉天皆哀。司馬炎親著喪服痛哭，時(shí)值寒冬，司馬炎的淚水流到鬢須上都結(jié)成了冰，追贈(zèng)羊祜為侍中、太傅，持節(jié)如故。
荊州百姓在集市之日聞之羊祜的死訊，罷市痛哭，街巷悲聲相屬，連綿不斷；吳國守邊將士也為之落淚。可惜羊祜無子，以兄發(fā)子篇奉祜嗣。
晉滅吳的戰(zhàn)爭(zhēng)結(jié)束了漢末以來長期的分裂割據(jù)狀態(tài)，使中國重歸一統(tǒng)。羊祜雖然沒有親自參加這次戰(zhàn)爭(zhēng)，但他為規(guī)劃、準(zhǔn)備這場(chǎng)戰(zhàn)爭(zhēng)作出了不可磨滅的貢獻(xiàn)。
羊祜死后二年，杜預(yù)按羊祜生前的軍事部署一舉滅吳，完成了統(tǒng)一大業(yè)，當(dāng)滿朝文武歡聚慶賀的時(shí)候，司馬炎手舉酒杯，流著眼淚說，“這是羊太傅的功勞啊!”。