1987年11月，遲浩田被任命為解放軍總參謀長，是中央軍委領導幹部年輕化的一個標誌性事件。
然而，這一任命對遲浩田本人來説，多少有一些戲劇性。
因為，起初，他還曾經極力推薦過別人。
這一年秋，黨中央醖釀新一屆軍委組成人員，開始廣泛徵求意見。解放軍總政治部主任餘秋裏主持召開了一個小型座談會，就三總部的主官人選徵求大家意見。作為濟南軍區政委，遲浩田也參加了座談會。
在會上，餘秋裏説：“我們這些人年紀大了，該退了。你們推薦一下，向軍委提出建議。”然後，就推薦人選説了一些要求。
按照餘秋裏提出的幾項要求，遲浩田談了自己的看法，並且推薦了其他同志。
不料，經過推薦和考察，遲浩田卻被列為了總參謀長人選。幾天後，餘秋裏打電話到濟南軍區説：“浩田同志，關於總長的人選，軍委已經定了，你當總參謀長。”
“我？”遲浩田大吃一驚。
“是的。”餘秋裏説，“這是小平同志提名的，軍委領導一致通過。”
遲浩田毫無思想準備，感到十分突然，思忖片刻，於是對餘秋裏説：“感謝軍委首長對我的信任，但是我智淺才疏，資歷不夠，能力不足，難以勝任這個重要職務，別貽誤了黨的事業。請組織上重新考慮，還是選其他同志為好。”
餘秋裏卻沒有絲毫迴旋餘地，説：“這件事，是軍委已經定了的。”掛了電話。
通話就結束了。
可是，遲浩田拿着話筒，半天還沒回過神來。
當他緩過神後，思想壓力很大，認為解放軍總長這個崗位重如泰山，責任太大，擔心自己幹不好，貽誤黨和國家的大事。
獲悉遲浩田的不安之後，時任國防部長的張愛萍主動找到他，語重心長地説：“沒有壓力，哪有動力？這是軍委對你的信任。你就迎着困難上吧！”
張愛萍還是軍委副秘書長，但他做工作，還是沒能令遲浩田下定決心。
不料，一日，遲浩田當年的老團長、老司令聶鳳智中將拄着枴杖上門來了。他見着遲浩田，把枴棍往地上一戳，大聲地説：
“小遲，不要再推辭了。這不是升官發財，是幹革命!”
他一句“這不是升官發財，是幹革命”的話，令遲浩田一震！
是啊，這是幹革命！哪還得能縮手縮腳？哪能不去幹好？遲浩田沒有猶豫了，馬上立正，也大聲地回答：
“老司令，您不用説了，我幹！”
就這樣，遲浩田第二日就到總參謀部走馬上任了。由此，他成為繼周恩來、徐向前、粟裕、黃克誠、葉劍英、鄧小平等人後第十二任總參謀長。