粟裕被任命為連黨代表，並和耿凱搭檔，兩人一商量，必須要對連隊進行整頓。因為當時部隊受舊軍隊影響很大，在政治上，黨對部隊的領導比較薄弱。在組織上，部隊成分比較複雜，兵痞、流氓也佔一定數量，所以常有破壞羣眾紀律的事情發生。
特別是當部隊進入信豐城時，破壞紀律的行為更加嚴重了，少數人鑽進酒店飯館大吃大喝，吃完不給錢，把嘴一抹就走。有羣眾反應到部隊，令朱德非常憤怒，決定要狠抓紀律。
帶過部隊的人都知道，紀律就是戰鬥力，嚴格的紀律才可以保證團結一致，粟裕決深知這個道理。部隊進駐信豐城後，粟裕帶頭上街檢查紀律，他見兩個士兵走進一家當鋪，把手榴彈往櫃枱上一放，故意把導火線索掏出來：
“老闆，稱一稱有多重，當幾個錢零花。”
當時起義隊伍沒有什麼軍餉，後勤保障又差，所以有很多士兵就把武器當了，賺取幾個錢零花，有的乾脆用武器威脅別人要錢，其實這在各個軍隊中都有，尤其是沒有軍餉的軍隊。
當時的國民黨軍經常倒賣軍火，以賺取利潤，還比如在蘇聯解體後的俄羅斯軍隊，將坦克大炮都賣了，我記得有一部電影説將核彈都賣了，這個是誇大了，但是將零部件賣掉是可能的，因為當軍隊窮得吃不上飯時，他手裏只有軍火，不賣軍火還能賣啥！
這幾個士兵的舉動把老闆嚇得嗦嗦發抖，粟裕見狀大怒，忙大步走進當鋪，對兩個士兵厲聲喝道:“你們要幹什麼？”
這幾人見粟裕身材矮小，依稀記得是連黨代表，便説道：
“當兵吃糧，窮得很，兄弟幾個沒錢了，當幾個零花錢用用。”
“不許違犯軍紀！粟裕説着，走上去把手榴彈導火索放了回去並蓋好蓋子。”
這一下惹惱了他們，一個士兵急了，把子彈推上膛，槍口對準了粟裕。這一下可把老闆嚇壞了，哭喊着:“各位老總，千萬別動手，我拿錢給你們消氣……”
就在這千鈞一髮之際，外面響起了“發現敵情、緊急集合”的號聲，粟裕和兩個士兵才一起跑向集合地點。
原來信豐縣城的土豪劣紳將起義軍在信豐的消息報告了國民黨軍，於是國民黨軍便調集軍隊圍攻起義軍，起義軍發現情況後，立即集合準備轉移。
在集合場，只見朱德、陳毅臉色鐵青，陳毅向大家宣佈：敵情嚴重，立即跑步轉移。
部隊隨即將西轉移了10多里，才在一塊平地上停了下來。陳毅宣佈革命紀律，斥責了破壞紀律、搶劫勒索的行為，那二個站在隊伍中的士兵看了粟裕一眼，直嚇得哆嗦，好在粟裕沒有計較這件事。接着，朱德宣佈：部隊向大庾地區開拔，進行全面整頓和整編。
1927年10月底，起義部隊從信豐到達了贛粵邊境的大庾地區。為什麼要在大庾地區整頓呢？因為大庾屬於國民黨軍各個派系勢力範圍的交界地帶，當時各個軍閥他們忙於互相爭奪，而大庾窮的叮噹響，沒人看得上，他們都是搶佔富裕的地方去了。
所以各派軍閥都放鬆了對起義軍的追擊。朱德、陳毅同志便利用這個間隙，領導部隊進行了一次整頓和整編。
部隊的戰鬥力從哪裏來，一靠訓練，二靠紀律。而提高紀律的一個重要手段就是整頓，而起義部隊的基礎是舊軍隊，還保留着舊軍隊中固有的那些不良制度和不良作風。在政治上，黨對軍隊的領導還是薄弱的。
在組織上，部隊的成分比較複雜，雖然大部分是貧苦農民出身，一部分是革命知識青年，但兵痞、流氓也佔一定的數量，在未經改造之前，他們常常成為害羣之馬。整頓中當場槍斃了三個破壞紀律的士兵，原來這幾個士兵在信豐城在酒館吃飯不給錢，還將老闆打了一頓。
在思想作風上，軍閥主義習氣像毒菌一樣腐蝕着部隊的肌體。從饒平到大庾約一個月的進軍中，環境異常惡劣，上述這些不良因素給部隊帶來了更大的損害，如果不堅決加以改造和整頓，這支隊伍不但不能繼續執行革命任務，戰勝兇惡的敵人，甚至部隊本身能否存在下去也成了問題。
所以朱德、王爾琢和陳毅一商量，就在大庾進行整頓，這次整頓比較徹底，最大的收穫就是加強了黨對部隊的領導，開始了獨立領導軍隊的新時期，根據粟裕回憶：
“然而，當時這支部隊只是在上層領導機關和軍官中有少數黨員，在士兵中，除了二十四師的教導隊，因為前身是由“馬日事變”後從兩湖逃出來的部分學生和工人幹部組成的，全部是黨、團員外，一般是沒有黨、團員的。因此黨的工作不能深入到基層和士兵中去。經過這次整頓，重新登記了黨、團員，調整了黨、團組織，成立了黨支部。記得當時部隊還有共產黨員五六十人，黨員人數不到羣眾的十分之一。那時候我們還不懂得應當把支部建在連上，但是實行了把一部分黨、團員分配到各個連隊中去，從而加強了黨在基層的工作，這是對於這支部隊建設具有重大意義的一個措施。“
同時為了戰鬥需要，將整個部隊統一整編為七個步兵連、一個迫擊炮連、一個機關槍連，一共9個連。粟裕被任命為第5連指導員，連長為耿凱。
這就是我軍歷史上非常有名的大庾整編，當時部隊只有700多人了，雖然這支部隊小，但是目標卻是很大的。因為各地國民黨反動勢力，都知道這是南昌起義剩下來的賀、葉部隊，是黨領導的一支革命武裝。所以走到哪裏，就有地主民團給國民黨通風報信。
俗話説樹大招風，朱德等人一商量，為了縮小目標，便於隱蔽，便將隊伍取名“國民革命軍第五縱隊”番號，司令是朱德，對外化名王楷（因朱德同志的號叫玉階，用湖南話説出來像王楷，因此化此名)，黨代表是陳毅，參謀長是王爾琢同志。
部隊整頓後煥然一新，人數雖然不多，但是士氣高漲，而且很多離開隊伍的人又返回部隊，總人數大約有800多人，人雖然不多，但是就整體來説，這支隊伍經過嚴峻的鍛鍊和考驗，質量更高了，是大浪淘沙保留下來的精華，已成為不滅的革命火種。這次大庾整編，顯示了朱德、陳毅和王爾琢高超的建軍意識。
粟裕親身經歷了這支軍隊鳳凰涅槃的過程，這對他的影響特別大，後來在浙南打游擊時，他帶領400多人的隊伍卻始終不散，他晚年回憶説：一個重要的經驗就是會整頓部隊，而這些都與其他早期的經歷和磨練有關，可以説，粟裕的很多思想來源於朱德。
