南昌起義後，起義軍力量不足，只得撤離城市，在去哪裏的問題上，賀龍認為部隊應當留在湖南打游擊，另一些人則堅持南下廣東，最後少數服從多數，起義部隊南下了。
在去往廣東的路上，很快就出現了賀龍預想中的困難，由於天氣炎熱、給養又跟不上，部隊迅速減員，屋漏偏逢連夜雨，1927年9月23日，起義軍又在揭陽湯坑鎮遭到大量敵軍阻擊，對方的指揮官不是一般的庸才，而是薛嶽和陳濟棠。
薛嶽後來成為抗日名將，陳濟棠則成為粵系軍閥首領，足見二人能力之強。賀龍、葉挺親自指揮部隊輪番猛攻，但因為勞師遠征，又缺乏補給，打了整整兩天兩夜，還是無法通過敵方封鎖，只能撤向海陸豐。
賀龍在撤退時就明白，這支起義軍恐怕凶多吉少，前有強敵，後有追兵，士氣一落千丈，很多人打算逃跑，另有一些人想投降。情況過於危險，為了穩定軍心，賀龍對士兵們説：“這十年，我是垮了又搞，垮了再幹，越幹越大，為什麼？”
“因為我乾的是革命，不怕失敗。現在我只有兩句話，第一，留得青山在，不怕沒柴燒；第二，寧可站着死，不可跪着活！”
形勢越來越不利，在前敵委員會（前委）召開的緊急會議上，賀龍、葉挺被調離部隊，由中央另行分配任務，等於被拿掉了指揮權。賀龍在會上沉默不語，只説了一句：“我心不甘，我要幹到底。讓我回湘西，我要捲土重來。”
會後起義軍繼續向海陸豐移動，半途遭到追兵不斷襲擾，士氣一點一點被消磨殆盡。20軍大部分撤到了海陸豐，但因為失去與賀龍的聯繫，一下子少了主心骨，軍心渙散之下最終被敵人繳了械。
20軍的班底是賀龍老家洪家關的農民軍，也是賀龍花了無數心血攢下的家業，整整一個軍的人馬裝備，多年苦心經營，頃刻之間土崩瓦解，賀龍內心十分痛苦，但他性如烈火，堅決不認輸，始終告誡自己：我就不信搞不贏！
1927年11月初，賀龍輾轉來到上海。中央為培養一批高級幹部，決定派賀龍、劉伯承、林伯渠一起去蘇聯。賀龍14歲起就當騾子客走馬幫，文化程度不高，對於學習深造很陌生，也有點畏難情緒，擔心學不會俄文，所以相對於去蘇聯學習，他更傾向於到湘鄂地區搞農民運動。
但他已經是一個共產黨員，必須服從組織安排，前面讓他離開自己的20軍尚且沒有怨言，何況去國外學習，經過一番打點，他做好了出國的準備，然而就在賀龍動身的前一天，意外發生了。
一處地下黨組織被敵人發現，他們由此得到情報，知道賀龍到了上海，於是下令全城搜查。賀龍不得不中斷一切活動，暫時隱蔽起來。本來計劃是劉伯承和林伯渠先坐船走，等風聲過去了賀龍再出發。
十幾天過去了，敵人一直在搜捕賀龍，沒有一絲放鬆，其實也能理解，畢竟一個軍長倒向了共產黨，這對於國民政府而言是天大的負面消息，他們對賀龍恨之入骨，肯定欲殺之而後快。
既然走不了，賀龍也沒閒着，他給周恩來不斷髮消息，自訴還是去湘鄂西搞武裝鬥爭，他説：“湘西是我的老家，我從民國五年（1916年）開始就在那裏拖隊伍，和北洋軍閥打了十年仗，我人熟地也熟，搞起義很方便，有成功的把握。”
賀龍跟周恩來反覆談了四、五次後，中央批准了賀龍回湘西搞武裝的請求。1928年春，賀龍悄悄回到了老家桑植縣洪家關。
在賀龍回湘西之前，桑植縣的老鄉們已經知道賀龍參加了南昌起義以及起義失敗的消息，縣裏流傳着各種傳言，有的説賀龍被“大炮轟死了”；有的説他被蔣介石捉到南京“砍了腦殼”；還有的説他“被洋人裝進船裏，不曉得弄到哪裏去啦！”總之都是一些負面消息。
實話實説，桑植縣的百姓為此還挺惋惜，畢竟這裏只是一個小地方，出了賀龍這樣一個人物，大家都覺得臉上有光，所以當賀龍重新現身洪家關時，整個桑植縣都轟動了——原來他沒死！
正如賀龍自己所説，他在湘西摸爬滾打十年，幾乎成為了這裏的實際控制人，此地駐軍和團防武裝的首領，基本上都是他當年的手下，不少人都受過賀龍提攜，對他仍然十分尊重。
一聽説賀龍重回家鄉，不少隨他參加過北伐和南昌起義的老部下都前往洪家關，桑植縣有頭有臉的人物也都來了，雖然賀龍還被國民政府追捕，但桑植縣縣長也顧不得那麼多，從二十里外的縣城趕來見賀龍。
沉寂了數年的洪家關，突然熱鬧起來，人們都挺期待賀龍的現身，然而等見到賀龍，所有趕來拜見的人都有點意外，他當年走的時候穿得是軍官服和皮鞋，現在變成了舊布衣和草鞋。看到賀龍的穿着落魄，一些比較勢力的人猜到他可能威風不再，跟着他沒好事，都藉故都離開了。
賀龍也不在乎別人的看法，當着眾人的面明説：“我現在不是國民黨，也不是中華革命黨，我已經是共產黨了。”
人羣中發出一陣窸窸窣窣的討論聲，賀龍繼續説：“南昌暴動是失敗了，但是共產黨人是殺不完的！我回來就是組織工農革命軍，跟蔣介石這幫人幹到底！”
桑植人對賀龍的印象還停留在他當師長、軍長的時候，那時他只要出門就是高頭大馬，前呼後擁，威風凜凜。從他的公館到劇院看戲，幾百米的路也要坐轎，身後還跟着幾十個扛槍的衞兵，當地人對他有一種羨慕混合着畏懼的複雜心理。
這次他重回洪家關，身邊只有六個人，加上穿得破破爛爛，失去了往日的氣派，很多人都跟他劃清界限，經過二十天動員，最終只拉起了一支三千人的隊伍，這三千人大部分也是賣個面子臨時加入部隊，都在看風向。
賀龍剛組織起來的工農革命軍，一沒有武器，二缺乏訓練，更是對共產黨的理念不瞭解，戰鬥力十分差勁，湖南的國民政府聽聞賀龍回來，派了一支部隊來剿滅，剛一交火，工農革命軍就大敗。
本來很多人對國共之間的差別並無概念，此次交手發現還是國民黨軍事力量比較強，不少士兵私下裏説：你賀龍説共產黨好，要跟着共產黨幹，我們聽了。可現在沒吃沒喝沒武器，又打不過人家，我們加入共產黨，難道就為了讓人家打？
於是一部分人投靠了國民黨，大部分士兵脱離了革命軍，回鄉觀望事態發展，只剩一小部分人繼續跟着賀龍。
後來賀龍在回憶這段歷史的時候，感慨地表示，幹革命就是要吃苦，有些人一看吃的不好，穿的不好，還老是失敗，就不想幹革命了。當年搞了垮，垮了搞，也算大浪淘沙，留下來的都是真心搞革命的人，都是信得過的人。