【孫中山開始未安排蔣介石當校長，此人推薦他，不想連兵權也被奪了】1916年，孫中山先生及中華革命黨總部由日本遷回上海，許崇智被孫中山任命為軍務部長。這時，蔣介石正因在交易所經營失敗，無處容身，為了靠上許崇智，他通過張靜江與張、許二人結為了義兄弟，隨後，又同吳忠信與許崇智再度結為義兄弟。自此蔣介石對許崇智百般依順，口稱張靜江、吳忠信為大哥，稱許崇智為二哥。及至許崇智任援閩粵軍第二軍軍長時，蔣介石託張靜江請許崇智向孫中山先生推薦自己，蔣介石於是得以就任該軍的參謀長。這樣，許崇智便成了蔣介石的頂頭上司，所以蔣介石當時一再向許崇智表示感恩戴德，並且做到了唯命是從。
1923年，孫中山先生鑑於軍事須加強整頓的要求，將廣東軍隊統一改編為建國粵軍，許崇智任該軍總司令，蔣介石仍為其參謀長。自此，蔣介石和許崇智之間的過從更密切了，他曾對許崇智表白説:“我是你最忠實的下屬，海枯石爛，此心不變。我恨不得剖開胸膛，讓你看看我無限忠誠的赤膽忠心！”
1925 年，粵軍穩定了粵東局勢後，許崇智率部駐節汕頭，覆命蔣介石兼任潮汕督辦。因為許崇智對蔣介石的信任越深，內部反對蔣介石的聲音則越多，所以許崇智曾對各位將領訓話説，“服從我許總司令的就要服從蔣參謀長。以後，凡是總司令的命令，無論蓋我許崇智的章或蔣介石的章，都同樣有效。”從此後，該軍軍權逐漸旁落，而許崇智對蔣介石言聽計從的程度，甚至到了盲目不能自已的程度。
早在1923年，許崇智之兄許崇灝曾向孫中山先生建議成立軍校，以培養軍事幹部，當時孫中山先生也有此意，並於1924年籌辦黃埔軍官學校時，指定許崇智兼任該校校長。但許崇智以既任粵軍總司令，不能再兼任校長為由，向孫中山先生推薦由蔣介石出任校長。蔣介石由此當上黃埔軍校校長，他開始以軍校為基地，施展其收買、恩誘等手腕，培植其個人勢力，而許崇智在蔣介石的阿諛奉承下，早已喪失了警惕，後來又因自己身體多病，無法管理更多的軍中事務，以致讓蔣介石形成了尾大不掉、難以駕馭的局面。
1925年8月20日，國民黨右派刺殺了廖仲愷，國民黨內指定汪精衞、許崇智、蔣介石三人組織臨時革命委員會，控制局勢，處理廖仲愷一案。蔣介石當即向許崇智提出粵軍將領中牽涉該案者甚多，粵軍內部很不穩定，為了總司令您的安全，他準備派黃埔學生軍“負責”許崇智的住宅警衞。就這樣，從8月底起，許崇智事實上被蔣介石置於黃埔學生軍的監視之中。9月中旬，許崇智略有醒悟，下令調忠實於他的許濟及莫雄兩個師回廣州。
不料在9月18日深夜，這兩個師被蔣介石所派的黃埔學生軍所阻，無法前進。接着，蔣介石於19日在廣東省公署舉行的全省財政會議上，將許崇智的親信予以拘捕，並於20日凌晨二時派人送親筆信給許崇智稱：粵軍已有蠢動，共產黨將有不利於總司令的行動，為了保證總司令的安全，請總司令去上海暫避，由卑職收拾險局，6個月後，再請您回粵共同主持北伐大計。
信的末尾還寫有“皇天后土，實所共鑑”的誓言。許崇智見事已至此，同時還幻想着6個月後應該能回粵，所以，他悄然去滬。1927年， 蔣介石在南京就任國民革命軍總司令後，曾三番五次託張靜江向許崇智要回那封寫有誓言的親筆信，但均遭其拒絕。有一天，張靜江突然又來見許崇智，後面蔣介石也跟着到來。蔣介石見到許崇智後，仍行立正軍禮，口稱“總司令”，並懇請其交回舊信。許崇智託言該信業已遺失，蔣介石這才不得不悵然而去。