總軍作為日本在第二次世界大戰中部隊的最高編制，其司令官一般為大將軍銜，下轄若干方面軍。從1939年至1945年8月日本無條件投降期間，日本軍隊共設有關東軍、中國派遣軍、南方軍、第1總軍、第2總軍五大重兵集團。其中關東軍負責關外戰場，中國派遣軍負責關內戰場，南方軍負責東南亞和太平洋戰場，第1和第2總軍部署於日本本土，航空總軍指揮全部陸軍航空兵部隊。
關東軍
關東軍成立於1919年4月12日，解散於1945年8月15日，因關東州而得名。在舊日本陸軍中，關東軍戰鬥力最強，裝備最好，有皇軍之花之稱。關東軍是日本陸軍駐紮在中國東北的軍隊，編有31個步兵師團，11個步兵和坦克旅團，1個敢死隊旅團和2個航空軍，最高峯時共有120萬人。
1898年俄國強行租借中國旅順和大連灣，租借地劃為俄國的一個州——即關東州。日俄戰爭後依據《朴資茅斯條約》關東州轉讓日本。1904年日本在遼陽成立關東都督府，都督府內設陸軍部。1919年4月實行軍政分治，關東都督府改為關東廳，以都督府陸軍部為基礎組成關東軍司令部。關東軍所轄部隊由本土派遣實行輪值。九一八事變後關東軍司令部由旅順遷瀋陽，1932年溥儀政權成立後遷長春，1942年10月升格為總軍。1945年5月底第17方面軍在北部朝鮮的部隊改隸關東軍，遠東戰役發起後關東軍依預案將逐步收縮到南滿、朝鮮，第17方面軍奉命改隸關東軍。1937年8月關東軍派出混成第2、第15旅團入關內支援中國駐屯軍，1938年5月派出混成第3、第13旅團投入徐州會戰，1938年指揮諾門坎邊境作戰。1941年關東軍特別演習期間增強到14個師團、兵力74萬。1945年8月9日關東軍兵力在東北51萬、朝鮮29萬，轄3個方面軍、7個軍、2個航空軍，總計31個師團、11個獨立混成旅團、2個獨立戰車旅團，但多為新編部隊。
1945年8月，一百五十萬蘇聯紅軍開始向中國東北進軍，關東軍被擊斃八萬三千人，被俘五十九萬四千人。戰後，餘下的關東軍官兵作為俘虜被蘇軍押送到西伯利亞從事強制勞動，一共有六萬多人死在那裏。另有數百名被中共軍隊俘虜的關東軍戰俘加入解放軍，參加瞭解放戰爭。
歷任司令官
立花小一郎中將（1919年-1921年）
河合操中將（1921年-1922年）
尾野実信中將（1922年-1923年）
白川義則中將（1923年-1926年）
武藤信義大將（1926年-1927年）
村岡長太郎中將（1927年-1929年）皇姑屯事件
畑英太郎中將（1929年-1930年）
菱刈隆中將（1930年-1931年）
本莊繁中將（1931年-1932年）九一八事變
武藤信義大將（1932年-1933年）日本承認“滿洲國”
菱刈隆大將（1933年-1934年）“滿洲帝國”成立
南次郎大將（1934年-1936年）
植田謙吉大將（1936年-1939年）七七事變
梅津美治郎大將（1939年-1944年）關東軍升格為總軍
山田乙三大將（1944年-1945年）日本投降時任總司令官，後被蘇聯紅軍押到伯力審判。
中國派遣軍
1939年日軍大本營發佈大陸令362號組建中國派遣軍，按照戰區又劃分為華北方面軍、華南方面軍、華中方面軍等。日本投降時轄2個方面軍、9個軍，總計26個師團、1個戰車師團、1個飛行師團、22個獨立混成旅團、1個騎兵旅團、13個獨立警備隊、香港防衞隊，官兵105萬。
1939年9月12日編成於金陵，同時撤銷同城的華中派遣軍、新建第13軍並由中國派遣軍總司令兼任第13軍司令月餘，指揮華北方面軍、廣州第21軍、原華中派遣軍部隊。中國派遣軍與關東軍在關外以熱河省為界。熱河省在九一八事變後被日軍侵佔並歸入溥儀政權管轄範圍，1940年8月關東軍在承德組建第9獨立守備隊駐防。日軍大本營特別規定若有作戰需要中國派遣軍可向熱河省派遣部隊。原直屬大本營的蒙疆駐屯兵團擔任察哈爾省、綏遠省、內長城以北的山西省作戰，後蒙疆駐屯兵團改編為蒙疆駐屯軍並隸屬華北方面軍，這一部分也就成為中國派遣軍的作戰地域。戰爭末期日軍大本營改定關東軍與中國派遣軍的作戰分界是“山海關－大城子－達裏諾爾湖東端－右古吉爾廟”，則熱河省包括承德在內的西南部分歸中國派遣軍。
1945年，隨着美軍進攻日本本土、蘇聯出兵中國東北等，中國軍隊亦開始對日軍發動總反攻。同年9月9日，中國派遣軍總司令官岡村寧次在南京向國民政府遞交降書，中國獲得抗日戰爭的最終勝利。次日岡村寧次遵命宣佈取消中國派遣軍。
歷任司令官
西尾壽造：1939年9月12日～1941年3月1日
畑俊六：1941年3月1日～1944年11月23日
岡村寧次：1944年11月23日～945年9月10日
南方軍
1941年11月5日，日本天皇批准了"南方綜合作戰計劃"。次日，日軍大本營即發佈南方作戰部隊戰鬥序列，正式成立南方軍，前軍事參議官資深大將寺內壽一伯爵被特命為總司令官。
南方軍下屬第一方面軍緬甸方面軍成立於1943年，駐地先後在西貢、新加坡、馬尼拉、西貢、大叻。1942年8月-1944年10月設軍政總監部。日軍侵佔南洋的戰略目標之一是攫取石油資源，南方軍總司令部設有燃料本部，以中將任部長，在蘇門答臘、爪哇、婆羅洲、緬甸等處設燃料工廠。南方軍作戰地域包括東南亞大陸、印度洋安達曼羣島、荷屬東印度羣島、東部新幾內亞、菲律賓，日本投降時轄4個方面軍、12個軍、1個航空軍，總計有38個師團、1個戰車師團、22個獨立混成旅團、1個海上機動旅團，共有約74萬。
南方軍並不完全是一支新軍，很多部隊都是是抽調其它戰區的精鋭兵團。來自中國派遣軍的部隊大多數已有4年的實戰經驗，特別是第5師團，擅長登陸動作，抗日戰爭以來轉戰各地，歷經百役。原屬關東軍的第5飛行集團，參加過蘇日諾門坎空戰。在南方軍編內還破天荒地集結了9個坦克聯隊，日軍總共才15個坦克聯隊。高級指揮官寺內壽一、山下奉文、今村均、本間雅晴等都是日軍大本營倚重的驍將，自侵華戰爭以來已積累下指揮大兵團作戰的豐富經驗。寺內壽一出身世家，其父是日本著名首相，元帥寺內正毅。寺內壽一本人也曾擔任過陸軍大臣等要職，在日軍現役大將中，他和陸相杉山元、關東軍司令官植田謙吉並稱為“陸軍三最峯"。山下奉文則素以膽大凶悍著稱，曾任關東軍防衞司令官，又剛從德國、意大利考察坦克新戰術歸來，正欲施展一番。後來，他在馬來戰役中進軍神速，作戰得力，因而獲得"馬來之虎"的綽號。
1945年8月15日，日本天皇宣佈接受"波茨坦"公告，向反法西斯聯盟投降。在收聽"玉音"廣播後，南方軍總司令部明確表示要"承詔必謹，誓安聖慮",隨即命令各部停止作戰，準備與盟軍接洽投降事宜。1945年9月12日，板垣徵四郎大將代表南方軍，在新加坡簽訂降書。按照盟軍的命令，北緯16度以北的第38軍向中國國民黨軍隊投降，菲律賓的第14方面軍殘部向美軍投降，其餘地區約50萬人向英軍投降。
第1總軍和第2總軍
1941年7月7日成立防衞總司令部，歷任總司令山田乙三、東久彌宮稔彥王，轄東部軍、中部軍、西部軍、北部軍，1943年2月北部軍改為北方軍直屬大本營，1945年1月東部軍、中部軍、西部軍改製為軍管區，又新成立東北、東海軍管區。4月7日成立第1、第2總軍，同時撤銷防衞總司令部，各軍管區由方面軍司令部兼任。
第1總軍司令杉山元元帥，須藤榮之助中將任參謀長，負責日本東部區即名古屋以東至津輕海峽的防禦作戰任務，駐東京。指揮在仙台的日軍第十一方面軍的6個師團又兩個旅團，在東京的日軍第十二方面軍的22個師團又13個旅團，在名古屋的日軍第十三方面軍的7個師團又4個旅團。
第2總軍司令畑俊六元帥，岡崎清三朗中將為參謀長，負責日本西部地區即名古屋以西至九州的防禦作戰任務，其司令部設在廣島。下轄第十五方面軍（司令官內山英太郎大將，駐大阪）的9個師團又3個旅團；第十六方面軍（司令官橫山勇中將，駐福岡）的15個師團又11個旅團。
航空總軍
1945年4月8日由日軍大本營下達命令組建航空總軍，負責指揮全部陸軍航空兵部隊。其司令部設在東京，司令官為河邊正三大將，參謀長為田副登中將，指揮着在東京的第一航空軍、在長春的第二航空軍、在漢城的第五航空軍、在南京的第十三飛行師團、在福岡的第六航空軍及直屬航空總軍的3個飛行師團和2個飛行集團。
