1947年七月，西北野戰軍正式成立，彭德懷擔任司令兼政委，張宗遜擔任副司令，張文舟擔任參謀長，徐立清擔任政治部主任。徐立清雖然是開國中將，但本來計劃是授予上將的，因為他極力推辭才改為中將。而參謀長張文舟卻只是開國少將，張文舟是我軍非常優秀的參謀人才，紅軍時期擔任過紅29軍參謀長，抗戰時期擔任過陝甘寧晉綏聯防軍警備第三旅的參謀長，解放戰爭時期更是高居西北野戰軍的參謀長。
抗美援朝戰爭時期，經過彭德懷親自點名，擔任過志願軍代理參謀長這些級別都不低，當參謀長記憶力必須要好，比如李達、劉亞樓那都是活地圖，隨便一個地方張口就來，張文舟自然也不在話下，很多地方掃一眼就能牢牢記住，彭德懷只要需要，張文舟就能隨時報出來，讓彭德懷對他非常信賴。1947年，胡宗南率軍大舉進攻延安，為了掩護總部機關進行戰略轉移，彭德懷指揮西北野戰軍與之展開了激戰。
為了制定作戰方針，彭德懷一行跑到前線去勘察地形，由於是躲在敵人眼皮子底下活動，所以沒有辦法繪製詳細的作戰地圖，但是等他們回來以後，不管彭德懷説到哪裏，張文舟都能對那裏的地形地貌乃至敵軍部署侃侃而談分毫不差，儼然就是一個活地圖。新中國成立之後，張文舟被調到裝甲兵任參謀長，與許光達一起創建裝甲兵機關和裝甲兵學院，成為我國裝甲部隊的發展奠基人之一。
但是，在裝甲兵幹了還不到兩年，張文舟又被彭德懷叫去，原來振軍參謀長解方正在和敵軍談判，彭德懷身邊缺少參謀就親自點名，就把老搭檔張文舟調了過去，擔任志願軍代參謀長。後來彭德懷因病回國，但是張文舟並沒有因此慌亂，反而是越打越勇，參與指揮了金城反擊戰和上甘嶺戰役等等，從而大大增加我軍的談判籌碼，為協議書的正式簽訂提供了有力的支持。回國之後，張文舟又回到裝甲兵擔任過裝甲兵副司令、裝甲兵學院院長等職務，並於1955年授予開國少將。其實以張文卓的資歷是可以授中將，但是張文舟對此毫不介意。