北洋政府統治時期，雖然各派軍閥之間打得熱火朝天，但基本都停留在步兵對步兵的階段，由於裝備和經濟實力不足，海軍這個燒錢大户很難大規模出現在戰場上。部分軍閥雖然也裝備了一些艦艇，但基本都是當前清朝滅亡後留下的一些，數量並不多。但作為奉系軍閥首領的張作霖，竟然白手起家，在短短3年內創辦和發展出了東北海軍，擁有各類艦艇30餘艘，另外還配備了航空母艦和海軍陸戰隊。
成立航警處
，
興辦航警學校
1923年，張作霖已經牢牢控制了東北地區，成為國內數一數二的軍閥勢力，但按照國際慣例，地方割據勢力所辦的海軍一律不予承認。所以，張作霖只能在其指揮部先專設航警處，任命留學日本海軍學校的沈鴻烈任該處處長，除作為未來東北海軍的領導機關外，還兼管水警、漁業、航運、港口等業務。
1923年1月航警學校在遼寧葫蘆島炮台山設立，4月1日正式開學，設初級軍官班（40名）和學兵班（220名），後來又開辦了輪機班（38名），其生源絕大部分為東北三省的子弟，但由於該校從校長到教官大多是沈鴻烈的留日同學，因此該校教學內容、管理方式等完全仿照當時比較先進的日本海軍學校模式，這就為東北海軍的建立和發展提供了人才準備。
收編吉黑江防艦隊
1919年，北洋政府決定抓住蘇俄內戰的契機，組建吉黑江防艦隊北上黑龍江、松花江，接管中蘇交界的江防。1919年7月21日下午3時，江亨、利捷、利綏、利川4艘炮艇從上海吳淞口起航，途中克服了重重困難，於次年10月駛入松花江、抵達哈爾濱，加上在當地用商船和警用巡邏艇改裝的江平、江安、江通、利濟4艘炮艇，共8艘炮艇組成了吉黑江防艦隊。
雖然吉黑江防艦隊直屬北洋政府海軍部，但在軍閥混戰的年代，海軍部對這支艦隊無暇顧及並長期欠餉，而張作霖趁機伸出援手，提供經費接濟維持，因此艦隊大部分官兵產生了改隸奉系軍閥的念頭。張作霖趁機以該艦隊司令王崇文私通直係軍閥吳佩孚和挪用公款等罪名將其撤職查辦，改派親信接任。1923年3月1日，吉黑江防司令公署改為吉黑江防司令辦公處，歸東三省保安司令部節制，正式被張作霖攏入袖中。
組建海防艦隊
1923年7月，沈鴻烈向大連政紀輪船公司購買了1艘2700餘噸的商船“祥利”號，將其改裝成“鎮海”號飛機母艦；1924年春,又向該公司購買了1艘2千餘噸的商船改裝成“威海”軍艦；同年9月，第二次直奉戰爭爆發；11月，奉軍入關，抵達天津，接收了大沽造船所，將1艘1100餘噸的破冰船奪為己有，改裝成“定海”炮艦。1925年秋，沈又購買了 1艘200餘噸的日本魚雷艇命名為“飛鵬”號，編入海防艦隊，正式以營口為基地，組建了屬於自己的海防艦隊。
收編吞併渤海艦隊
1924年11月，原本投靠孫中山廣州革命政權的部分艦艇北上歸順直係軍閥吳佩孚，抵達青島後，這批艦艇被統一改編為“渤海艦隊”，合計有巡洋艦3艘、炮艦 3艘、驅逐艦3艘、運輸艦1艘等。第二次直奉戰爭時，吳佩孚全線崩潰，“狗肉將軍”張宗昌率軍佔領山東全境，俘獲了停泊在青島港大部分艦艇。
為了讓張宗昌將吃到嘴裏的肉重新吐出來，張作霖與沈鴻烈合謀，先任命張宗昌為海軍總司令，又沈鴻烈率領東北江海防艦隊擔任第一艦隊司令（即原東北海軍），渤海艦隊為第二艦隊（吳志馨任司令）。此後，沈鴻烈又推波助瀾，挑撥離間，借張宗昌之手將吳志馨處決，然後乘機安插留日同學補缺，成功掌控了第二艦隊（即渤海艦隊）。隨後，沈鴻烈以整頓為名，將150餘名親信官兵送上各艦要害位置，成功達到了其收編吞併渤海艦隊，建立東北海軍之目的。
