1874年因琉球事件而引發日軍侵台後，清廷於次年決定每年從海關及厘金收入中提取400萬兩白銀作為海軍軍費，北洋水師即由此起步。
之後，北洋大臣李鴻章開始向歐洲拋出大額訂單，準備打造一支前所未有的艦隊。
1880年12月，李鴻章與德國伏爾鏗船廠簽訂了一份總金額高達340萬兩白銀的造艦合同，這就是後來的“定遠”、“鎮遠”兩艦。之後，李鴻章又向該廠訂購了一艘穹甲巡洋艦“濟遠”艦，造價68萬兩白銀。
“定、鎮”兩艦是同級姊妹艦，二艦長94.5米、寬18米、吃水6米，排水量7200噸，4門克虜伯305毫米後膛主炮，當時號稱“全球第一等鐵甲艦”。
1885年後，李鴻章再次向英德兩國訂購了4艘巡洋艦，這就是英國阿姆斯特朗公司建造的“致遠”、“靖遠”兩艦，造價170萬兩白銀；向德國伏爾鏗船廠訂造的“經遠”、“來遠”兩艦，造價174萬兩白銀。1887年秋，四艦同時抵返天津。
北洋水師於1888年（光緒十四年）12月17日于山東威海衞的劉公島正式成立，清廷每年撥出400萬兩白銀給予海軍建設，凝聚了李鴻章晚年的心血。
根據當年《美國海軍年鑑》排名，艦隊實力曾是東亞第一，世界第九（前八名分別為：英國、法國、俄國、德國、西班牙、奧斯曼土耳其、意大利、美國）。後由於種種原因逐漸落後日本。
有了定遠號、鎮遠號等先進的鐵甲艦，並不會自動形成強大的戰鬥力。那時候，自北洋水師提督丁汝昌以下，絕大部分軍官都是陸軍出身，沒有水上作戰經驗。因此，在李鴻章的推薦下，清廷聘請了英國海軍軍官琅威理作為北洋水師的軍事顧問。
琅威理是一位資深的海軍軍官。他14歲就進入皇家海軍學校學習，16歲就進入英國海軍實習，實習期滿後就一直在英國海軍服役，長達20多年。
琅威理最初來到中國，是因為中國從英國購買軍艦，他負責將軍艦帶到中國。琅威理在華期間所表現出來的勤幹明練作風，讓李鴻章很欣賞。幾經交涉，在李鴻章的推薦下，琅威理於1882年正式入職北洋水師，頭銜是總教習、副提督銜，主要負責艦隊的組織、操演、教育和訓練。
毫無疑問，琅威理是一位優秀的軍事顧問。他非常勤奮，日夜操練，“刻不自暇自逸，嘗在廁中猶命打旗傳令”，在廁所裏都不忘工作，與那些尸位素餐的中國軍官形成了鮮明的對比。琅威理治軍極嚴，北洋水師一度流傳“不怕丁軍門，就怕琅副將”的説法。在琅威理的督促下，北洋水師官兵認真操演，沒人敢請假，也沒人敢出差錯。
在琅威理的嚴格管理和訓練下，北洋水師軍容整肅，讓英國、法國這些老牌的海軍強國都刮目相看。
1886年，北洋水師提督丁汝昌率隊對日本進行友好訪問。期間，發生著名的“長崎事件”。琅威理極力鼓動開戰。他認為，此時北洋水師的實力遠勝對手，“即日行動，置日本海軍於不振之地。”
日本倒頗有自知之明，他們深知實力不及中國，就軟了下來。次年2月，中日雙方簽訂協議，日本賠付中國52500元，算是了結此事。
隨着北洋水師訓練水平的提升，劉步蟾、林泰曾等軍官開始不滿琅威理的管理風格，圍繞指揮權發生了爭執。
1890年2月，北洋水師南下期間，發生了“撤旗”事件。琅威理認為，這是劉步蟾、林泰曾等軍官對自己的侮辱，向李鴻章提出辭職。李鴻章也不欲一個外國軍事顧問過多染指艦隊，隨即照準。於是，琅威理就離開了中國。
琅威理回到英國後，逢人便訴説其在華受辱，這也讓英國政府很沒面子。1890年11月4日，英國拒絕了李鴻章另聘英國人為北洋海軍顧問的請求，他們撤回了中國海軍中的所有英國軍官，宣佈不再接納中國海軍留學生赴英國學習。
就在同一時期，日本也在用英國人訓練自己的海，負責日本海軍建設的英國皇家海軍英格斯上校後來回憶説，日本政府曾封贈他以貴族，使他能有足夠的權力和地位號令全軍。日本人，堅持走着英國人鋪出的路，他們不僅使艦隊保持着英格斯離開時的面貌，而且更趨完善了。
中國老是覺得自主好，時機成熟了要自主，當時機不成熟的時候，往往就提前自主。所以北洋水師後來的訓練就開始翫忽了,把訓練制度降下來,自行其事.而日本始終一直到跟中國開戰，英國的這些教練也沒走，所以差距拉開了。
當時上海的英文報紙《北華捷報》説,琅威理離去，中國海軍“混亂的狂歡”開始了。1886年7月，北洋水師的“定遠、“鎮遠”等四艦，由朝鮮回國途中，駛往日本長崎港大修，日本人開始很害怕，日本艦隊司令東鄉平八郎，也是從英國學海軍回來的，他登艦參觀,參觀了以後説，我心裏很有把握，我能打敗中國。因為當時他看到中國軍艦上的大炮，曬的是士兵的褲子，所以這叫“大炮上曬褲子”。日本《朝日新聞》，以“清國海軍的現象”為題報道了觀感，甲板上放着關公像，亂七八糟的供香，其味難聞之極，甲板上散亂着吃剩的食物，水兵語言不整，不絕於耳。同時，中國水兵上岸休假，還前往長崎一家妓館尋樂.
這些都反射出北洋水師的軍紀鬆散、士兵驕橫，但對這一切，李鴻章不以為然，他説武人好色，乃人之天性。只要你能打仗，就可以了。
同時北洋水師都染襲了過去中國軍隊的那套裙帶關係，翫忽職守。水師後勤管理腐敗，福建人把持着整個艦隊日常職能，北洋水師創建初期，後備人才不足，大部分的高級海軍將領均來自船政學堂，以福建人為主。這樣北洋水師產生了內部矛盾。官職僅次於丁汝昌，留學英國，船政學堂畢業的劉步蟾，為人性格跋扈，對屈居於丁汝昌之下感到不滿。劉步蟾利用鄉情，聯合閩籍軍官，在水師中形成了閩黨，與丁汝昌明爭暗鬥，導致了戰鬥力的下降。