明孝宗朱祐樘被後人認為是明朝中興之主，在用人上自有一套。弘治二年（1489年），兵部尚書餘子俊病逝，挑選一個合適的繼任者成了當務之急。明孝宗把眼光投向當時的都察院左都御史馬文升身上。
最初使馬文升得以進入明孝宗法眼的是，馬文升曾於弘治元年（1488年）時嚮明孝宗上過一封奏書，名為《為預防虜患以保重地事疏·防守甘涼》。在奏書中，他提出對甘涼一帶邊境軍務的一些看法。馬文升對甘涼一帶並不陌生，他從成化四年（1468年）到成化十一年（1475年）一直都在甘涼一帶，參與平定固原盜亂，還曾總制三邊，率軍出擊韃靼。
明孝宗剛繼位不久，馬文升看到明孝宗對甘涼缺乏重視，而當時蒙古韃靼部對甘涼時有窺視，他才上了這封奏書。在奏書中，馬文升認為韃靼部在達延汗的統治之下有所壯大，會對甘涼產生影響，並建議明孝宗早日確定甘涼的防禦策略。馬文升身為都察院左都御史，卻插手軍事，雖有越權之嫌，但這封奏書讓明孝宗看到馬文升對甘涼的拳拳之心，以及他對軍事的獨特見解和才能。
明孝宗立即下旨對涼州的防禦進行安排部署，同時讓馬文升以左都御史身份提督十二團營。團營是明英宗兵敗土木堡後，民族英雄于謙整頓京城軍隊的產物。發展到明孝宗時，團營已經弊病重重，平時駐守京城，卻缺乏訓練，營中將士腐敗嚴重。簡而言之，十二團營長期鬆弛，已經沒有戰鬥力。
馬文升提督十二團營，即他可以主管十二團營的軍政要務，但實際權力有限。團營駐守京城，又沒有戰事，哪有多少軍務？另外，團營的將領任免又歸兵部管轄。馬文升有心整頓團營，但總有些人給他設置障礙，而他又無能為力。
弘治二年（1489年），餘子俊去世之後，明孝宗就提拔馬文升接任兵部尚書，全面掌管大明軍政。新官上任三把火，馬文升早就對大明當時兵政廢弛的狀況深為不滿，他的第一把火就燒在團營的整頓上。馬文升制訂了嚴格的考核制度，對團營各級軍官進行考核，不合格的或以往有劣跡的均會被罷免。一番整頓下來，馬文升罷免了30多個團營各級軍官，團營面貌煥然一新。
在明朝以文治武的大背景下，武將前程很有限，受到文臣的掣肘，升遷很難。團營身負拱衞京城的重任，又不需要上戰場，營中各將士不需要有軍功就能得到很好的待遇。所以，營中的將領大多都是一些勳貴子弟，靠家族勢力或賄賂上位。這也就導致了團營軍備鬆弛，將領腐敗。
有句俗話説：“斷人財路，如殺人父母”。馬文升一口氣罷免30多人，自然也會引起這些人及其背後勢力的不滿。古往今來，這種主持吏治變動的人是最遭人嫉恨。成化時代的名臣李秉主持吏治改革，罷免了上千個監生，就被朝中一些大臣彈劾下台。與馬文升同時在朝的吏部尚書王恕，也是因為採取措施杜絕幸門而三天兩天被言官彈劾。與李秉和王恕不同，馬文升不僅是被彈劾，甚至還遭到刺殺。
《明史》： 明年，代餘子俊為兵部尚書，督團營如故。承平既久，兵政廢弛，西北部落時伺塞下。文升嚴核諸將校，黜貪懦者三十餘人。奸人大怨，夜持弓矢伺其門，或作謗書射入東長安門內。帝聞，詔錦衣緝捕，給騎士十二，衞文升出入。文升乞休，優詔不許。
《明史》記載寥寥幾個字，很難判斷其兇險之處，只是馬文升嚇到請求辭職，足見此事嚴重之處。實際上，馬文升被刺殺後，前後共嚮明孝宗上了兩道奏書，第二道奏書就是請求致仕。第一道奏書名為《迴避仇害大臣事》，馬文升説出了事情的整個過程。
馬文升先是在長安門外收到有人丟的匿名書信，內容並不是誹謗那麼簡單，而是列舉馬文升做過的一些事，並聲稱要刺殺馬文升，這是赤裸裸的威脅和刺殺預告。
刺殺是發生在弘治二年（1489年）七月二十七日，馬文升因籌備八月初二祭祀孔子之事，晚上留宿兵部齋戒。二十八日，家裏的守衞前來報告，説有人於夜裏四更守在家門外，曾經敲響家門，家人不敢回應。第二天家人開門時，發現門上射入兩支箭，入木很深。家人曾問過街口的更夫，更夫説有個當時確實有個男子騎着馬，幾次曾問馬文升是否在家，並在巷裏面等待。由此看來，當時有人守在馬文升家門口，打算等待馬文升回家或上早朝刺殺馬文升，但沒有等到，後來敲了家門，沒得到回應，然後才離去。馬文升的運氣不錯，當天正好因祭祀之事留宿在兵部，沒有回家，躲過了刺殺。
事關性命安危，馬文升心中難免害怕，他嚮明孝宗表示，他家距離皇宮那麼遠，每天早早起牀上朝，怎麼可能運氣那麼好，每次都能躲得過刺殺呢？馬文升明確指出是整頓團營，罷免太多軍官，導致被一些人報復，同時他提出“容臣止管部事，免其提都團營”，就是隻管兵部之事，不再提督團營。由此可見，當時馬文升確實很恐懼，以至於打了退堂鼓。
當時明孝宗繼位還不到兩年時間，在吏治方面也有諸多改革，例如他支持吏部尚書王恕，打擊通過幸門、乞官獲得監生身份或入官等行為，同時針對科道官員也在進行整治。相對於馬文升對團營的改革，王恕的吏治改革可謂是大刀闊斧，這些改革相互關聯，牽一髮而動全身。一旦明孝宗不能支持馬文升貫徹團營的整頓，也會鬆動對王恕吏治改革的支持，導致王恕將承受更大的壓力。
所以，如果這時明孝宗同意馬文升的請求，不再讓他管理團營之事，那麼此前整頓團營的努力將付諸流水，王恕的吏治改革也會受到影響，甚至使明孝宗繼位之後的一系列改革走向失敗。再者，屈服於這些違紀分子，也會使朝廷威信大失，對明孝宗把控朝廷大局也大為不利。
馬文升的奏書讓明孝宗意識到問題的嚴重性，他才派錦衣衞保護馬文升的安全，並支持馬文升進一步深化整頓軍務。只是在一開始，錦衣衞的保護並沒有讓馬文升放心，於是馬文升又上了一道奏書，請求辭職，當然也沒得到明孝宗的同意。後來，馬文升也逐漸放下心來，繼續深化改革。在明孝宗的支持下，馬文升陸陸續續對京營、邊鎮內臣等進行整頓。