公元前106年，武帝下詔劃分全國為十三州部，即冀州、青州、兗州、徐州、揚州、荊州、豫州、益州、涼州、幽州、幷州、交州、司州等十三州，每州為一監察區設刺史。《漢書.武帝紀》載“初置刺史部十三州”，自此刺史一職正式應運而生。
刺史緣於秦朝的“監御史”一職，《漢書·百官公卿表》載“監御史，秦官，掌監郡，漢省。”。眾所周知秦始皇統一全國之時，廢分封制而行郡縣制，在當時始皇將全國的劃分為三十六郡，而每郡置郡守、郡尉等官職。同時在當時始皇帝為了防止這些郡守、郡尉做出欺君瞞上，違法亂紀的事情，他在設立郡縣制的同時，還建立了一套完整的地方監察制度。
即在三十六郡專門設立監御史一職，他們不管軍不管政，唯一的職責就是負責監察郡守、郡尉等郡官(監御史一般不會對縣級官吏進行監察，縣級官吏的監察事務由郡守負責)，防止他們在行使權力的過程中出現不妥之處，如以權謀私、貪贓枉法等，但是需注意他們只有監察權，而沒有執行權，一旦他們發現郡守等郡官有問題，他們只能向皇帝，或者御史大夫彙報，然後由他們來決定該如何處理。
當然秦朝的監御史除了有監察的權力，有些監御史還有其他的一些權力。如向皇帝推薦人才，當年蕭何在做泗水卒吏的時候，《史記》載“秦御史欲入言徵何”。如興建水利，歷史上最為知名秦朝三大水利工程之一的靈渠就是始皇帝讓一個叫祿的監御史負責修建的，《淮南子》載“使監祿無以轉餉，又以卒鑿渠以通糧道”。再比如領兵作戰，在秦末由於戰事頻繁，所以有些時候監御史也會領兵平亂，《史記.曹相國世家》載“攻秦監公軍，大破之”。
當然以上的某些權力都是在特殊的情況才被皇帝賦予的。正常情況下監御史的職責就是監察和舉薦人才。而之後隨着秦朝的滅亡，監御史一職也曾經短暫的廢除過。
公元前202年劉邦登基稱帝，建國“漢”，而隨着漢朝的建立，秦朝所流傳的一些制度也隨之被廢除，其中就包括監御史制。在當年始皇帝設立監御史本就是因對地方的官員不信任而設立的，而在此時各地的官員基本都是跟隨劉邦南征北戰的功臣，所以此時設立這個職務容易引起功臣們的不滿，再加上在當時大漢百廢待興，很多時候不能太限制地方官員的權力，需要他們集中精力去恢復各地的經濟。
也就是如此最終在監御史一職被撤銷，不再設立。但是到了漢惠帝事情，由於大漢立國已有數十年，曾經的功臣們或死，或老很大一部分都沒有在地方上任職，而就是如此地方上的官員可以説與皇帝就只有純粹的君臣關係。所以此時漢廷有必要去加強中央政府對於地方上的監管，最終惠帝決定恢復被廢除的監御史一職，且惠帝還以法律的形式規定了監御史的職權。
在當時惠帝專門讓人編撰了《監御史九條》這一地方性的監察法規來明確監御史的職責和權力。《唐六典》載:“惠帝三年，相國奏監御史監三輔、郡，察以九條，察有司訟者，盜賊者，偽鑄錢者，恣為奸詐論獄不直者，擅興徭役不平者，吏不廉者，吏以苛政故劾無罪者敢為逾侈及弩力十石以上者，非所當服者，凡九條。”。也就是説此時的監御史不再是侷限於只是監察郡守等郡官的行政事務的處理，而是有權調查冤假錯案，官員貪污，官員擅自使用民力，官員苛政等一系列的事情，並可糾察一切的不法行為。
而且在當時惠帝還規範監御史的彙報機制，惠帝規定“常以十月奏事，十二月還監。”，也就是説之後的監御史必須每月到京城彙報所監察郡中的一切情況，包括刑訟、吏治等情況，後到十二月才能迴歸駐地。此外，惠帝為了防止地方上的監御史與地方官員相互勾結，他還規定監御史必須兩年更換駐地，即“監者二歲更之”，以此來杜絕監御史會同地方官員欺上瞞下的情況的出現。
但是就算如此防範，在當時全國還是出現了監御史與郡守相互勾結的情況，即使有些監御史不與郡守勾結，其本身也存在翫忽職守的情況，亦或怠政的情況。再加上由於監御史在地方上並沒有能夠監督他的人的存在，所以在惠帝后期監御史目無法紀的情況越發的嚴重。直到文帝時期朝廷最終決定改變此現狀，文帝十二年，漢文帝以“御史不奉法，下失其職”的名義設立了一個全新的地方監察制度，即丞相史出刺制度。“乃遣丞相史出刺，並督監察御史”也就是説為了這個制度就是專門為監察各地的監御史而存在的。
《漢舊奕》載“東曹九人出督州為刺史”，也就是派九位丞相史前往豫、青、徐、揚、荊、梁、冀、雍、兗等九州，每一個負責監察各州轄下的所有監御史。而丞相史出刺制就是後武帝所實施的刺史制的雛形。
上面已説了在文帝時期由於監御史的無人監管，所以文帝一朝就在監御史制之外另外設立了丞相史出刺制來制約着監御史。但是事實上在實施的時候，其實丞相史的職權是跟監御史有重疊的，再加上在文帝時期經常出現丞相史與監御史相互扯皮的情況，已經嚴重的影響到地方上監察制度的實施。
同時武帝時期經常出現武帝巡視天下的時候，一些貪官紛紛逃離，亦或自殺的情況。據《史記·平準書》載“天子始巡郡國，東渡河，河東守不意行至，不辦自殺。行西逾隴，……隴西守自殺，……新秦中或千里無亭徼，於是誅北地太守以下”。從這段記載就可以看出當時整個天下吏治已腐敗到極點，而地方官員如此的腐敗，但武帝卻幾乎沒有從監御史和丞相史彙報中看到一絲的記載。
由此武帝已深知監御史制和丞相史出刺制已經不適合在設立，可以説這兩個制度已經爛到了極致。最終武帝在公元前106年決定廢除監御史制和丞相史出刺制，改而建議了一個全新的監察制度，即刺史制。武帝將除京師七郡外，在全國設立十三個監察區，每區設刺史一人，負責監察所在州的郡官員和郡事。
刺史的職權在西漢多有變化，甚至連官職名都經常改變。武帝時期初立刺史一職的時候，它的職責如同《漢儀》載“到所部，郡國各遣一吏迎之界上，所察六條。”，也就是刺史的職責就是監察所規定的六件事，那都是哪六件事呢？
其一、強宗豪右，田宅逾制，以強凌弱，以眾暴寡。即監察地方的豪門士族，有沒有出現魚肉鄉里，強取豪奪地方上百姓的土地，亦或恃強凌弱的。
其二、二千石不奉詔，遵舊典，倍公問私，旁詔守利，侵漁百姓，聚斂為奸。即監察地方二千石的官員有沒有遵守典籍辦事，以權謀私去禍害百姓，亦或者是貪污受賄的。
其三、二千石不恤疑獄，風歷殺人，怒則任刑，喜則淫賞，煩擾苛暴剝戮黎元，為百姓所疾，山崩石裂，祆實訛言。即監察地方二千石的官員有沒有徇私枉法，有沒有依法斷案，亦或者有沒有用暴政來禍害百姓。
其四、二千石選署不平，阿附所愛，敝賢寵玩。即監察二千石官員在替朝代選拔人才的時候有沒有徇私舞弊，有沒有“舉賢不避親”。
其五、二千石子弟恃怙榮勢，請任所監。即監察二千石官員的子嗣有沒有仗勢欺人的，有沒有知法犯法的，亦或欺行霸市的。
其六、二千石違公下比，阿附豪強，通行貨賂，割損政令。即監察二千石官員有沒有和地方豪強勾結，然後欺行霸市，魚肉鄉里的。
可以説在當屬設立刺史制的時候，武帝就彌補了之前所廢的監御史制和丞相史出刺制的不足之處。它即明確了刺史的職責，同時也避免了刺史對於地方正常行政事務的干擾。此外，在設立這個職務的時候，武帝也另外的做了一些巧妙的安排，首先刺史不歸丞相管轄，而是歸御史大夫，以此避免了丞相對於地方上的一家獨大。同時刺史的俸祿也很低，只有區區的六百石，但是這樣設立的好處就是往往這些官階低下的刺史會為了升職而更加努力的去監察地方的事情，因為在當時刺史唯一能升職的機會就只有幹好監察本州事務的事情才可以。
就這樣直到西漢成帝時期，刺史制都很好的在全國實施着，不過在這個時候刺史的職權雖未改變，但官職名卻改成州牧了，而俸祿也變成了二千石，據《漢書·成帝紀》載在公元前8年十二月成帝“罷部刺史,更置州牧”。而後在漢哀帝建平二年，州牧又被廢除重新改名為刺史，同時俸祿也降低，不過在元壽二年又重新改回了州牧，俸祿也變回了二千石，但職權卻自始至終都沒有變。
當然刺史在地方有時候也會如同之前的監御史一樣，有時候皇帝會給他們派一些其他的任務。比如鎮壓地方上叛亂，如宣帝時期冀州刺史張敞“敞以耳目發起賊名區處，謀誅渠帥。”。又比如安置流民，如元帝時期由於流民遷移到幽州的越來越多，所有有大臣就奏到“舉奏刺史二千石勞徠有意者,言勃海鹽池可且勿禁,以救民急”，而成帝最終也應允許。
總得來説刺史(州牧)的最重要的職權就是監察地方，而其他的一些事務就全看皇帝怎麼安排啦。比如皇帝像安撫地方的少數民族，他想讓刺史去就刺史去，想讓太守去就太守去，這些全憑皇帝的意思。而到了新莽之後，州牧的職權就完全變了，變成地方的軍事長官，而到了東漢末年靈帝時期州牧更是變成了掌握一州混軍政大權的最高長官，當然這一切都是後話。