首先，“中堂”並不是一個正式的官階，而是明清時期，尤其是清代對某些內閣大學士的尊稱。為什麼要稱呼大學士為“中堂”呢？這要從明太祖時期，朝廷中央官制的改變說起。
明洪武十三年（1380年），左丞相胡惟庸謀反案爆發，明太祖藉此誅殺胡惟庸並其同黨數萬人。此後太祖為了集中皇權，消除隱患，於是將自秦代開始沿用了一千五百年的“丞相制度”廢黜，同時罷去了從隋代開始即設立的中書省，自己大權獨攬，直接統領六部及其他各司院寺署。
自明太祖開始，中華歷史上就再沒有出現過“丞相”一職，朝廷庶務無論鉅細，統統由皇帝一人處理裁決，皇帝實際上兼任了丞相，皇權得到了空前的集中。
但即使是明太祖這樣精力過人、心性堅定的雄主，單獨一人執掌朝政大事，時間久了，也同樣力有不逮，不能面面俱到。
為了減輕自己的工作壓力，分擔部分政務瑣事，洪武十五年（1382年），明太祖仿照兩宋殿閣制度，設立諸大學士，用翰林院儒學文士擔任、以備為皇帝諮詢顧問所用。這就是明清內閣制度的雛形。
大學士制度初立時，明太祖設立置華蓋殿、謹身殿、武英殿、文淵閣、東閣大學士，稍後又增設文華殿大學士，號稱“四殿二閣”。各殿閣大學士最初都是翰林文臣兼任，品秩為正五品，且“不置官屬、不得專制諸司、諸司奏事亦不得相關白”，其實就是皇帝的私人政務秘書，協助其處理朝政，處理往來文書諭旨等庶務。
洪武三十五年（建文四年、1402年），明成祖靖難成功，渡江破南京推翻建文政權，登基成為大明第三代皇帝。
對於殿閣制度，明成祖基本繼承下來，指派解縉、胡廣、楊榮等前朝文臣擔任學士（成祖將大學士之大字去除，仁宗時改回），並在皇宮內文淵閣設立內閣，命諸殿閣學士入值其內，協助皇帝處理軍政要務，參預朝政，內閣制度在這個時候便正式建立，此後沿用了近六百年。
內閣制度在明代逐漸發展，諸大學士的地位也逐漸提高；洪熙、宣德、正統時期（1425-1449年），大學士基本都是以六部尚書、侍郎、都御史等職兼任，資歷深者例加太子三師、三孤等崇尊之職，死後還可以追贈三公。天順、成化、弘治時期（1456-1505年），內閣制度持續強化，名稱也有所改變，形成了“中極殿大學士（即華蓋殿大學士）、建極殿大學士（即謹身殿大學士）、文華殿大學士、武英殿大學士、文淵閣大學士、東閣大學士等新“四殿二閣”制度，並延續至明末。
因為明代大學士們在文淵閣內辦公，而文淵閣內正堂是大學士們各自的“辦公室”所在，他們一般在此處理政務。各內閣中書舍人則分居兩旁廊舍聽從大學士們的指派，辦理公務，所以內閣中書舍人們就稱呼諸大學士為“中堂”（注意：字尾沒有大人這兩個字）。這就是中堂之名的起源。
但是在明朝，殿閣大學士在內閣之外，幾乎不被稱呼為“中堂”。皇帝、皇太后、宮內大宦官是叫“老先生”，皇帝有時候叫內閣首席大學士（即首輔）為“元輔”。外朝大臣、地方官員、民間百姓們則稱呼為“閣老”、“閣部”。
整個明朝，雖然殿閣大學士的權力越來越大，內閣也實際上替代了之前丞相府的功能，但是始終不是正式的官府機構，也沒有法定地位，自始至終是一個臨時部門。大學士的本官品秩一直是正五品，他們還是要依靠實際加官（三孤、太子三師、六部尚書）的品秩，彰顯自己的地位，來對其他部院寺寺署等部門行使政令及人事安排。
清立國之初，於天聰二年（1628），建立文館制度，清太宗收取原明朝儒士，讓他們入內值守，以備日常查諮；天聰十年（1636），文館更名為內三院（即國史、秘書、弘文），各置大學士，被稱為內三院大學士。這是大學士制度在清朝的起源。
入關後，清朝延續明朝制度，繼續設立內閣及諸殿閣大學士。但是內閣制度在清代前期受到“議政王大臣會議”的牽制，中後期則被“軍機處”奪取幾乎全部實際權力，有名無實。所以，整個清朝，內閣及殿閣大學士制度的權力一直沒有達到明朝時期的同樣高度，大學士們在清代幾乎是個虛職（如果沒有加其他職權官位的話。）
但是清代殿閣制度相比明朝，也有實際的優勢，第一項特點就是內閣被確認為正式的國家機構，是國家中樞機關（雖然是名義上的）。整個清代，所有朝廷正式詔書必須要由內閣擬定及簽發，臣子們的正式公文奏章按照程式也一定是先遞交內閣，再轉通政司，奏報皇帝。所以，清代的內閣是正式的中樞機構，諸殿閣大學士也是正式的“宰相”，雖然沒有宰相名稱，實際權力也要因人而定，但起碼不再是臨時工，而是國家正式官職。
還有，清代大學士得本官品秩也被提升；入關初期時，滿大學士為正一品、漢大學士為正二品。清順治十五年（1658），滿漢大學士都改為正二品。最後，在雍正八年（1730），大學士被確定為正一品。
而為什麼雍正時期，大學士被升為正一品呢。因為就在雍正七年（1729年），清世宗設立了“軍機處”，任用其他外朝大臣兼任“軍機大臣”，幾乎全部替代了大學士的職權和政務處理權（就好像明朝設立大學士替代丞相職權一樣）。剝奪了正牌大學士們的職權後，清世宗給予他們官位和榮譽上的利益，拔高官秩，增加尊崇，作為交換。
此後，大學士們不再獨立擔任政務處理許可權，而是作為軍機大臣和其他地方重臣的加官，以此名義行事。
清代，內閣殿閣大學士的具體設立是：中和殿、保和殿、文華殿、武英殿、文淵閣、東閣等諸大學士。乾隆十三年（1748年）後中和殿不再授予臣子，而保和殿僅僅授予國傅恆、張廷玉等寥寥幾人，一般也不授出。這一年又增加了體仁閣，匯入殿閣制度。
所以清代內閣實際形成了：保和殿、文華殿、武英殿、文淵閣、體仁閣、東閣等三殿三閣（其中保和殿相當於虛置），諸殿閣大學士設四至六人，以旗、漢各二人最為常見。另加協辦大學士旗、漢各一人，官秩從一品，作為協助和候補。
大學士在清代，其“中堂”之代名得以被朝野上下普遍作為尊稱而為人所知。清代內閣制度流於形式，諸殿閣大學士不再獨立藉助此官而處理政務，而是作為重臣勳貴的加官，來彰顯威權及地位。
尤其清代中央六部，因政權的特殊性，主官分旗漢身份而分別設定，旗籍、漢籍各設一人。日常處理政務時，各部大堂上旗籍尚書坐東朝西，漢籍尚書坐西朝東，對掌部務。
為了解決六部最終決策權的問題，所以清代皇帝專門設立了“大學士管部制度”，讓大學士們“兼管某部”，實際上也是個臨時差遣，不在大學士本職之內。
而在大學士們前往所管之部處理政務時，因該部滿漢尚書於大堂上東西對坐，所以大堂中間坐北朝南的位置就當仁不讓地屬於此管部大學士居中獨坐。
長此以往，各部官員都尊稱管部大學士為“中堂”，後來，即使是加官以示尊崇、並不管部的空頭大學士、以及地位稍遜的協辦大學士，都約定俗成地一併尊稱為“中堂”。這些，就是清代大學士被稱為“中堂”的歷史由來。
大學士品秩，，明代一直是正五品，不過明代大學士都有其他兼銜，前期是各部尚書、都御史、翰林學士。中後期則基本統一為太子三師，資歷深厚者可以加三孤。所以明代大學士一般是正二品、從一品品秩（主要是看其兼銜）。
清代大學士，設立時分滿漢身份，為從一品、正二品。此後統一為正一品（而且是本官官階，不是其他加銜）。
至於說中堂不好當，這個其實也不是說真的為官艱難。只是有的大學士被尊稱為“中堂”，其實只是虛稱，沒有管部的實際職責，空有頭銜，而職權不再。所以這樣的“中堂”，虛應故事而已，自然當著有些乏味無趣，以至於“不好當”。
即使是管部大學士，“真正的中堂”，旗籍還好，可以在所管之部發佈政令，指揮所隸屬的滿漢尚書。如果是漢籍，屬下的旗籍尚書不免有敷衍乃至牽絆之心。上下難保沒有有衝突和矛盾，所以這也是“中堂不好當”的體現。
即便是旗籍管部大學士，如果屬下旗籍尚書後臺強、勢力大，有互不服氣的情況出現，那就更是一地雞毛，部堂不寧，“中堂不好當”即刻體現出來。
而且，自康熙中期起，中央六部的施政權，在管部大學士之上，皇帝還額外指派了“管部阿哥”（就是皇子）來“指導工作”。這樣，下有滿漢尚書，上有那個“管部阿哥”，作為中間的“管部大學士”地位就有點尷尬了，如果能力強還好，可以一起攜手相商，處理庶務；如果能力稍有不足，則必定下被尚書們敷衍架空，上又為“管部阿哥”所壓制臧否，兩頭不討好，“中堂不好當”這句話，那是一定坐實了的。