題主這個問題很有價值，可以說，是很多沒有經歷過考研的人的共同的疑問，也是很多正在備考和即將準備考研的人的共同疑問。作為一個經歷了兩次考研的人，我對此頗有體會，下面闡述一下個人看法，供參考。
從全國範圍內來看，考研的競爭是明顯大於高考的。高考的特點是985、211名校難考，而普通本科不難，大專更容易，所以，要上大學並不難，難的是上名校。
而考研不一樣。考研名校固然通常也難，普通學校也不容易。從全國平均錄取率來看，前幾年報錄比大約是4:1。而即將到來的2019年考研，報考人數在260～280萬人之間，實際錄取人數預計大約只有50～55萬（扣除保研之後的資料），平均錄取率只有大約20%，報錄比只有大約5:1，資料直觀反映出考研競爭是比較大的，就算要考上一所普通大學，也得超越大部分人，才可以成功。
僧多粥少，報考者多，而錄取人數相對較少，決定了考研成功的只能是相對少數。這是原因之一。
原因之二是，考研初試分數看起來不高，但中間是有“玄機”的。
考研不同於高考，高考有教學經驗豐富、對高考有深刻了解和研究的各科老師專門指導；考研差不多就是“一個人的戰鬥”，基本上一切都靠自己，從資料蒐集到實際備考複習，主要靠自己一個人完成。這種“單兵作戰”，會使得很多人很難考高分，群體性地考不了高分，從選拔的角度來看，考研錄取線（國家線）也自然不會高。
從考研的實際試卷來看，大多數專業是兩科公共科目，政治和英語，全國統一出題；而兩門專業課中的專業基礎課多數也統一出題，但不同學科試卷不同（比如考研數學，理工科考數學一數學二，經濟類考數學三），難度也不一樣；剩下那門專業課一般是由報考單位出題。
不同的專業，不同學校，專業課試卷是不同的，難度也不一樣，甚至閱卷的評判標準也不一樣。大致來說，越好的學校，專業課出題越難，評分越嚴格。某些名校專業課出題很難，閱卷很嚴，會出現所謂“壓分”現象，導致考生普遍得分不高。這類學校雖然看起來錄取分數並不很高，但其實難度很大。比如北大清華、復旦交大等頂尖名校，你看他們的考研複試線並不高，文科往往350左右，理工科甚至只有330分左右，經濟類也往往只有370分左右，但實際上非常難考，報考這些學校，要達到這些分數其實很不容易。
原因之三是考研的特殊要求。對於大多數學校而言，初試有考研國家線這個基本要求（名校有個34所自劃線，通常都比較難）。國家線不但對總分做出了基本限制，而且對單科有一定要求，也就是不但要求整體水平較高，而且要求各個科目有個基本平衡，不能偏科。每年都會有少數人因為偏科而考研失利。
而考研本身是一個大型選拔性考試，目的是選拔出具有學習潛力，特別是具有學術研究基礎和潛力的學生，以便在研究生階段得到進一步培養。所以，考研不但有初試關，而且有複試關。初試只能看應試能力，而複試則考查綜合能力，綜合能力最重要的組成部分就是專業能力和學術潛力，這些方面的考查，會使部分初試分數不錯但這些方面相對較差的考生在複試中失利，最終考研失利。
總體而言，考研確實較難，因為競爭大、要求高。雖然看起來分數並不多高，但要完全達到這些要求，並不容易，最終能勝出而考研成功的人相對較少也在情理之中。
希望我的回答對你能有幫助～