要説劉秀，還是先説劉邦吧，劉邦統一天下成為皇帝后，有8個兒子，分別是：庶長子劉肥、嫡子劉盈、三子劉如意、四子劉恆、五子劉恢、六子劉友、七子劉長、八子劉建。
劉邦去世後，嫡子劉盈成為皇帝，也就是漢惠帝，劉盈英年早逝，20幾歲就因為受到了刺激而去世，當時呂雉當政，於是扶立劉盈的兒子為傀儡皇帝，呂雉去世後，大臣聯合皇族誅滅了呂氏，殺死了尚為傀儡皇帝的劉盈之子，並擁立了劉邦的第四個兒子劉恆為帝，西漢皇帝於是從劉盈一系過渡到劉恆一系。
劉恆就是漢文帝，他早年生了四個兒子全部夭折，後來又生了四個兒子，分別嫡長子劉啓、嫡次子劉武、三子劉參、四子劉揖。劉啓就是後來的漢景帝，父子兩人共同創造了文景之治的盛世，劉武就是後來的梁孝王。
漢景帝是西漢所有皇帝當中，生育能力最強的皇帝，沒有之一，漢景帝一生有14個兒子和3個女兒，這是史書記載在冊，還有些可能沒被記載，所以後世的劉氏皇族大多出於漢景帝一系，比如東漢末年的劉備，就是漢景帝之後，出自中山靖王劉勝一脈，劉勝是漢景帝的第9個兒子，再比如東漢末年的劉表和劉璋同樣也是漢景帝之後，出自魯恭王劉餘一脈，劉餘是漢景帝的第4個兒子。
劉發的故事與當年的劉恆有此相似，劉恆的母親薄姬也不受劉邦寵愛，因為劉邦一時憐憫，寵幸了薄姬，就這一次，薄姬就懷孕了，生下了劉恆，後來做了漢文帝，劉發也是如此，他的母親也不受漢景帝寵愛，只因為特殊情況就懷孕生子，也許是因為運氣好，也許是因為易受孕體質，總之，劉發就這樣出生了。
劉發因為母親不受漢景帝寵愛，所以被封到了相對偏僻的長沙國，劉發就是長沙王，長沙王在劉邦時代就是，第一任長沙王是吳芮，這是劉邦所分封的異姓王，也是異姓王中唯一善終的，吳芮的長沙王只傳了5代人，因為後代沒有兒子，長沙國被廢除。
到了西漢景帝時期，漢景帝封了劉發為長沙王，開啓了同姓分長沙王的先例，也能看出漢景帝的兒子就是多，長沙國的封地相當於今天的湖北省南部、江西省東部和湖南省全部，差不多就是長江以南的地區，相對來説非常偏僻。
但是劉發很聰明，他趁着一次到京城長安面見漢景帝的機會，跳舞時故意張開袖子不伸展開來，讓人覺得奇怪，於是漢景帝就問他怎麼回事，劉發説：臣國小地狹，不足回旋。這簡單就是拐着彎向漢景帝要封地，但是漢景帝還是同意了，畢竟是自己兒子，給劉發增加了武陵郡、桂陽郡、零陵郡三個郡的封地。
劉發有16個兒子，根據嫡長子繼承製，長沙王爵位是劉發的長子劉庸繼承，劉發的其他兒子只能被封侯，不能被封王，16個兒子就是16個分支，
劉買有幾個兒子不得而知，至少有兩個，繼承劉買舂陵侯爵位的是他的兒子劉熊渠，劉熊渠也是新朝末年更始帝劉玄的曾祖父，而劉買的另一個兒子劉外沒有爵位，只是擔任鬱林太守，這個地方是今天廣西貴港，同樣是相當偏遠，可見劉發的後代一代比一代偏遠，而這個
由於劉外不能繼承爵位，只能擔任官職，所以劉外的後代肯定不如劉熊渠的後代，因為官職不能世襲，而爵位可以世襲，因此劉外的後代就不再有爵位，只能靠自己的能力或者地位去謀取官職，
所以，劉秀的世系是這樣的：
算起來劉秀是劉邦的九世孫，是漢景帝劉啓的七世孫。但是到了劉秀這一代時，他的家族沒落了，劉秀已經是普通的平民了，那麼他的家族是如何一步步淪落了呢？
從劉秀祖父輩官職的變化，也能看出其家族的逐漸沒落，雖然出身皇族，劉秀的高祖父劉買還有舂陵節侯的爵位，到了劉秀的曾祖父劉外時，就只是鬱林太守，再到劉秀的祖父劉回時，只是鉅鹿都尉，到了劉秀的父親劉欽時，就只是南頓縣令了，從皇帝到王，再從舂陵節侯到太守、都尉、縣令，官職是逐級變小。
劉秀的六世祖長沙定王劉發，高祖父舂陵節侯劉買以及曾祖父鬱林太守劉外都不是嫡長子，所以不能繼承王位或者帝位，漢景帝有14個兒子，最早的太子是劉榮，後來被廢除，改立第10個兒子劉徹為太子，這就是後來的漢武帝，如果劉發是嫡長子，那劉發就是皇帝的繼承人，正因為他不是，所以只能封王。
每傳一代，爵位就要自動降一低，劉發的兒子劉買也不是嫡長子，所以不能繼承長沙王的爵位，只能封侯，所以封了舂陵節侯，而再往下一代，連侯爵也沒有了，只能靠能力與出身自謀出路了，傳到劉秀父親這一代，只能當個縣令，縣令的兒子其實就是平民，算不上貴族了。
推恩令是無法破解的陽謀，對於皇族來説，生的兒子越多，後代的勢力越小，原本由嫡長子繼承的土地，按照推恩令來説，則由所有的三個嫡子或者多個嫡子共同瓜分，嫡子再生嫡子，土地再繼續瓜分，分個幾代人後，就跟普通的小財主沒啥兩樣，再分幾代人，就變成平民了。
從漢景帝到劉秀已經有七代人了，因為推恩令的作用，到了劉秀這一代時，已經沒有土地，就是普通的平民。
劉秀的父親劉欽在劉秀9歲的時候就去世了，劉欽只是個縣令，當一天官，拿一天俸，一旦去世了，劉秀家裏就失去了經濟來源和頂樑柱，劉秀與兄弟姐妹就成了孤兒，除了頂着皇族後裔的頭銜，他們與普通百姓並無區別，劉秀兄妹後來靠叔父劉良撫養才長大成人，劉良當時也是個縣令。
劉秀有兩個哥哥，兩個姐姐和一個妹妹，大哥劉演、二哥劉仲、大姐劉黃、二姐劉元、妹妹劉伯姬，一家五個孩子，都靠叔父劉良來養活，負擔也不小，所以到了劉秀這一代時，他的家族已經淪為普通平民了。