在評書《隋唐演義》中，徐茂公是算無遺策、智比諸葛的大謀士。但在真實的歷史上，徐茂公卻是個能征慣戰的將領。此外在現實中，徐茂公的原名是徐世績，字懋功，史書中一般稱為徐世績。
李密敗給王世充後，徐世績將黎陽之地獻給了唐朝李淵，因此被賜名為李世績。其後李世績為了避李世民的諱，將自己名字改成了李績。
作為一代戰將，李績可謂是出類拔萃。在李世民看來，李績是唐朝最會打仗的三人之一。在內戰和外戰中，李績都為唐朝立下了汗馬功勞，分別消滅了東突厥、薛延陀和高句麗，可謂是功高蓋世。因此，李績被封為英國公，在凌煙閣24功臣中位居23。
為了表彰他的軍事才能，李績被唐玄宗推舉為武廟十哲之一，享受萬世之香火。然而唐朝滅亡後，李績武廟十哲的地位卻遭到了質疑，有好幾次差點和白起一起，被請下了神位。這是因為在很多人看來，李績的人品實在太差勁了，不配享受香火。
那麼在評書裏被視為正面人物的李績，為何被很多人視為不忠不義的代名詞呢？《大唐新語》曾記載了這樣一段故事。
公元666年，高句麗權臣淵蓋蘇文病死，他的兒子為了爭奪權位而打得不可開交。唐高宗趁此機會，命72歲的老將李績出兵討伐高句麗。
臨行前，李績派人給自己女婿杜懷恭送信，讓他立即騎着馬去軍營報到。誰知杜懷恭説，自己家貧，既沒有馬，也沒有盤纏。隨後，李績立即給杜懷恭送了一匹千里馬，並讓他即可趕到軍營。誰知杜懷恭接收了千里馬後，竟不顧使者阻攔，奪馬而逃。
隨後，杜懷恭逃進了岐陽山，李績也拿他沒有辦法。對於杜懷恭的行為，很多人表示大惑不解：“你岳父對你那麼好，為何還要逃跑？”
杜懷恭回答：“你有所不知，我岳父叫我去軍營，哪是為了我好！而是為了在軍人面前殺了我，用來立威！”
在很多人看來，杜懷恭是不是得了被迫害妄想症。但是唐人卻對此評論：
“英公持法者，杜之懷慮深矣。”
而李績後來聽説杜懷恭逃跑的原因後，也説出了真心話：“此或有之”（我真有可能殺他立威）。
從常理上來説，對於越是親近的人，就越是能把握其本質。在很多人看來，李績給女婿送錢、送奴僕、送千里馬，簡直是國民級的好岳丈。但是仔細一想，又覺得不對勁。
既然李績那麼好，為何杜懷恭為何還那麼窮？甚至連去軍營的路費都湊不齊？如果李績真是個好岳父、好父親，位極人臣，身為英國公的他，又為何能坐視女婿和女兒受窮？由此可見，李績並不是很喜歡自己的女婿。
如今臨近出征了，李績又是送錢，又是送馬，突然？正所謂“事出反常必有妖”，李績讓杜懷恭去軍營，絕對別有所圖。
而從李績之前的經歷來看，他確實是為了利益而六親不認的人。李績在為唐朝防守黎陽時，曾和自己的父親李蓋一起，被竇建德所俘虜。但在李績看來，竇建德並非可以奪取天下的英主，難以給自己帶來富貴。於是他趁竇建德不注意，逃回了唐朝，絲毫不顧他的父親仍在竇建德的控制之中。如果不是竇建德仁慈，李蓋或許早就下油鍋了。
在古人看來，忠孝是密不可分的。連孝順都做不到，何以言忠。向君主而盡忠，而摒棄對父母的孝，是一種反常的、反人性的行為。因此當徐庶母親被曹操俘虜後，劉備就大度地將徐庶放至曹營。因為劉備相信，在這種情況下，徐庶是不可能向自己效忠的。
因此李績丟棄父親，自己逃回唐營的行為，在當時並沒有得到讚譽，相反還有很多人説李績是個偽裝忠誠的偽君子，是不值得信任的。而這種不信任，在李世民那裏表現得最為明顯。
從表面上看，李世民對李績重用有加。當李績生了病，李世民甚至剪下自己鬍鬚給他做藥引。但當李世民去世前，卻一反常態，將李績貶為疊州刺史。其後李世民對太子李治説：
“你對李績無恩，所以我才將他外放。若他口吐怨言，便説明他有不臣之心，難以控制，你應當將他立即誅殺；若無怨言，你可即刻將他召回京城，他必對你死心塌地。”
很顯然，李世民對於李績這個狡賊，從沒有打自內心裏信任過。他看重李績的才能，但也提防着李績的野心。為了富貴，李績連父親都可以丟下，更何況無親無故的君主？
不過李績果然還是老謀深算，得到調令後，他連家都不回，即刻動身。因為他知道，任何遲疑，都可能讓他腦袋搬家。
在高宗朝，李績在“廢王立武”問題上，堅決站在武則天一邊，導致武氏最後篡權，致使李氏子孫死屍枕藉，大唐差點傾頹。而李績之所以站隊武則天，並非因為他不知道武氏的跋扈。而是在他看來，站隊武則天雖然不利於李唐，卻利於自己。正如王夫之在《讀通鑑論》中評價：
“贊立武氏，人自亡其社稷，己自保其爵祿，惻隱羞惡是非之心。”
同時王夫之還認為，李世績自始至終都如他自己所説，是個“狡賊”。杜懷恭正是看準了岳丈“利字當頭”的狡賊本性，和六親不認的權謀，所以才堅定地選擇逃亡。而這一決定，也讓他保住了性命。