公元621年，李世民率領秦瓊、程知節、尉遲敬德等人在谷水打敗王世充，然後揮兵圍困洛陽。王世充堅守城池，李世民圍城十日，沒有絲毫突破。
這時，李勣和尉遲恭向李世民推薦一人，此人名叫張公瑾，早年曾在王世充麾下效力，四年前投奔李淵。張公瑾力大無窮，和王世充的很多舊部相識，或許有破敵之法。
張公瑾生於隋朝開皇年間，曾擔任洧州長史，歸王世充管轄。公元618年，李淵建立唐朝，張公瑾投降李淵，被任命為鄒州別駕。張公瑾雖然已經在唐朝效力四年，但和李世民並不熟悉。此時李世民為了攻打王世充，急調張公瑾到洛陽，張公瑾正式歸於李世民麾下。
《舊唐書·張公瑾傳》記載：
初未知名，李勣尉遲敬德亦言之，乃引入幕府。
這一年，李世民大破王世充和竇建德，從此之後，李唐勢力獨霸中原。張公瑾也因有功，被李世民重用。沒想到的是，幾年後，張公瑾因做了一個決定，直接助李世民登上皇位。
此事要從李世民和李建成之爭説起。隨着李世民的功勞日漸卓著，駐守在長安的李建成感覺到了威脅。李建成身為嫡長子，佔據太子名分，但唐朝將領只知道有秦王，並不知道有太子，李建成如坐針氈。在齊王李元吉的配合下，李建成開始謀劃除掉李世民。
武德九年，李建成找李世民一起飲酒，在酒中下毒，打算鴆殺李世民。李世民吐血不止，幸虧堂叔李神通及時出現，護送李世民回秦王府，否則李世民就毒發身亡了。《資治通鑑》雲：
建成夜召世民，飲酒而鴆之，世民暴心痛，吐血數升，淮安王神通扶之還西宮。
在此之後，李世民想到遠離朝堂，到洛陽避禍，但李元吉等人怕李世民到洛陽後更難下手，想辦法極力阻止。
在短短一個月之內，李建成和李元吉又開始拉攏和排擠李世民的心腹將領，尉遲恭遭到暗殺，程知節被調離長安，就連李世民最依賴的兩位智囊房玄齡、杜如晦也被李建成找機會調離秦王府。李世民此時已經深陷絕境。
長孫無忌、尉遲恭、張公瑾等人多次勸李世民反擊李建成，趁着李建成還沒下手，先除掉李建成和李元吉。畢竟是殺害兄弟手足，李世民內心實在下不了這個狠手。
武德九年六月初一，李世民在太子府安插的內線提供消息，李建成和李元吉密謀，趁李元吉出征之前，請李世民來昆明池為李元吉餞行。席間，在帷幕後面埋伏刀斧手，一舉殺死李世民。
吾與秦王餞汝於昆明池，使壯士拉殺之於幕下。
得到這個消息後，秦王府眾人再也按捺不住，求李世民趕緊動手，否則就沒有機會了。李世民仍然沒有下定決心，在眾人的勸説下，李世民的心情愈發煩躁。
眾人都以為李世民已經下定決心時，李世民竟然請了一位擅長占卜的人來到府中，讓他幫自己占卜是兇是吉。
古代的卜者占卜，需要用到龜殼。卜者剛開始占卜，張公瑾就闖了進來。只見張公瑾奪過卜者手中的龜殼，往地上一摔，《舊唐書》雲：
遣卜者灼龜佔之，公謹自外來見，遽投於地而進曰：“凡卜筮者，將以決嫌疑，定猶豫，今既事在不疑，何卜之有？縱卜之不吉，勢不可已。願大王思之。”
張公瑾怒摔占卜的工具，然後對李世民説了一段話，這段話大概的意思是：如果占卜要是有用，我們何必如此緊張。若是占卜的結果是“吉”，難道李建成就不殺你了？
一語驚醒夢中人，李世民聽了張公瑾的話，知道自己身臨絕境，若不奮起反擊，就只能做刀俎上的魚肉了。李世民於是連忙派人悄悄召回房玄齡和杜如晦，和長孫無忌、高士廉、張公瑾、尉遲恭、侯君集、程知節、段志玄等心腹一起密謀政變。
六月初四當天，玄武門之變正式爆發，李建成被李世民一箭射死，李元吉也死於尉遲恭之後。當李建成麾下將領薛萬徹、馮立等人領兵前來時，張公瑾力大無窮，以一人之力，關閉了城門，把敵軍擋在門外。
玄武門之變後，李淵知道事已至此，已無其他選擇，便封李世民為太子，不久禪位給李世民。李世民因此成為唐朝的第二位皇帝。
唐太宗李世民以仁義治天下，創造貞觀之治，被稱作是千古明君。若無張公瑾當年怒摔龜殼，勸李世民下定決心，就不會發生玄武門之變。若無玄武門之變，唐朝的第二位皇帝或許就不是李世民。因此，張公瑾其人，不僅在玄武門下立下大功，並且在唐朝功臣榜上佔據一席之地。