康熙己卯夏四月，上南巡迴馭，駐蹕於江寧織造曹寅之署，曹世受國恩，與親臣世臣之列。爰奉母孫氏朝謁，上見之，色喜，且勞之曰：“此吾家老人也”。賞賚甚渥。會庭中萱花盛開，遂御書“萱瑞堂”三字以賜。
這座“萱瑞堂”被認為是曹雪芹所撰《紅樓夢》中“榮禧堂”的原型。康熙皇帝六次南巡，除第一次駐蹕在江寧將軍署，其餘五次均駐蹕於江寧織造署，其中康熙三十八年(1699年)及以後的康熙四十二年(1703年)、康熙四十四年(1705年)、康熙四十六年(1707年)都由曹寅承辦接駕大典。此外，曹寅的兩個女兒都嫁給親王為妃。
曹璽是曹雪芹的曾祖父，曹寅是他的祖父。康熙五十一年(1712年)，曹寅病逝，在江寧織造任職二十二年，駐江寧二十年。曹寅的兒子們——也就是曹雪芹的伯父曹顒、曹子承父業，繼任江寧織造近六十年。在歷史上，南京的絲織業一直負有盛名，三國東吳、東晉、南朝時期，都曾在建康(今南京市)設立錦署(織造署)。在清朝，江寧的絲織業繼承了優秀的傳統，江寧織造署的絲綢產品——金陵雲錦只供皇帝和親王大臣使用，高度壟斷了當時的服裝奢侈品市場。江寧織造署規模弘大，共有三個工場：一在西華門，一在常府街橋邊，一在北安門的靼韃城(即明皇城)。江寧織造署擁有織機三萬多台，男女織工逾五萬，關聯產業解決當地民眾就業二十多萬人，歷年的產值都超過一千萬兩白銀。江寧織造署裏的金陵雲錦生產規模和工藝創新也在康熙年間達到頂峯。金陵雲錦因其燦若雲霞、美若綺雲而得名，是我國絲織工藝中具有優秀藝術傳統、鮮明地方特色和獨特藝術風格的織錦。金陵絲織生產的開端，最早追溯到南朝，而“雲錦”的形成和發展則是在元、明、清三代。金陵雲錦集歷代織綿之大成，在元、明、清三朝均為皇家御用品。
江寧織造署不僅是清代舉足輕重的輕工業部門，還是江南重要的政治部門，可直接向清政府報告江南地區的各種情報，因此只有清帝的親信及內務府大臣才可擔任，其地位僅次於兩江總督，所以權勢顯赫。不僅如此，曹寅與妻兄李煦輪流兼任設在揚州的兩淮巡鹽監察御史，曹家還曾兼理江南的制銅部門，在上述領域握有壟斷的特權。六十年間，曹家勢力逐漸擴張，成為江南舉足輕重的豪族。雍正二年(1724年)，曹雪芹誕生在江寧織造署內，自幼生活在“花柳繁華地，温柔富貴鄉”的環境中，他的童年記憶充滿了這個家族鼎盛時期奢華生活一個又一個繽紛多彩的場景，這一切根植在他幼小的心靈中，化作成年以後悽美絕倫的夢幻，同時也表現在《紅樓夢》中花團錦簇的貴族生活場景。但是，江寧織造署並不確定是《紅樓夢》中大觀園的原型，據一些紅學家的考證，大觀園可能來自曹氏家族位於南京小倉山的隨園，或來自位於北京柳蔭街的恭王府。由於北京恭親王府至今遺蹟尚存，所以傾向於此的紅學家有更多的證據。然而，江寧織造署是曹雪芹生活多年的地方，它對曹雪芹必定也有着重要的影響。乾隆皇帝南巡時，顯赫的曹氏家族已經衰落。乾隆十六年(1751年)，兩江總督尹繼善為迎接乾隆皇帝南巡，在江寧織造署的基礎上大興土木，將其改造為乾隆行宮，現在南京“大行宮”的名稱便由此而來。整個行宮內假山圍繞，清溪穿流，花木葱蘢，流水潺潺，樓榭亭閣布處其間，有綠靜榭、聽瀑軒、判春室、鍾中亭、塔影樓、彩虹橋、釣魚台等勝景。大行宮後不幸毀於火災。太平軍佔據南京時，在原基址上建天王府。太平天國運動失敗後，天王府又被焚燬。清朝末年，大行宮一帶闢為馬路。現在的南京市大行宮街區就是清代江寧織造署的所在地，但行宮本身卻已無跡可尋。
乾隆皇帝駐蹕過江寧織造署所改建的行宮，但他的身世之謎與曹家並無干係，而洶湧的俗文化與四平八穩的正史卻構成了強烈的反差：關於乾隆生母的各種傳説中，最為荒謬的説法來自某些紅學愛好者們，他們“考證”出，曹雪芹有個深深相愛的女朋友，該女友不慎懷了曹雪芹的孩子，但很快被選入雍親王府，得到雍正的寵愛，生下乾隆。鑑於《紅樓夢》中的林黛玉一向被視為曹雪芹滿懷深情所刻畫的女友，那麼這種説法即認為乾隆的母親是林黛玉。誠然，這種説法是極具顛覆性的，它不僅顛覆了清史和文學史，而且在虛構與現實之間架起橋樑。那麼，乾隆的身世為何在江南引起如此大的波瀾？他究竟出生在何地？《清史稿》中的孝聖憲皇后(雍正即位後封為熹貴妃，乾隆即位後加尊號為崇慶皇太后，去世後諡為孝聖憲皇后)究竟是不是乾隆皇帝的生母？有關乾隆生母的傳説中有三種與熱河避暑山莊有關，而且始終圍繞着丫鬟或宮女展開：
①清末歷史學者王闓運的《湘綺樓文集》中的《列女傳》部分講道：乾隆的母親是熱河民間女子，家道平常，沒有僕人。她十三四歲時到北京入選了秀女，到雍王府做丫鬟。雍正有一段時間生了重病，她對雍正悉心照料，於是日久生情，女子懷孕，後來產下男孩，取名弘曆，就是後來的乾隆皇帝。
②熱河都統幕僚冒鶴亭、作家周黎庵、台灣學者莊練(蘇同炳)、台灣小説家高陽等人認為：乾隆的母親是熱河行宮的一個宮女李佳氏，名叫李金桂。雍正還是皇子時，隨父皇至避暑山莊，與山莊內一位醜陋的李姓宮女相戀。第二年，康熙父子又來到山莊，聽説這個李姓宮女已懷上了“龍種”。康熙大為震怒，問道：“種玉者何人？”經追問，雍正承認是自己乾的好事。此時這位宮女就要臨產，康熙怕家醜外揚，讓人將她帶入草棚馬廄，在草房裏生下了乾隆。③民國國務院總理熊希齡與老宮役閒談中得知：乾隆的母親是江南女子“傻大姐”，她來到熱河後做了雍正的丫鬟。雍正還是皇子時，隨父皇至避暑山莊，與“傻大姐”相戀。第二年，康熙父子又來到山莊，聽説這個李姓宮女已懷上了“龍種”。康熙大為震怒，問道：“種玉者何人？”經追問，雍正承認是自己乾的好事。此時“傻大姐”就要臨產，康熙怕家醜外揚，讓人將她帶入草棚馬廄，在草房裏生下了乾隆。最後這個傳説流傳很廣，是因為熊希齡把這個傳聞告訴了胡適，胡適又把這件趣聞記在日記裏，通過《胡適之日記》公開，這個傳説又經過口口相傳，被添加了許多想象的內容，與李佳氏的傳説混淆在一起，從而變得街知巷聞了。
王闓運、冒鶴亭、熊希齡、胡適等人都是中國近代的著名人物，因而他們所説的話較尋常傳言更為人所深信。那麼，乾隆是否出生在避暑山莊呢？乾隆在位時期，民間就已經對他的出生地眾説紛紜，一種流傳甚廣的説法認為他出生在熱河行宮的一座皇家園林，這座園林因為背靠一座形如獅子的山峯而得名“獅子園”。諸皇子每年隨康熙到熱河避暑，雍親王也不例外，獅子園便是雍親王(後來的雍正皇帝)一家當時在熱河的住處。乾隆朝有個官員叫管世銘，江蘇武進人，是乾隆四十三年(1778年)的進士，後在軍機處當值，做到了軍機章京，瞭解很多宮廷的掌故。管世銘經常隨乾隆去承德避暑山莊、參加木蘭秋獮典禮，他曾寫下《扈蹕秋獮紀事三十四首》，其中第四首涉及到乾隆皇帝的出生地：“慶善祥開華渚虹，降生猶憶舊時宮。年年諱日行香去，獅子園邊感聖衷。”該詩後面附有管世銘的原注：“獅子園為皇上降生之地，常於憲廟忌辰臨駐。”這個註腳的意思是：乾隆皇帝出生在獅子園，所以他常在先帝雍正的忌日到這裏住上幾日，以示紀念。
如果認為管世銘的詩作只是闡明乾隆出生在避暑山莊的旁證，那麼嘉慶的兩首詩就可作為直接證據了。乾隆退位後的嘉慶元年(1796年)八月十三日，嘉慶跟隨乾隆帝到避暑山莊慶賀他的八十六歲壽辰，並寫下一首《萬萬壽節率王公大臣等行慶賀禮恭記》。詩中有這樣兩句：“肇建山莊辛卯年，壽同無量慶因緣。”詩後附有嘉慶帝的原注：“康熙辛卯肇建山莊，皇父以是年誕生都福之庭。”一年之後，又逢乾隆壽辰，嘉慶再寫《萬萬壽節率王公大臣等行慶賀禮恭記》詩祝壽：“敬惟皇父以辛卯歲，誕生於山莊都福之庭。”但是，嘉慶十二年(1807年)，嘉慶帝為父親纂修《實錄》和《聖訓》時，發現兩部典籍中，皇父乾隆的出生地皆為雍和宮。嘉慶命文華殿大學士劉鳳誥仔細調查，劉鳳誥考證了乾隆的《御製詩集》，這些詩作和註腳中，乾隆凡是講到自己出生地點的幾處，都清楚地表明是雍和宮。乾隆四十三年(1778年)新春，乾隆作《新正詣雍和宮禮佛即景志感》詩中有一句“到斯每憶我生初”。乾隆四十四年(1779年)新春，乾隆作《新正雍和宮瞻禮》詩中有一句：“齋閣東廂胥熟路，憶親唯念我初生。”“齋閣東廂”指的是雍和宮東書院如意室、平安居、太和齋一帶。由此詩可見，乾隆本人不僅承認自己誕生於雍和宮，而且還暗示了自己出生在雍和宮的具體位置。有鑑於此，嘉慶放棄了皇父出生在避暑山莊的説法。這樣，《實錄》和《聖訓》中記載乾隆出生的文字就成為“康熙五十年辛卯八月十三日子時，誕上於雍和宮邸。”綜合所有的正史、野史與傳聞，乾隆的身世有如下幾種説法：
①乾隆生於雍和宮，母親是熹妃鈕鈷祿氏，父親是雍正皇帝。
②乾隆生於雍和宮。母親是熱河民間女子，父親是雍正皇帝。
③乾隆生於避暑山莊。母親是熱河行宮宮女李佳氏，父親是雍正皇帝。
④乾隆生於避暑山莊。母親是江南女子“傻大姐”，父親是雍正皇帝。
⑤乾隆生於海寧陳家。母親是陳夫人，父親是陳世倌。
⑥乾隆生於雍和宮。母親是林黛玉，父親是曹雪芹。