其实所谓的风流才子唐寅的一生是相当落魄的，十九岁的时候娶了第一位妻子徐氏，夫妻感情很好，正当他踌躇满志的时候，父母接连病故，妹妹也自杀身亡。心爱的妻子也因产后虚弱撒手人寰，刚出生的孩子活了三天便夭折了。
二十七岁时，他中了解元，迎娶了第二任妻子何氏，但他很快就被卷入了科考舞弊案件之中，前途尽毁，同富贵易，共患难难。妻子何氏不堪忍受贫苦生活，离他而去。
三十六岁时，他迎娶了青楼女子沈九娘，夫妻恩爱，可惜没过几年沈九娘因操劳过度去世了。
唐寅几经变故，遭受打击，身心疲惫，再也没有续弦的念头了。将自己的精力投入到书画创作中，孤独终老，死的时候连棺材都买不起，还是朋友为他买棺材下葬。
而从明代流传下来的话本中则说他家中有九妻，又化名华安去追秋香。其实秋香比他大二十岁，他也只是一个落魄的才子。