少年時期的唐伯虎能詩善文，十四五歲時，唐伯虎拜著名畫家周東村為師，畫藝日趨精湛。幾年後，唐伯虎的山水、人物、仕女、花鳥畫都已經出類拔萃。他也與當時著名文人和書畫家祝枝山、文征明、徐禎卿並稱“吳中四才子”。正當唐伯虎躊躇滿誌，立誌有壹番作為時，不幸卻悄悄降臨。父親突然中風過世，母親因太悲傷也隨父親而去。不久，妻子在生育孩子時，產後熱盛，悄然離世。而小嬰兒在出世3天後，也隨親娘而去。親人接連病故，對唐伯虎打擊甚大，他在《答文征明書》中這樣寫道:“不意今老，事集於外，哀哉哀哉，此亦命矣……不幸多故，哀亂相尋，父母妻子，躡踵而歿，喪車屢駕，黃口嗷嗷。”但是後來在好友祝枝山、文征明的鼓勵下，唐伯虎重拾古文，發憤苦讀，“名不顯時心不朽，再挑燈火看文章。”結果鄉試名列榜首，“解元公唐伯虎”壹時名遍南京城，可惜，好景不長，唐伯虎受到科舉舞弊案的牽連，從此科舉無門，功名路斷。後來，唐伯虎娶青樓女子沈九娘為妻，倆人情投意合，唐伯虎自此也潛心作畫，貧困之下以賣畫為生。明正德四年（公元1509年），唐伯虎在蘇州城北建成桃花塢，他自稱桃花塢主，曾作《桃花庵歌》:“桃花塢裏桃花庵，桃花庵下桃花仙；桃花仙人種桃樹，又摘桃花換酒錢……”唐伯虎的後半生主要生活在桃花塢，壹生中的主要藝術作品也產生於此。唐伯虎坎坷壹生，晚年生活貧困淒苦，享年54歲。
既然唐伯虎並沒有娶秋香為妻，那麽“唐伯虎點秋香的故事”又從何而來？秋香在歷史上確有其人嗎？
唐伯虎點秋香故事的雛形最早出現在明代的筆記體小說中。明代小說家王同軌在他的《耳談》中敘述了另壹個蘇州才子陳元超與唐伯虎點秋香壹模壹樣的故事: “元，少年倜儻不羈，嘗與客登虎丘，見官家從婢姣好姿媚，笑而顧己，悅之。令人跡至其家，微服作落魄，求傭書焉，留侍二子。自是二子文日奇，父師大驚，不知出元也。已而以娶求歸，二子不從，曰:‘室中惟汝所擇’。曰:‘必不得已，秋香可。’即前遇婢也。二子白父母，嫁之。元既娶，婢曰:‘君非虎丘遇者乎？’曰:‘然！’曰:‘君既貴公子，何自賤若此？’曰:‘汝昔笑顧我，不能忘情耳！’”這個故事到了明末馮夢龍手上，就變成了《警世通言》中的《唐解元壹笑姻緣》。而在戲曲中的唐伯虎故事，最早有明末孟稱舜的雜劇《花前壹笑》，後來人們覺得“壹笑”太不過癮，又從“壹笑”發展到“三笑”，出現了王百谷的《三笑緣》彈詞、卓人月的《唐伯虎千金花舫緣》雜劇。乾隆、嘉慶以後，蘇州評彈藝人口中常唱的彈詞有《三笑姻緣》、《三笑新編》、《三笑八美圖》、《笑中緣》等等。到了清朝末年，民間開始流傳彈詞唱本《九美圖》，開始有了唐伯虎娶9個貌美如花老婆的說法。
故事的女主角秋香也確有其人。唐伯虎那個年代確實有壹個叫秋香的女子有點名氣，不過她並非是大戶人家的婢女，而是當時南都金陵風月場中的名妓。秋香本名林奴兒，字金蘭，號秋香，她琴、棋、詩、畫樣樣精通，當時被譽為“吳中女才子”。秋香早年被迫墮入青樓，從良嫁人後還有些老主顧來找她，她不僅拒絕了，而且還在扇子上畫了壹幅畫叫《新柳圖》，題詩曰:“昔日章臺舞細腰，任君攀折嫩枝條。如今寫入丹青裏，不許東風再動搖。”據明代《畫史》中記載:“秋香學畫於史廷直，王元父二人，筆最清潤。”在《金陵瑣事》中，還記載了秋香曾經向唐伯虎的繪畫老師沈周學過畫畫。沈周是明代相當著名的大畫家，曾為秋香畫過壹幅丹青畫，寫過壹首詞。秋香雖與唐伯虎生活在同壹個時代，但據考證，秋香是生於明景泰元年（公元1450年），比唐伯虎足足大20歲，唐伯虎16歲出道時，很難與金陵秦淮河畔的秋香產生感情。唐伯虎點秋香只不過是後人把壹些才子佳人的風流韻事，附會到他們身上罷了。
為什麽“陳公子點秋香”這麽壹個愛情故事會變成“唐伯虎點秋香”的故事呢？這可能是因為唐伯虎生於明代，是蘇州人，是很有名的才子。而這個故事的原型陳元超，也是明代蘇州人，也是才子。兩個人的身份基本壹致，加之唐伯虎同壹時代也的確存在著秋香壹人，明末的馮夢龍便寫出了“唐伯虎點秋香”這麽壹段才子佳人的故事