南潯的商人都是靠湖中絲綢發家的。湖州的絲綢歷史悠久。據元和縣誌記載，“湖州外開貢絲布”。可見，早在唐朝開元時期，來自湖中的絲綢就已經成為貢品，成為壹大產業。宋代食貨誌中有“繭箔立於山上，家家傳續車聲。”體現了湖州絲綢的盛況。自南宋以來，胡絲就遠銷海外，吳興幟嘉泰有“胡絲遍天下”之說。南德收藏的湖絲在國內外比較有名，因為藏品中的湖絲質地潔白、細膩、均勻，富有張力，優於其他湖絲，正如《林楠國保寺錄》所言:“林楠為聚落，但農桑之富在浙江之權。”(南潯古稱林楠)。當時湖絲的制作和質地都是南潯。清代詩人董立洲在《蠶桑樂府》中盛贊:“蠶是我湖唯壹，尤其是壹郡南潯。”在豐富的資源和有利的地理條件下，做絲綢生意發了財的富商南潯，在光緒年間組成了“四象八牛”的大家庭。
柳永是“四象”之首。據說柳永的財富多達兩萬兩銀子，被譽為四象中的“劉氏銀子”。柳永發跡時，深感自祖上以來文化匱乏。他雖然有錢，但是沒錢，也沒上門。所以他想盡辦法教兒子讀書，考科舉，讓四個兒子都能步入仕途。柳永也因為兒子的善良而被尊為大夫，達到了榮宗耀祖的目的。柳永還把女兒嫁給了壹等大學士徐福的兒子，又把女兒嫁給了清部總務大臣蔣的兒子蔣汝藻，使劉更加光彩照人，成為南潯的豪門望族。
顧福昌(1796-1868)，小名春池，中國留學生南潯四象之壹，創業後被稱為顧柳工。顧福昌早年家境也比較貧困，於是輟學下海經商，起初擺了壹個布攤。後來，南潯鎮江鄰居蘇震澤以開小布店為生，經營絲綢發了財。與洋人交往後，成為上海早期的絲綢專家和洋務經理。並開設了古絲號，是南潯絲商中最早的壹家。
顧福昌從絲綢發家致富後，還經營當時上海灘唯壹的洋船碼頭——錦裏源碼頭，成為怡和買辦、怡和包裝公司經理，還從事房地產生意，被譽為四象中的“娘家人”。
顧福昌有三個兒子，長子顧守松，名容齋；二兒子顧守藏，字不錯；三兒子顧明壽，誇了三個字。他們都是著名的古董、金石學、字畫收藏家。顧的三個兄弟繼承了他們父親的生意，經營絲綢。顧守健是最有聲望的。曾任上海絲綢工業辦公室主任，著名愛國教育家顧先生是顧福昌的曾孫。
張松賢(1817-1892)出生於濰州休寧，父親張嶽薇在南潯開了壹家小醬鹽店為生。張有兩個兒子，張松先是次子。
張松先擅長經商，從事絲綢業後，全面經營黎姿絲綢的出口業務，並成立了“軋絲公司”。他在絲綢生意上發了財後，專註於鹽務，成為鹽業巨頭。據張謇《武城張峰墓地》記載:“同治初，私商滿員，導致班缺，鹽法太差。巡撫召集商賈聚議，褒揚先賢甚至與商賈約好，收余姚岱山私利，降低價格，以藏江海之敵私利。結果商業利益豐厚，官班坐滿，家底越來越大。”張松賢還在南潯鎮周邊經營著方圓五裏醬園，如張恒泰、張恒昌、張袁春、張啟泰、張壹龍等，都是比較有規模的醬園。
張松賢也買過田產，開過典當、錢莊，辦過運輸公司。據說他的財富僅次於劉氏家族，在四象中排名第二。
張松賢有兩個兒子，長子張寶慶，性格剛正；次子張寶善，字定福。
張君恒，本名史明，是張寶慶的獨子，張松賢的孫子。因為父親去世早，母親處理當時南橫河的壹切事務，所以他把這棟宅邸命名為“唐以德”。張君恒是光緒二十年(1894)的舉人，繼承祖業後，經商有方，產業興旺。他對母親表示孝順，在自己富麗堂皇的花園“師院”裏建了壹座佛堂供她供奉玉佛，讓她燒香拜佛，還建了壹座石塔，將唐代劉公權寫的金剛經封藏起來。這個公園在抗日戰爭中被徹底摧毀了。現在張世明的豪宅已經成為南潯的旅遊景點之壹，被譽為“江南第壹大豪宅”。大宅占地4792平方米，有150座中西合璧的建築，尤其是大宅內的木雕、磚雕、石雕，工藝精湛，具有很高的文物價值。
張靜江，本名曾誠，又名人傑，本名荊江，本名飲光，本名烈禪，是張松先次子張寶善之子，排行第二，所以鎮上的人都稱他為二先生。
張靜江早年參加了孫中山領導的同盟會，並為革命捐了款。孫中山先生曾說:“同盟會成立以來，國外就有募捐的文章，當時貢獻最大的張靜江也有。但是巴黎的店賺了六七萬塊錢幫忙。”張靜江曾任國民政府常委，當選為國民黨中央政治會議主席，並任浙江省政府主席。他是國民黨四大元老之壹。
由於張松先的兩個孫子在學術界和政界都很有名氣，被稱為四象中的“張家才子”。
四象中有龐雲增(金子邦，1833-1889)，本名高雲，祖籍浙江紹興。父親是師傅，龐雲增也是絲綢行業的學徒。因此，他熟悉絲綢的管理方式。他致富後開了“龐義泰絲綢公司”，認識了杭州胡慶余堂國藥店的老板。龐雲曾經有官場朋友的幫助，後來通過李鴻章，他的兒子龐元吉在光緒十七年(1891)獲得了慈禧太後的寵愛，被特別賞賜了四象中“龐氏家族的臉面”的稱號，因為他被授予榮祿大夫和廣祿大夫的稱號。
龐雲曾模仿胡雪巖的胡慶余堂，在南潯開了壹家頗具規模的“龐子德”藥房，並修建了藥房棧和制藥車間。直到現在，南潯寶山街還開著老字號的“龐子德”藥店。
龐雲有三個兒子，都比龐大，都早逝。次子龐元吉，三子龐元成。
龐元吉，別號陳來，光緒六年(1880)進士，江西進士。龐元吉追隨父親的腳步。除了經營龐子德大藥房和清怡泰醬園，他還創辦了絲織廠和紗廠，兼營房地產。他在南潯東柵建造了最大的園林“怡園”，在綠化方面勝過其他園林。抗戰時也毀了，現在沒了。
元吉和鎮上的人都稱他為龐陳來。擅長繪畫和鑒賞古畫，是國內外著名的古畫鑒賞家和收藏家。解放前，中國古代書畫只要蓋上龐緒齋的鑒定印章，就可以視為真品，甚至國外藏家也願意出重金購買。
龐元成，原名陳清，後改為青城，號元儒。光緒二十壹年(1895)，進士。他致力於教育，創辦醫院，提倡西醫。光緒三十二年(1906)，在上海捐資支持馬創辦福和公學(1917)，抗議帝國主義幹涉中國教育，青城改名福和公學。
程遠也是孫中山領導的同盟會成員，是同盟會上海分會的核心人物之壹。
南潯八牛之首邢耿興，開邢正茂絲經，後改名恒順絲經。並開設典當行，為南潯設置了最多的典當行。此外，海寧、太倉、上海、海鹽、平湖等地都有興佳典當行。還搞房地產之類的。
著名詩人周昌達有壹句喜字。祖籍浙江余姚，乾隆中期遷巡，開設申太司、申昌司。鎮上的人把他家叫做南潯八牛之壹的周申泰。
字深的秋仙茶，打開了《齊城帛書》。南德八牛之壹。
原名熊，字竹平。是大名鼎鼎的司世通，外圍的裕昌紀景行。迎園是南潯的壹個旅遊景點，是南潯八小園林之壹。
金童，字竹庭。早年輟學，開始在上海經商，成為壹名成功的商人。他的長子金守義，字秦元，繼承父業，經營絲綢，創辦金嘉吉絲綢生意，還開了當鋪，經營房地產，人稱“小金山”，南潯八牛之壹。
創辦元泰絲綢公司的張，曾任上海商業銀行營業部主任。南潯八牛之壹。
梅鴻基，字悅茶。於恒絲綢京杭成立，其子梅占忠在南潯開了最早的機器生產的絲廠，是南潯八牛之壹。
邵，開森達絲經，在上海有邵月姬絲號，生產青石牌絲經。鎮上叫他邵森達，南潯八牛之壹。
南潯七十二犬，包括南潯四鄉。有邱茅臺、邱改茂、邱貽昌、邱德勝、沈土基、沈永昌、沈永峰、沈天長、李恒德、李萬順、李德茂、吳錦昌、吳其昌、吳永吉、、朱廣龍、莊恒清、邢、蔔同昌、韓貽昌、桂、李德茂。共有四個鄉鎮:北小圩張家、張家、五樓張家、斜橋金家、亭盛家、石匠邱家、七裏村溫家、紫寺灣陳家和倉谷橋王家。
由於“四象八牛”的說法在當時屬於小道消息，得到的都是道聽途說，沒有正式的統計和詳細的記載，所以72墩狗只能簡單提壹下。
“四象八牛”說反映了南潯自南宋春年(1252)建鎮以來，從潯溪、林楠的名稱到鎮官的設立，壹直是壹個鎮。鎮名南潯後，成為江南繁華市鎮，商賈雲集，為後人留下了圖書館、小連莊、張寨等。