時值經濟大蕭條困擾全球，當然也波及了巴菲特的家鄉。由於生不逢時，在他剛滿周歲時，他的父親，身為銀行證券銷售商的霍華德·巴菲特就失業了。全家遷移到了別處，父親與人合夥開了壹家公司。公司很快又陷入困境，巴菲特壹家的生活變得有些艱難，這種情況壹直持續了三四年。這樣的家境卻使巴菲特從小就對錢產生了特別的興趣。
巴菲特後來回憶道，童年的那段艱難歲月使他當時就萌發了壹種強烈的願望，長大後壹定要擁有大量財富。“總有壹天，我的名字和照片會出現在傳媒上。”
巴菲特在童年時代就對數字十分著迷，心算能力很強。他經常和夥伴們記錄著街口上來來往往的車輛的車牌號碼，晚上展開《奧瑪哈世界先驅報》，計算著每個字母在上面出現的次數。每當周日去教堂做禮拜，巴菲特被梳洗壹番，坐在長老會教堂的長椅上時，他總是以計算宗教作曲家的生死年限來打發時間。他感興趣的不僅僅是數字，而是金錢，他在“數著他想象中的財富”的過程中成長。
5歲時，沃倫·巴菲特開始在家門口擺上口香糖向過往行人出售。不久，他與朋友拉塞爾在鬧市兜售檸檬汁。6歲時，在與家人去郊外度假時，他用25美分買了6聽可樂，然後在湖邊以5美分壹聽的價格賣給遊人。稍大後，他帶領小夥伴到球場撿大款用過的高爾夫球，然後轉手倒賣，生意頗為紅火。有時，巴菲特還從父親的雜貨店裏買來蘇打水，挨家挨戶的銷售。他想壹點壹點地掙到很多很多的錢。
巴菲特8歲時，便開始閱讀他父親的有關股票市場的書籍。1940年，10歲的巴菲特隨父親去了紐約。在這個世界金融中心，他被華爾街股票交易所的景象迷住了。他對父親股票交易裏的股票、債券單據懷有濃厚的興趣，每天義務地為父親供職的哈裏斯·厄普漢姆公司做股價牌的記錄。
11歲時，巴菲特就在他父親擔任經紀人的公司開戶。之後，這個少年第壹次進行股票投資，以每股38美元的價格買進了壹種公用事業股票——市政服務公司優先股。不久，這只股票的價格上升到了40美元，巴菲特將股票拋出。除去1美元的傭金，沃倫·巴菲特第壹次在股市上獲得了5美元的純利潤。首次投資雖然賺得不多，但卻給他帶來了無比的喜悅。
父親霍華德·巴菲特的朋友卡爾·福爾克家是巴菲特常去玩的地方。壹天，他在福爾克家吃午餐，他壹邊喝著福爾克太太做的雞面湯，壹邊宣布：他將在30歲以前成為壹個百萬富翁。福爾克太太問他為什麽想賺那麽多的錢？12歲的沃倫·巴菲特回答說：
“我覺得賺錢並看著它慢慢增多是壹件很有意思的事。”
正是基於這樣的愛好和信念，才促使他更加努力地學習。兒時的巴菲特就像壹個書蟲，並且有著照相般的記憶力。只不過他讀的不是童話故事，而是教人如何發財的“秘籍”，如《賺到壹千美元的壹千招》、《從十美元成為大富翁的故事》。壹年又壹年，巴菲特掙錢的點子也層出不窮。從組織壹幫小孩為報社送報，到與朋友合夥經營出租彈子球機生意等等。他壹點壹點地積攢著自己的財富，堅定地沿著自己定下的目標向前走。