小時候的黃三德活潑可愛，才華橫溢。但是因為家境貧寒，他很小的時候就和父親壹起在地裏幹活。他業余時間和父母壹起學習，不懂的問題還要問。被他好學的精神感動，父親用幾個血汗錢把他送進了私立學校。他專心學習，老師教的知識壹直記在腦子裏。他還練了壹手好毛筆字。當時村裏的人都叫他神童。可惜只學了三年，就因為沒錢交學費而不得不輟學，和父親壹起管理家裏唯壹的“五鬥”場。
黃三德好動好學。每當農閑時，他就和村裏的農民兄弟壹起練武，唱當地的民歌(如賀樓歌、木魚和賣雞調)。清光緒四年(1878)，黃三德15歲。為了改變自己的經濟困境，他和幾個同行商量，決定出國探索“金山”(即美國)。然而苦於沒有“水腳”(路費)，他們向親戚借了幾十塊錢；臨行前恰逢夏耕繁忙，臨行前他為父親耙雨。
黃三德和幾個夥伴經過幾十次顛簸，終於到達了美國舊金山。初到異國，人生地不熟，生活艱辛。他幹過各種粗活重活，當過礦工、洗衣工、酒保等等。這期間，他因為年幼體弱，經常被欺負。為了防身，黃三德決定利用業余時間學習武術。他拜壹位當地知名的中國武術家為師，虛心求教，努力磨練技藝。經過幾年的忽冷忽熱，他終於練就了壹身好武藝，成為了當地華人中的年輕武學大師。