大禹時代前後，徽州宗族多屬三廟、古越土著先民。秦始皇三十年(公元前217年)，閩、粵、越人民及中原部分華人先後遷居徽州。到漢末，徽州居民在歷史上被稱為“越山”。金代永嘉之亂，北方人口陸續遷移至徽州，當地土著越南人與北方華夏人友好往來，通婚融合，逐漸統壹融合為漢族，山越之名因此消亡。
據徽州宗族史考證，除本地宗族外，徽州均由北方遷徙而來。尤其在晉、唐、宋時期，形成了三次遷徙高潮，主要源於晉代永嘉之亂、唐代安史之亂和黃巢起義、宋代靖康之亂。此外，還有不歸的官員和向往新安大好河山的文人。
徽州宗族構成:
名門望族(又稱“大姓”、“正姓”)
徽州眾多顯赫家族，素有“新安十五姓”、“徽州八姓”之稱。據《徽州史誌》和《新安名族誌》記載，“新安十五姓”是指古徽州的程、王、吳、黃、胡、王、李、方、洪、於、包、戴、曹、姜、孫等十五個姓氏。“徽州八姓”是指“新安十五姓”中的前八個姓氏，即程、王、吳、黃、胡、王、李、方。
2.漁民有小姓、客姓和九姓
除了上述著名的宗族“大姓”、“鄭姓”外，徽州還有“肖姓”、“客家姓”、“船民”等壹些雜姓。“肖姓”主要指佃仆，多為官員、富翁、富商等權勢家族的仆從。“客家人”主要是明朝以後從安慶府遷移過來的移民，大多居住在荒郊野外，又稱“棚民”。“船民”多為元末陳友諒及其九姓(陳、錢、林、李、袁、孫、葉、徐、賀)部下後裔，常年在新安江流域以撐船、搬運纖維等苦力為生。以上三類在封建社會地位低下，不能與最通俗的名字結婚，具有明顯的等級色彩。
說到徽州遷徙的歷史，還必須提到“若墩”這個地方，它是徽州士紳的發源地。研究徽州，了解徽州人的歷史，就要在這裏尋根。