回民自形成以來就散居各地，所以有元代回民遍居天下之說。回族主要居住在交通要道、商業中心和城市，如東南沿海的港口(廣州、泉州和杭州)和內地的揚州、開封、洛陽和Xi安。明清以後，封建統治者采取“分而治之”的方法，將回民驅散，與漢族雜居。有些人甚至被轉移到偏遠的窮鄉僻壤和深山峽谷。在這種情況下，回族以伊斯蘭教為紐帶，以清真寺為中心，集中團結在清真寺周圍，成為幾個相對獨立的回族小社區。回族用“房”來劃分和稱呼這個民族內部的小聚居區。回族的祖先在唐宋時期被稱為“柯凡”，直到元朝統治東南各省時還被稱為“回族柯凡”，並將柯凡居住的地方稱為“番房”。後來經過發展演變，回民稱他們的地方為“方”。
從先秦到唐代，盛行“房事”制度。這是壹個由政府控制的集中市場，被劃定在壹個正方形的區域內，有門墻，有規律的交易。方城有壹排排的“線”或“老板”，壹般叫36線、72線甚至360線。銀行間的商店往往集中在同壹行或幾行與人民交易。每個城市都有這樣的方形城市，大型城市也有兩個以上。例如，唐朝的首都長安有九個城市。政府在各個市場都有專職管理官員，有嚴格的管制條例。後來為了方便行業的聯系和管理，有了“領導”或“老板”，壹般由政府任命，也可能是行業自己引進，再由政府任命。當時同行之間還沒有正式的組織。方時制度在唐末有所松動，北宋中期後徹底崩潰。