王祺出生於書香門第，祖父王仁圃是他的啟蒙教師。王仁圃少年得誌，為全族爭得首名秀才，並中了舉人。
父親王摩羲早年教私塾，少承詩禮之訓，成年時治經術而薄功名，博通象數名物書繪之學，大半世在湘鄉諸曾家(曾國藩家族)教書育人，書法繪畫都有壹定的造詣。六十誕辰時，孫中山親書壽字以示祝願。
妻子陳組威（1895～1971），浙江嘉興人，上海、衡陽兩地名師。14歲考入上海中國女子體操學校，1911年畢業，參加女子軍事團，1912年在上海愛國女校、常州女子師範任教，1913年來衡陽省立湖南三師任教，並在衡陽縣立女師進修學校兼課。1915年離湘赴滬，成為上海名師，女作家白薇、黃九如（著名作家巴金夫人）皆出其門下。1916年10月與王祺結婚，1918年再度受聘於衡陽省立三師。1947年當選為衡陽國大代表。王祺精於繪事，陳組威亦有同好，夫妻經常潑墨調朱，作畫題詩，時人羨慕不已。其才思敏捷，下筆成文，書法遒勁，毫無脂粉氣，還能作擘窠大字，得者視同拱璧。
長子王公維，為上海財經大學傳授，也是中國攝影美學理論的探求者和奠定者，1936年提出抓拍至美瞬息的攝影美學理論，比現在被各國攝影家奉為圭臬的法國攝影大師布列松於1952年提出的定奪性的瞬時理論還早16年。
三子王今維，為中國科學院昆明植物研究所高級工程師，善於書法。王今維妻子李恒為中國科學院昆明植物研究所研究員，她獲得了2013年度‘h.w.schott獎’（國際天南星植物學會最高榮譽）。
五女王櫻維，為北京市社科院社會學琢磨所副所長、副商討員。
其他五個子女王方維、王叔維、王懋維、王心維、王廣維，均畢業於名校，具有高檔職稱，成為新中國教導、科研機構及廠礦企業的有用之材。
女婿唐環芝，外孫、湖南省作協主席唐浩明和唐翼明均成就卓越。