開發南雁重建書院
順溪集鎮，群山環抱，平地狹窄，山場雖大但產出有限。自古順溪陳氏以智勇雙全傳譽鄉裏，他們聚族而居、人丁興旺， 不少人外出謀生，並致力於當地開發，南雁蕩山的建設也凝結了他們的汗水。
東西洞是南雁蕩山景點最集中的地方，這裏層巒疊嶂，清溪環繞，茂林修竹，鳥語花香，曾是北宋末期理學家程頤的學生陳經邦、經正兄弟的讀書處。光緒九年（1883），陳少文響應縣令湯肇熙的倡議，拆產捐金重建會文書院，於次年竣工。取“以文會友”的古訓，仍沿用“會文書院”舊名。緊接著，陳少文捐田10余畝作為書院基金，並為書院籌集膏火田100多畝。宣統元年（1909），陳少文等人又在會文書院門臺外、東西華表峰間重建三間樓房，取名為“棣萼世輝樓”。棣萼乃兄弟之代稱，以紀念經邦、經正兄弟。順溪陳氏家譜中有《棣萼世輝樓記》詳敘其事。經此點綴，南雁景區增添了新的景觀，故此聲名大振。許多名流紛至沓來，晚清太仆孫衣言和翰林孫鏘鳴兄弟也曾應陳少文之邀到此遊覽。為了南雁的開發和建設，陳少文曾組織南雁蕩山董事會，並擔任主持人。此會始建於光緒年間，由社會各界人士組成。每年農歷三月十五日集會，商討南雁開發事宜，活動持續至民國時期。陳少文還在景區栽植花木，修築道路，建造路亭，為旅遊事業盡力，故人們推譽其為“南雁主人”。
興辦新學創建女校
順溪陳氏雖遠居偏僻山區，仍不忘“耕讀傳家”的傳統。早在清乾隆年間，順溪陳氏文風已盛，創辦了書院和私塾。光緒年間，陳少文在會文書院開辦初等教育班，邀請名師為青年學子講授經史。購置征集圖書1萬多冊，供鄰近少年學習文化知識之需，各地在校生也利用寒暑假來此進修。
戊戌變法後，陳少文受新潮流的影響，積極興辦新學。光緒二十七年（1901），他曾向當時正在溫州、瑞安興辦新學的孫詒讓討教辦學事宜，從瑞安攜歸辦學程規等資料後，即在順溪開辦“益智高等女學校”，招收當地10多位姑娘入學讀書。學校設有語文、算術、唱歌等課程，以不同於私塾的辦學形式上課。這是平陽最早的女子學校，比1905年創辦於縣城的“毓秀女子學堂”還早些。當時創辦新學有很大的壓力，辦女校就更難了，但陳少文還是力排眾難將它辦了起來，並持之以恒。女校的學生免交學費，辦學經費及校舍均由陳少文解決。光緒三十二年（1906），“益智高等女學校”改名為“益智學堂”，設在陳少文故居的小別墅“適舫”內。宣統三年（1911），瑞安孫詒澤曾為之撰寫碑文：“少文中翰，好客樂善，熱心辦學。郡邑名士過從幾無虛日。曾於光緒戊戌冬築此為招待所，兼以自適，命曰：‘適舫’。嗣因獨辦益智小學，借作講堂，學務調查員至者，皆極稱其光線最合學校之用；則所謂適者不但適於燕居，適於投轄，而且適於學校矣。爰為書此，以誌欽慕。”