到1916年，遐園藏書已達13萬卷。可惜到1928年遭日軍攻擊，遐園被毀。第二年在王獻唐主持下重建，於1937年再次被焚。今日能夠見到的遺址則是1935年1月建成的奎虛書藏，遐園只剩下原碑還立在舊址上。 因《詩經》而名的遐園
鴉片戰爭後，隨著帝國主義勢力的入侵，西方文化也開始進入中國，沖擊著中國延續了上千年的科舉制度。1905年，清政府正式廢止了科舉制度，昔日眾舉子追求功名前程的“貢院”改建為學堂，眾“考棚”也閑置下來。
時任山東提學使羅正鈞曾出洋考察，回國後欲效仿西方文化教育，遂於1908年請山東巡撫袁樹勛奏請清政府，在原貢院的位置建立圖書館以開啟民智。經朝廷核準之後，宣統元年（1909年）3月，羅正鈞親自主持在大明湖西南隅仿浙江寧波著名藏書樓天壹閣建造了圖書館。 取《詩·小雅·白駒》中“毋金玉爾音，而有遐心”命名為“遐園”。當年12月16日建成。