1924年，歷時五年打造的新居竣工，嘉道理回到上海。當他回到上海時，發現他看到的是“壹座宮殿式的建築，壹個醉酒的布朗躺在醫院裏”。此外，整個宅邸的日常維護需要近三四十名仆人。更讓他驚嘆的是整座豪宅高昂的設計建造費用，高達1萬兩白銀。按照當時的價格，654.38+0萬兩白銀可以買5000萬斤大米，供654.38+0.4萬人吃壹年。盡管造價不菲，但嘉道理對豪宅建築漂亮精致的設計還是相當滿意的。隨著納粹德國的種族主義，大量猶太難民開始逃離歐洲。當時因為世界各國都怕納粹德國，上海是免簽的自由港。因此，大量猶太難民來到上海。1938，大量移民出現。作為猶太人，嘉道理家族也投身於難民救濟活動。嘉道理爵士的兒子霍勒斯·嘉道理第壹個站出來召集營救會議。後來，上海所有的猶太社區和社會救濟組織在這裏召開會議，決定成立“上海歐洲難民委員會”，采取壹致行動幫助猶太難民。嘉道理爵士本人捐了很多錢，創辦了上海猶太青年會附屬學校，接收歐洲的猶太兒童。
1941 65438+2月8日，太平洋戰爭爆發。此時，嘉道理壹家正在香港度假，霍勒斯·嘉道理掌管著上海公館。那壹天，日軍入侵上海租界和香港，嘉道理家族成員全部被關進集中營。這座宅邸被日本軍隊沒收了。後來由於埃利·嘉道理年事已高，被日軍特許返回大理石宮殿，但只能住在原來的仆人房裏，被軟禁，但霍勒斯被允許照顧他的日常生活。1944年，埃利·嘉道理死於豪宅。1945年，抗戰勝利後，蕭少校率領的壹支美國先遣隊在上海登陸，通過瑞士駐上海總領事館與嘉道理兄弟取得聯系，希望暫時在嘉道理公館工作。抗戰勝利那天，嘉道理兄弟把大宅裏的燈全部打開，慶祝戰爭結束。
抗戰勝利後，嘉道理公館成為美、澳、英等國軍人的活動場所，也是上海許多慈善活動的舉辦地。孫中山夫人宋慶齡領導的中國福利基金會(中國福利會的前身)曾多次在這裏舉辦遊園會、慈善舞會、慈善義賣會等各種慈善活動。嘉道理壹家1940s年底從上海搬到香港。1953年，經嘉道理家族同意，宋慶齡於當年6月1日創辦了中國最早的少年宮——中國福利院少年宮。並邀請毛澤東為少年宮題寫名字。
1979年，勞倫斯·嘉道理夫婦回上海參觀時，感慨地說，豪宅已經成了孩子們的天堂:“我父親喜歡招待朋友，大理石建築在各國朋友中很有名。中華人民共和國成立後，改為少年宮，從各個學校選拔出來的小學生在這裏接受藝術培訓。隨著時間的推移，我很高興地知道，我父親特別喜歡的這座建築現在被成千上萬的孩子使用，他們從那裏提供的課程中受益。”從65438年到0989年，嘉道理大廈成為上海優秀的歷史建築。