30年代世界經濟危機波及中國及接連發生的九壹八事變、壹二八事變、白銀風潮，造成了工商蕭條、金融動蕩，中國經濟極度惡化，房地產業開始蕭條，在此情形下，四明銀行以往經營中所潛藏的許多隱患總爆發，將它帶入了崩潰的邊緣。由於四明的資金大量投入房地產和有價證券，逐漸顯得資金呆滯，周轉不靈。此時官僚資本為擴張金融壟斷勢力，把四明作為掠奪對象，1935年6月，中央銀行在財政部長孔祥熙指使下分批派人執四明鈔票去擠兌，而四明銀行已非寧波人獨有的銀行，在寧波人中失去了早期具有的號召力，加之四明不象“南三行”、“北四行”，未能與其他金融機構締結良好的盟友關系，因此當危機來臨時，四明無力支撐，再三請求財政部予以維持，但孔祥熙堅持要孫衡甫退出四明，經虞洽卿等人從中周旋，結果1936年6月孫以病為由辭去總經理壹職，由葉琢堂繼任作為過渡。在此期間國民政府實施法幣政策，撤銷各商業銀行發行權，限期收回已發行的紙幣，四明欠繳發行準備金1309萬元，籌措無門，只得領用中央銀行墊款作為收回鈔票基金，進壹步被官僚資本控制。1936年5月四明商股仍想作最後壹次努力，決議增資400萬元，但眾股東們負債累累已無余力增資認股。
同年10月董事長孫衡甫不得不再次請求財政部派人“設法維持整理”，在孔祥熙授意下，中央銀行南京分行經理李嘉隆擔任了四明總經理，他迅速主持對四明財產的清查，經查四明實際虧損2469萬元，資不抵債，決定停發舊股紅利，原有商股折減為337500元，另由財政部撥復興公債3662500元作為“官股”，合成400萬元，1937年2月財政部批準此議，同時指派財政部稅務署署長吳啟鼎兼四明董事長，孫鶴臯、徐繼莊、吳震修、孫竹嶼、李聽根為“官股”董事，商股董事為俞佐庭、李贊候、李叔明、朱守梅，虞洽卿退而為商股監察。從此四明與中國通商、中國實業、中國國貨銀行同稱為“官商合辦”的“小四行”。至於孫衡甫，財政部以他虧空行款2000余萬元，股本不抵欠款，以股本抵債為由，取消了他的股東、董事資格。