不是每個單位都要交殘保金的。根據規定，符合標準的小微企業可以免繳剩余保險金。但根據國家規定，每個企業都必須按比例安置殘疾人。不安置的，每年繳納壹筆傷殘保障金(每年由稅務局直接扣除)，數額與企業職工總數有關。
殘疾人就業比例達不到規定比例的，要繳納殘保金。
殘保金應付金額=(單位上年度職工總數×1.5%—單位上年度實際安排的殘疾人數)×單位上年度職工年平均工資。
所有企業都要繳納殘疾人保證金，每年都需要繳納。每年繳納的保障金=(上年度職工總數×1.5%-上年度殘疾人就業人數)×上年度年平均工資。壹般每年下半年繳納殘疾人押金，具體看當地通知時間，每個地區不壹樣。
殘疾人保障基金的使用:有償扶持殘疾人集體和個體經營；補貼殘疾人職業培訓費用；對按超比例安置殘疾人的單位和在安排殘疾人就業方面做出顯著成績的單位給予獎勵；經同級財政部門批準，對殘疾人勞動服務機構給予適當補貼；其他人。
就業要求用人單位招用殘疾人為工作人員或依法與就業年齡段的殘疾人簽訂勞動合同(服務協議)1年以上(含1年)，且實際支付的工資不低於當地最低工資標準，並足額繳納社會保險費，可計入用人單位安排的殘疾人就業。用人單位安排持有《中華人民共和國殘疾人證》(1-2級)或《中華人民共和國殘疾人證》(1-3級)的1人就業的，按安排2名殘疾人就業計算。用人單位跨地區招用殘疾人的，應當計入殘疾人就業人數。
法律依據
《殘疾人就業保障金征收和使用管理辦法》第二十壹條
保障金納入地方壹般公共預算統籌安排，主要用於支持殘疾人就業和生活保障。支持方向包括:
(壹)殘疾人職業培訓、職業教育和職業康復支出。
(二)殘疾人就業服務機構為殘疾人提供就業服務和組織職業技能競賽(包括能源開發活動)的支出。補貼用人單位安排殘疾人就業所需的設施設備購置、改造和配套服務費用。補貼輔助就業機構的建設和運行費用。
(三)殘疾人從事個體經營、自謀職業、靈活就業的經營場所租賃、啟動資金、設施設備購置補貼和小額貸款貼息。各種就業形式的殘疾人社會保險繳費補貼和用人單位崗位補貼。支持農村殘疾人從事種植、養殖、手工藝等多種形式的生產勞動。
(四)對超比例安排殘疾人就業的用人單位和安排殘疾人就業做出顯著成績的單位或個人進行獎勵。
(五)對從事公益性崗位就業、輔助性就業和靈活就業，收入達不到當地最低工資標準，生活確有困難的殘疾人的救濟補貼。
(六)經當地人民政府及其財政部門批準的促進殘疾人就業、保障困難殘疾人和重度殘疾人生活的其他支出。