財政監督檢查局的主要職能是檢查監督財政收支和財經紀律，就是經常查賬的那種；
非稅收入管理局主要負責財政收入非稅收入部分，即原預算外收入的征收管理；
鄉財政局的前身是農業稅務局，負責農業稅的征收和管理。農業稅取消後，改名為鄉財政局或基層財政局。其主要職能是管理村級資金、壹事壹議和基層建設。
國庫管理局主要負責各行政事業單位資金的直接支付和授權支付。
PS:如果選擇去哪個單位，非稅局權力更大，金融監督檢查局責任更小，鄉鎮金融管理局相對空閑，國庫管理局需要更嚴格的工作時間。