日本軍隊主要由統帥機構、機關、陸、海、空三軍組成。
（壹）統帥機構與機關
日軍的統帥機構系指對軍隊擁有指揮監督權的機關及其代表，包括內閣總理大臣、安全保障會議、防衛廳、參謀長聯席會議和各軍種參謀部。其職責和組織將在下節詳述。
日軍的機關主要指防衛廳下設的負責院校訓練、軍事科研、采購補給、醫療、招募等支援業務的機構，包括院校、防衛研究所、技術研究本部、采購實施本部、各軍種補給機構、醫院、地方聯絡部等。防衛廳下設的防衛設施廳作為防衛廳的外局，也是日軍的機關之壹。這些機關分為***同機關和軍種機關兩大類。***同機關為三軍業務機關，通常由防衛廳長官指揮監督，在序列上有的直屬防衛廳，有的則編在各軍種序列。編在各軍種序列中的***同機關的指揮監督，由防衛廳長官通過各軍種參謀長實施。
（二）陸軍
陸軍主要擔負直接保衛領土和國民安全，排除侵略和應付所謂“周邊事態”及維和等任務，此外，還擔負新《大綱｝）規定的搶險救災等任務。陸軍由陸軍參謀部、受防衛廳長官指揮監督（經陸軍參謀長）的部隊及機關組成。陸軍的部隊包括5個軍區及其他防衛廳長官直轄部隊。軍區由軍區司令部、師及其他直屬部隊編成。師為陸軍基本的建制作戰兵團，由師司令部、團及其他直屬部隊編成。陸軍的機關包括15所學校、補給控制本部和5個補給處（根據1997年度防務計劃改編）。體育學校、中央醫院、7所地區醫院和50個地方聯絡部為三軍的***同機關，由陸軍參謀長代管。
（三）海軍
海軍主要擔負保衛領土、保護周邊海域海上交通線安全及應付所謂“周邊事態”的任務，此外，還擔負維和中的掃雷、輸送及搶險救災等任務。海軍由海軍參謀部、受防衛廳長官指揮監督（經海軍參謀長）的部隊及機關組成。海軍的部隊包括聯合艦隊、5個地方隊、教育航空集團、練習艦隊及其他防衛廳長官直轄部隊。聯合艦隊作為擔負海上作戰任務的 主力機動打擊部隊，由聯合艦隊司令部、護衛艦隊、航空集團、潛艇艦隊、掃雷隊群、開發指導隊群及其他直屬部隊編成。地方隊作為擔負近海防禦任務的作戰部隊，由地方隊司令部、護衛隊、掃雷隊、魚雷艇隊、基地隊、航空隊、教育隊、通信隊、警備隊、”防備隊及其他直屬部隊編成。教育航空集團由教育航空集團司令部、教育航空群及其他直屬部隊編成。練習艦隊由練習艦隊司令部、練習隊及其他直屬部隊編成。海軍的機關為6所學校及後勤補給機構等。5所地區醫院是三軍的***同機關，由海軍參謀長代管。
（四）空軍
空軍主要擔負通過確保領空及其周邊空域的空中優勢，保衛國家免遭侵略和應付所謂“周邊事態”的任務，此外，還擔負維和運輸、撤出危機地區日本僑民等任務。空軍由空軍參謀部、受防衛廳長官指揮監督（經空軍參謀長）的部隊及機關組成。空軍的部隊包括航空總隊、航空支援集團、航空教育集團、航空開發實驗集團及其他防衛廳長官直轄部隊。航空總隊作為擔負航空作戰的主力部隊。由航空總隊司令部、 3個航空方面隊、 1個航空混成團及其他直屬部隊編成。航空支援集團由航空支援集團司令部、航空救護團、3個運輸航空隊、航空安全管制群、航空氣象群及其他直屬部隊編成。航空教導集團由航空教育集團司令部、2個訓練航空團、3個飛行教育團、航空教導隊及其他直屬部隊編成。航空開發實驗集團由航空開發實驗集團司令部、航空開發實驗團、電子開發實驗群、航空醫學實驗隊及其他直屬部隊編成。空軍的機關包括7所學校和補給本部等。補給本部下轄4個補給處。3所地區醫院為三軍的***同機關，由空軍參謀長代管。