1952年，中華人民共和國成立中華全國體育聯合會。當時並沒有向國際奧委會申請認可。在蘇聯的協助下，向國際田徑聯合會和國際籃球聯合會繳納會費，要求更換中華全國體育聯合會，並從農村找到董守義，聲稱中華全國體育聯合會是由中華全國體育聯合會改制而來。
1954為籌備第二屆亞運會，郝更生任主席，江任總幹事，中華全國體育總會遷至臺北市凱豐街、延平南路臺灣省省體育總會。亞運會後，搬到新買的臺北新生南路二段會場。
6月1956全國體育總會主席，蔣任總幹事，各全國體委相繼成立，並在蔣經營的臺北市懷寧街遠東旅行社工作，組團參加16奧運會。1956夏季奧運會於10月22日在澳洲墨爾本舉行，中央副秘書長鄧傳楷率領中國奧委會代表團。
1957 1957 2月，被聘為中華全國體育協會主席兼中國奧委會主席，而姜仍任總幹事。在籌備第三屆亞運會期間，中華全國體育協會搬到臺北體育場與運動員訓練隊壹起工作。
5月24日，1958，中國鄧傳楷率領代表團參加了在東京舉行的第三屆亞運會。1959林譚紅繼任總幹事。
1960美國加利福尼亞州普萊瑟縣冬季奧林匹克運動會斯闊谷
奧運會後，中華全國體育總會從臺北體育館搬到懷寧街租房子住，其主席鄧傳楷辭職。1961 2月24日，楊森接任主任後，中華全國體育總會得以移師位於臺北市水原路新店溪的國家射擊委員會。1962為第四屆亞運會訓練，借用臺灣省立大學體育館辦公。然而，臺灣省和以色列被阻止參加會議。之後，中華全國體育總會搬回了水原路。後來臺北市政府實施防洪工程修築堤防，國家射擊委員會大樓就在堤外，只好拆除。因為楊森是船公司董事長，體協先是搬到羅斯路民生船公司，不到半個月又搬到廈門街民生船公司日本人宿舍。
18東京奧運會即將舉行。為了找壹個固定的辦公室，楊森方便照顧運動員。最後臺北的美國學校把舊校舍借出去使用，中華全國體育總會在8月1964搬進來，終於有了固定的聚會場所。楊森重組會所後，沒有會所的體委會搬進來。因為原土地屬於國有房產局，當年租約到期後成為違章建築，所以面臨搬遷問題。楊森希望能有合適的場地搬走或者直接買地，但都失敗了。然後辦公室就多災多難。第壹，因為火災，體育協會的辦公室、陳列室和很多珍貴資料都被燒毀了。第二年，臺風艾爾西和臺風弗洛西分別來襲，吹倒了辦公樓，到處漏水。然後有了商界人士的捐助，按照政府規定，違章建築可以不加，改成平頂房，繼續幹活。
1968年參加19墨西哥奧運會時，田徑女將解參加80米欄比賽，以10.4秒打破奧運會紀錄，獲得銅牌，成為中國第壹位女運動員，也是第二位獲得奧運會獎牌的中國運動員。