17歲即作為山西男籃隊員參加了全國第14屆華北運動會，並被評為“全國最優秀的籃球運動員”。
1930年，張連奎考入北平河北省立十七高中，不久即擔任了該校籃球隊的前鋒及學校田徑隊的跳遠運動員。籃球隊長是中***黨員，常利用球隊活動時間向隊員講述革命道理。
1931年的“九·壹八”事變後，張連奎和同學們在壹起談論的不再是打球，而是國家、民族的危亡和救國救亡，還積極加人到北平學生運動的洪流之中。
1933年秋，他如願以償地考入北平師範大學體育系。
1935年8月，中國***產黨發表了“停止內戰，壹致抗日”的《八壹宣言》。
1935年12月9日，根據學生會事先的布置，張連奎拿著抗日傳單，走在師大遊行隊伍的前面，擔任護衛工作，他不斷的向阻攔學生隊伍的軍警散發傳單。12月16日，市學聯經過緊張部署，發動了更大規模的示威遊行。擔任師大學生糾察隊負責人的張連奎，根據9日遊行的經驗，細心的囑咐同學們準備好厚棉衣，以應付軍警的襲擊。
1936年1月，具有籃球國手水平的張連奎代表華北隊參加第11屆奧運會中國籃球隊選拔賽。
1936年夏，北平學聯組織進步學生在櫻桃溝舉辦軍事夏令營，張連奎自編了帶有騎馬、揮刀等殺敵動作的舞蹈教給參加夏令營的同學們。他還在校外組織的和平門體育聯合會中，利用體育競技，結交各界進步人士***同抗日。
1936年9月，他擔任北師大黨支部的黨小組長。
1937年3月，擔任支部委員。
在“七七”事變的槍炮聲中，張連奎從北師大畢業了。
1940年秋，中央要求建立秘密交通線，擔任北嶽二地委書記的張連奎親自為交通線配備人員，選擇線路。
抗戰勝利後，張連奎以少將旅長身份擔任了太原軍調處中***執行代表。
1946年6月，國民黨撕毀停戰協定，發動全面內戰，由於張連奎準確掌握國民黨動向，得以安然脫險。8月，他擔任冀晉區黨委書記兼軍區政治部主任。
1948年春，中央機關由陜北前往華北，張連奎受命護送中央領導。
全國解放後，張連奎擔任了解放軍第66軍副政委。
1950年10月，部隊緊急受命赴朝參戰，他抓緊戰役空隙，撰寫了《入朝作戰動員提綱》。
1952年8月，中央軍委決定抽調壹批指揮員，支援新中國經濟建設。10月，他出任二機部黨組成員、二局（主管常規武器）局長。11月27日，中央財經委主任陳雲主持召開緊急會議，部署朝鮮前線的軍需任務。之後張連奎任二機部副部長，面對新中國幾乎空白的航空工業，他從基礎做起，采取壹邊設計，壹邊建設，壹邊生產的方法，並從基礎好的企業中抽調優秀的管理幹部，支援航空工業建設。
1953年壹批飛機發動機廠、飛機制造廠相繼投人建設和技術改造。
1955年新中國第壹架飛機初教—5飛機在南昌的試制成功；
1956年新中國第壹架噴氣式飛機在沈陽的試制成功；以及在國慶十周年大典上，人們看到從藍天上飛過的圖16轟炸機革新產品的英姿，都浸透著張連奎的心血。
1958年，人大將原有的壹機部、二機部及機電部合並為壹機部，張連奎任副部長，分工主管軍工裝備。
1959年10月，壹機部黨組討論通過了張連奎提出的發展尖端技術的報告。
1960年9月，張連奎出任主管國防工業的三機部部長。
1961年1月，張連奎擔任國防工業委員會黨組成員，依舊分管軍工生產。他“以大局為重，不計較個人得失，以身作則，維護黨的團結”為準繩，很快交出了《1961年生產計劃(草案)》。在研究工作中，他根據自己了解的情況，實事求是地發表意見，認真負責為黨的國防事業工作。在軍工生產的管理上，他主持擬訂了《關於產品方案調整的暫行規定》、《關於軍工產品選型和定型審批程序的暫行規定》。
1962年的壹次會議上，賀龍同誌為張連奎受到的不公正批判表示道歉，還向張連奎行了鞠躬禮。領導的言行使張連奎的委屈雲消霧散，他深深感動了，決心以更優異的工作回報組織和領導對自己的關心和愛護。張連奎心中裝的只有工作和他人，惟獨沒有他自己。
1966年10月，為避免重大破壞性事件的發生，他簽發了《關於火炸藥廠開展文化大革命若幹問題的建議報告》。
1967年2月，在受到連番批鬥後，因體力不支倒地，並發腦血栓，落下了半身癱瘓的殘疾。
1968年8月，國務院成立常規兵器工業領導小組，張連奎擔任副組長。
1974年，他再次突發心肌梗塞，心血管專家們看到他的病理檢驗報告時，都萬分驚奇，他的心臟已經擴大到腋前線，竟然沒有倒下，仍在繼續工作。
1978年3月，張連奎當選為全國政協委員，4月22日，他那超負荷運轉的心臟停止了工作。