歸國後，他就雷厲風行地組織起南開大學籌備委員會，負責規劃設計校園、宿舍、教學樓等具體事宜，並且開始在外面四處奔波，為創辦大學籌募經費。1919年秋，張伯苓的努力終於結出了豐碩的果實——南開大學正式宣告成立。
創校伊始，張伯苓就表現出極強的開拓進取精神和服務意識。南開大學的學科設置從壹開始就體現出張伯苓的辦學理念，即務求實用和服務社會。以南開文學院為例，便是“以政治經濟為主幹，以歷史哲學及教育心理三系附之。如此學生即可專其所學而致實用之效”。這既是張伯苓根據自身財力和辦學規模所進行的慎重考慮，也是南開大學從學科設置上考慮培養學生主動適應社會的壹種具體體現。
早在美國研修教育學的時候，張伯苓就開始留心，在中國留學生中為南開大學物色教師人才。很多中國留學生在畢業歸國之後，也直接來到了南開任教。南開大學剛剛成立不久，在張伯苓的周圍，就陸續聚集起壹個兢兢業業為南開大學發展盡心盡力的優秀教師群體。張伯苓尊重每壹位教師，每位新教師到校，總要舉行歡迎茶話會，並由學校撥給壹間宿舍，裏面各種家具用品壹應俱全，每天還派專人清掃，讓人產生到家的感覺。
在培養教學、科研人才方面，張伯苓更是想方設法為有潛力的教師提供深造的機會。化學系的楊石先教授，到南開大學之後工作成績非常突出，張伯苓遂用美國羅氏基金派他去美國繼續攻讀博士學位。楊石先獲博士學位之後，謝絕了德國的高薪聘請，重新返回南開大學任教，成為南開大學理學院的奠基人之壹。或許，吳大猷的壹番話最能集中表達教師們***同的心聲：
張伯苓校長在聲望、規模、待遇不如其他大學的情形下，藉伯樂識才之能，聘得年輕學者，予以研教環境，使其繼續成長，卒有大成。這是較壹所學校藉已建立之聲望、設備及高薪延聘已有聲望之名家，更為難能可貴得多了。前者是培育人才，後者是延攬現成的人才。從這觀點看，南開大學實有極高的成就。
石頭越滾越圓
至1934年，整個南開學校校產總值約為三百多萬銀元，其中校舍壹百多萬，地皮七十多萬。與同時期的二十所私立大學相比，南開大學接受國家補助金額僅次於中法大學，名列第二。它所接受的社會捐助也居於私立大學的前列。能夠取得這樣的驕人成績，張伯苓“化緣興學”功不可沒。
南開采取的是校董會下的校長負責制。1932年，校董事會的董事為嚴智怡、顏惠慶、陶孟和、胡適、李組紳、李琴湘、卞俶成、王秉喆、丁文江等九人。
透過名單可以看出，能夠當選南開校董的多是南開的“財東”，而這些財東既要為南開籌得壹定的捐款又要具有較高社會聲望。董事會對於南開來說，是社會力量的實質性介入，並對南開起到壹定的監督作用。從張伯苓的言行中，我們對其創業的艱難可以有更多地認識和了解：“四十多年來，我好像壹塊石頭，在崎嶇不平的路上向前滾，不敢作片刻停留。壹塊石頭只須不斷地向前滾，至少沾不上苔黴，我深信石頭會愈滾愈圓，路也會愈走愈寬的。”
張伯苓為南開掙下數百萬產業，從沒有在自己身上亂花過壹分錢。他不肯坐汽車，而是用壹輛人力車，還非他專用，所有南開同仁都可以和他分享。有幾個調皮的同學將人力車後擋板弄壞了，張伯苓也不肯更換新車，總是湊合著用。在天津市內開會時，他經常以步代車。壹次散會時，有服務員詢問張伯苓的車號是多少，他隨口答道：“11號。”該服務員找來找去也沒發現11號車。等他看到張伯苓已經走遠的背影，這才領悟“11號”就是步行的意思。每次去北京，張伯苓總住在前門外施家胡同的北京旅館。學生們深情地回憶說：“該旅館價格便宜，每日壹元。先生去時，每次帶壹盒臭蟲藥，壹包茶葉。北京旅館的臭蟲很多，永遠歡迎客人。臭蟲藥是必需的防敵設備。另外張先生自帶壹包茶葉，因為旅館的茶葉實在太劣，太要不得，這壹包茶葉是張先生惟壹的奢侈品。”張伯苓給教授們修建了寬敞的住宅，但是自己卻住在南開中學後面壹個羊皮市場的簡陋平房裏。有壹次張學良去拜訪他，汽車在附近轉了好長時間，最後在那條曬滿了羊皮，散發著惡臭的小路上，找到張伯苓的居所，張學良不禁對張伯苓的簡樸深表敬佩。