馬歇爾的童年是在幅員遼闊、人煙稀少的弗吉尼亞邊疆度過的，這使他養成了淳樸堅韌的性格。為了讓他有壹個好的未來，並不富裕的父母讓他在家接受良好的啟蒙和小學教育，後來又把他送到外地壹所著名的私立學校。他離家在外的學習生涯極大地提高了他獨立的能力。他最喜歡的課程是文學，他閱讀了許多經典文獻，並開始學習法律。馬歇爾所受的教育並不系統，但卻相當嚴格甚至刻板，這使他打下了堅實的知識基礎，培養了他刻苦耐勞的精神和執著的個性，對他的壹生產生了深遠的影響。
當反對英國獨立的革命風暴席卷北美大陸時，馬歇爾毅然告別平民生活，投身革命鬥爭。1775年春，馬歇爾加入當地民兵在弗吉尼亞與英軍作戰。後來參加大陸軍，轉戰各地，先後參加了布蘭迪萬、吉谷、日耳曼敦等戰役。，並在歷次軍事行動中戰功卓著，軍銜不斷晉升。艱苦的戰鬥歲月磨煉了他的毅力和性格，也增強了他的領導能力和決策能力。在此期間，他給人的印象是堅強而執著，果斷而高效，但相當死板。
1780，馬歇爾退役。他決定繼續學習法律，不久他進入了威廉瑪麗學院，師從托馬斯·傑斐遜的老師喬治·韋斯先生。當時弗吉尼亞律師協會對從業者的要求極高，但馬歇爾忠心耿耿，業務能力出色，所以很快取得了律師資格。
1782年初，馬歇爾搬到了裏士滿。同年與瑪麗·安布勒小姐結婚。婚後夫妻感情很深，家庭生活穩定幸福。就在這壹年，馬歇爾當選為州議員，他的律師事業蒸蒸日上，他很快成為當地律師界的精英。
這壹時期，馬歇爾的聯邦主義政治傾向日益明顯。基於他的軍事生涯和邦聯制度的弊端，他深感建立聯邦國家的必要性，於是積極支持65438年至0787年的費城聯邦憲法。此後，他成為弗吉尼亞州憲法批準運動的領導人之壹，並在該州聯邦憲法的批準中發揮了重要作用。由於對司法權的高度重視，他反復強調司法權對立法權的制約作用，因此在法學界贏得了聲譽。
聯邦政府成立後，馬歇爾的觀點與聯邦黨人非常相似，他支持亞歷山大·漢密爾頓的經濟壹攬子計劃。但由於個人經濟問題，他沒有接受政府的壹些重要任命。約翰·亞當斯總統任期內，美法矛盾尖銳。亞當斯總統派馬歇爾去法國執行壹項任務，試圖解決兩國間的分歧。馬歇爾接受了任命。但是總督政府的外交部長塔列朗並沒有接見使團，而是派了幾個說客來羞辱和引誘美國人向法國行賄，談判才得以進行。美國人拒絕了(但壹些歷史學家認為，如果法國人在談判中同意停止在海上抓捕美國船只，美國人就同意行賄)。馬歇爾以傲慢的態度拒絕了法國人的索賄要求，然後憤然離開了這個國家。他的正義言行受到了中國人民的贊揚。
1799年，在帕特裏克·亨利的大力支持下，馬歇爾當選為國會議員。在國會中，他是亞當斯總統最堅定的支持者之壹，盡管此時他的壹些觀點與聯邦黨人不同。1801年初，馬歇爾被任命為聯邦最高法院首席大法官。亞當斯任命馬歇爾主要基於兩點考慮:壹是馬歇爾是堅定的聯邦主義者，原則性很強；第二，馬歇爾是弗吉尼亞州人，最高法院應該有這個重要州的代表。事實證明，這是亞當斯總統做出的最重要的決定之壹，馬歇爾對最高法院的影響極其深遠。馬歇爾扮演著“最高法院首長”的角色，以維護司法權的地位和尊嚴為己任。正是在馬歇爾任職期間，最高法院確立了許多司法慣例，司法權的獨立地位得以確立。
卸任前，亞當斯總統大力擴充下級聯邦司法機構，將許多聯邦主義者塞進政府部門。安德魯·傑克遜政府試圖通過頒布撤銷法來廢除這些機構。馬歇爾認為這是對司法權的挑戰，所以用馬布裏訴麥迪遜來證明法院的權威。案件內容是:被提名法院職位的聯邦黨人已向法院請求命令，強制國務卿麥迪遜簽發委托書。最高法院裁定馬布裏有權獲得他的賠償，但判給他賠償不在最高法院的管轄範圍內。這壹判決賦予了最高法院極其重要的司法審查權。馬歇爾強調法律對契約和財產的保護，從而限制政府對個人經濟事務的幹預。馬歇爾還賦予最高法院重要的權力，如判斷法律是否違憲，以及聽取下級法院的決議。他的聯邦權力高於州權力的思想對後世影響深遠。在傑斐遜總統的第二個任期內，艾倫·伯爾的叛國行為被曝光。在對伯爾的審判中，馬歇爾主張嚴格解釋憲法中的叛國罪定義，並親自擔任主審法官。最終，艾倫·伯爾以“證據不足”為由被判無罪。這對傑斐遜政府是壹個沈重的打擊。
由於馬歇爾堅持他壹直倡導的原則，敢於公開與聯邦政府對抗，他成為政府反對者眼中的英雄。馬歇爾壹直在最高法院任職，直到去世，他與行政權力的鬥爭，尤其是與傑斐遜、詹姆斯·麥迪遜等總統的鬥爭壹直在持續，偶爾還會擦出火花。但也有學者認為，正是這種矛盾鬥爭，使得美國的政治制度日益豐富和完善，同時充分發揮了聯邦政府的職能，同時也有效地起到了制約和保護司法權的作用。
馬歇爾的活動不僅限於司法領域，他在其他領域也有建樹。他撰寫並出版了《喬治·華盛頓傳》，在當時引起了轟動，但有人指責他借贊美華盛頓之名宣傳美國聯邦黨人的觀點。
1835年7月6日，79歲的約翰·馬歇爾(john marshall)在費城去世——據說自由鐘恰好在這個時候斷裂，仿佛是在悼念壹位重量級人物的去世。