1951年7月10日，中國農業銀行的前身——農業合作銀行建立，隸屬中國人民銀行領導，承擔金融服務新中國農村經濟社會恢復與發展的職責。1952年7月，與中國人民銀行合並，職能並入人民銀行。
1955年3月25日，按照為農業合作化提供信貸支持的要求，正式以“中國農業銀行”名稱建立。1957年4月，與中國人民銀行再次合並。
1963年11月，根據統壹管理國家支援農業資金的要求，中國農業銀行再次建立，作為國務院直屬機構。1965年11月，與中國人民銀行第三次合並。
1979年2月23日，國務院發出《關於恢復中國農業銀行的通知》，中國農業銀行第四次恢復建立。
1984年6月1日，農業銀行引進首筆世界銀行貸款。
1985年6月24日，中國農業銀行首次統壹行名字體。
1985年6月25日，中央決定成立中國農業銀行黨委。
1993年12月，國務院明確做出“中國農業銀行轉變為國有商業銀行”的決定，中國農業銀行開始向國有商業銀行轉軌。
1994年4月，中國農業銀行向新組建的中國農業發展銀行劃轉了絕大部分政策性業務。
1996年8月，根據國務院《關於農村金融體制改革的決定》，中國農業銀行不再領導管理農村信用社，與農村信用社脫離行政隸屬關系。
1999年7月，中國農業銀行向新組建的中國長城資產管理公司剝離不良資產。
2004年，農行第壹次上報股改方案。
2007年1月，第三次全國金融工作會議明確提出中國農業銀行“面向‘三農’、整體改制、商業運作、擇機上市”的改革總原則，中國農業銀行進入股份制改革新階段。
2007年9月，農行選擇吉林、安徽、福建、湖南、廣西、四川、甘肅、重慶等八個省（區、市）開展面向“三農”金融服務試點。
2008年1月23日，農業銀行明確提出“3510”奮鬥目標和發展戰略。