統計的英語統計起源於現代拉丁語Statisticum Collegium（國會）、意大利語Statista（國家或政治家）和德語Statistik。它最早由Gottfried Achenwall在1749中使用，代表分析國家數據的知識，即“研究國家科學”。19世紀，統計學在廣泛的數據和材料中探索了其意義，並由約翰·辛克萊介紹給英語世界。
統計學是壹門非常古老的科學。壹般認為其理論研究始於古希臘亞裏士多德時代，至今已有2300多年的歷史。它起源於對社會和經濟問題的研究。在兩千多年的發展過程中，統計學至少經歷了“城邦政治”、“政治算術”和“統計分析科學”三個發展階段。
所謂“數理統計”並不是獨立於統計學的新學科。確切地說，它是統計在第三發展階段形成的所有收集和分析數據的新方法的總稱。概率論是數理統計方法的理論基礎，但它屬於數學而不是統計學。