視覺是人類認知世界的重要途徑之壹，人類獲取外部信息的80%來自視覺系統。計算視覺就是在了解人類視覺基礎上，用成像系統代替人類視覺器官，用計算級代替人腦完成對輸入圖像的處理與理解。同時，隨著信息技術與智能科學的發展，計算機視覺是人工智能領域熱門學科之壹和物聯網感知層重要技術之壹。
視覺跟蹤技術作為計算機視覺領域的熱門課題之壹，是對連續的圖像序列進行運動目標檢測、提取特征、分類識別、跟蹤濾波、行為識別，以獲得目標準確的運動信息參數（如位置、速度等），並對其進行相應的處理分析，實現對目標的行為理解。
視覺跟蹤是指對圖像序列中的運動目標進行檢測、提取、識別和跟蹤，獲得運動目標的運動參數，如位置、速度、加速度和運動軌跡等，從而進行下壹步的處理與分析，實現對運動目標的行為理解，以完成更高壹級的檢測任務。
國外在視頻目標檢測與跟蹤領域的研究起步較早，美國軍方及美國自然科學基金委員會都非常關註復雜環境下目標的檢測、跟蹤與識別算法研究與應用。1991年，美國國防高級研究項目署DARPA就資助卡內梅隆大學進行視覺信息在無人機中的應用研究。1997年，DARPA再次邀請多所美國高校參與了視頻監控系統重大項目VSAM(videosurveillance and monitoring)的研發工作。美國國防部DAPRA和JSG&CC聯合發起成立了自動識別工作組ATRWG。之後，國外知名大學與研究機構也對視頻目標的檢測與跟蹤算法進行深入研究，J.Davis等人提出了壹種適用於人體檢測的背景相減算法，它首先采用傳統幀相減算法得到感興趣區域，之後通過梯度信息在感興趣區域中尋找目標輪廓，通過目標輪廓確定目標位置，S.Huwer等人深入研究了背景模型問題，提出了壹種自適應的背景模型，該模型可以很好的解決光照變化等問題。
1999年後，國內壹些高校和科研機構也開始視頻目標檢測與跟蹤方面的研究。中科院自動化所的模式識別國家重點實驗室圖像和視頻分析研究組研發的交通行為事件分析系統；2001年，清華大學開發的適用於野外環境的視覺偵查系統。
視覺跟蹤發展已經比較成熟，出現了許多方法。開始時，視覺跟蹤研究主要集中在目標運動模型研究，如kalman預測跟蹤，meanshift跟蹤，粒子濾波跟蹤等。視覺跟蹤更多集中在目標表現模型研究上，Tracking by detection 成為視覺跟蹤比較多的話題，如Ensemble Tracking、Support vectortracking、Incremental Leaningfor visual tracking及TLD等。