在數據倉庫的背景下，ETL基本上是數據收集的代表，包括數據提取、轉換和加載。在轉換過程中，需要根據具體的交易場景對數據進行管理，比如非法數據的監控和過濾、格式轉換和數據標準化、數據替換、保證數據完整性等。
2.實時收集工具:Flume/Kafka
實時采集主要用於考慮流處理的事務場景，例如記錄數據源的各種操作活動，如網絡監控的流量處理、金融應用的股票核算、web服務器記錄的用戶訪問行為等。在流處理場景下，數據采集會成為Kafka的客戶，就像大壩壹樣攔截來自上遊的連續數據，然後根據事務場景做相應的處理(比如去重、去噪、中心記賬等。)，然後將其寫入相應的數據存儲器。
3.互聯網采集工具:爬蟲、DPI等。
Scribe是由臉書開發的數據(日誌)收集系統。又稱網絡蜘蛛、網絡機器人，是按照壹定規則從萬維網上自動抓取信息的程序或腳本，它支持圖片、音頻、視頻等文件或附件的收集。
除了網絡中包含的內容之外，還可以使用帶寬處理技術(如DPI或DFI)來處理網絡流量的收集。