大數據是目前非常時髦的壹個技術名詞，同時也自然催生了壹些與大數據處理相關的職業，通過對數據的挖掘和分析來影響企業的商業決策。
這群人在國外被稱為數據科學家。這個頭銜最初是由D.J .帕蒂和傑夫·漢默巴赫在2008年提出的，他們後來分別成為領英和臉書數據科學團隊的負責人。目前，數據科學家這壹職位也開始在美國的電信、零售、金融、制造、物流、醫療和教育等傳統行業創造價值。
然而在中國，大數據的應用剛剛萌芽，人才市場還沒有那麽成熟。“很難指望壹個多面手完成整個鏈條中的所有環節。更多的公司將根據現有資源和不足招聘能夠補充現有團隊的人才。”領英中國業務分析和戰略總監王玉瑤告訴《第壹財經周刊》。
因此，每個公司對大數據工作都有不同的要求:有的強調數據庫編程，有的突出應用數學和統計學知識，有的要求在咨詢公司或投資銀行有相關經驗，有的希望找到了解產品和市場的應用型人才。正因如此，許多公司會根據這些處理大數據的人的業務類型和團隊分工，給他們壹些新的頭銜和定義:數據挖掘工程師、大數據專家、數據研究員、用戶分析專家等。都是國內公司經常出現的頭銜，我們統稱他們為“大數據工程師”。
王玉瑤認為，在壹家成熟的數據驅動型公司中，“大數據工程師”往往是壹個團隊，這意味著從數據收集、展示、分析和商業洞察到市場轉型的整個過程。該團隊可能包括數據工程師、分析師、產品專家、營銷專家和業務決策者等。，共同完成從原始數據到商業價值的轉化——壹言以蔽之，就是支持企業進行商業決策和商業模式探索的重要群體。
因為國內的大數據工作還處於壹個有待開發的階段，能從中提取多少價值完全取決於工程師的個人能力。從事過這壹行業的專家給出了人才需求的大致框架，包括計算機編碼能力、數學和統計學背景。當然，如果妳能對某些特定領域或行業有更深入的了解，將更有助於他們快速判斷和把握關鍵因素。
盡管對於壹些大公司來說，擁有碩士學位的公司人員是更好的選擇，但阿裏巴巴集團研究員薛強調，教育不是最重要的因素，擁有大規模數據處理經驗和在數據海洋中尋寶的好奇心更適合這份工作。
此外，壹名優秀的大數據工程師應具備壹定的邏輯分析能力，能夠快速定位業務問題的關鍵屬性和決定因素。“他需要知道什麽是相關的，什麽是重要的，什麽樣的數據最有價值，以及如何快速找到每個企業的核心需求。”聯合國百度大數據聯合實驗室的數據科學家沈誌勇說。學習能力可以幫助大數據工程師快速適應不同的項目，並在短時間內成為該領域的數據專家；溝通技巧可以使他們的工作順利進行，因為大數據工程師的工作主要分為兩種方式:由市場部門推動和由數據分析部門推動。前者需要經常從產品經理那裏了解開發需求，而後者需要找到運營部門了解數據模型的實際轉換。
妳可以將這些要求視為成為大數據工程師的方向，因為萬寶瑞華管理合夥人嚴麗萍表示，這是壹個巨大的人才缺口。目前，國內大數據應用多集中在互聯網領域，超過56%的企業正準備開展大數據研究。“未來五年，94%的公司將需要數據科學家。”嚴麗萍說。因此，她也建議壹些原本從事數據相關工作的公司可以考慮轉型。
本期《中國經營報》采訪了國內三家互聯網公司、BAT以及相關領域的人力資源專家。他們從職場的角度講解了如何成為壹名大數據工程師以及這類職位的職場地位。
a .大數據工程師是做什麽的？
用阿裏巴巴集團研究員薛的話來說，大數據工程師就是壹群“玩數據”的人，發揮數據的商業價值，將數據轉化為生產力。大數據與傳統數據最大的區別在於它是在線的、實時的、規模海量的、形式不規則的，沒有規律可循，因此“玩”這些數據的人非常重要。
沈誌勇認為，如果大數據被想象成壹座不斷積累的礦山，那麽大數據工程師的工作就是，“第壹步是找到並提取信息所在的數據集，這相當於探礦和采礦。第二步是把它變成可以直接判斷的信息，相當於熔煉。最後，應用程序將數據可視化。”
因此，分析歷史、預測未來和優化選擇是大數據工程師在處理數據時最重要的三項任務。通過這三個工作方向，他們幫助企業做出更好的商業決策。
找出過去事件的特征
大數據工程師的壹項非常重要的工作是通過分析數據找出過去事件的特征。例如，騰訊的數據團隊正在建立壹個數據倉庫，以整理公司所有網絡平臺上龐大而無規律的數據信息，並總結可查詢的特征，以支持公司對數據的各種業務需求，包括廣告、遊戲開發和社交網絡。
找出過去事件的特征可以幫助企業更好地了解消費者。通過分析用戶過去的行為軌跡，我們可以了解這個人並預測他的行為。“妳可以知道他是什麽樣的人，他的年齡，愛好，他是否是互聯網付費用戶，他喜歡玩什麽類型的遊戲，以及他平時喜歡在網上做什麽。”騰訊雲計算有限公司北京R&D中心總經理鄭利峰告訴《第壹財經周刊》。接下來，在業務層面，我們可以為各類人群推薦相關服務，比如手機遊戲，或者根據不同的特點和需求衍生出新的業務模式，比如微信的電影票業務。
預測未來可能發生的事情
通過引入關鍵因素，大數據工程師可以預測未來的消費趨勢。在阿裏媽媽的營銷平臺上，工程師們正試圖通過引入氣象數據來幫助淘寶賣家做生意。“例如，如果今年夏天不熱，很可能有些產品去年賣得不好，但空調、電風扇、背心、泳衣等除外。，可能受其影響。然後我們會建立氣象數據和銷售數據之間的關系，找到與之相關的品類，提前對賣家進行周轉庫存預警。”薛對說道。
在百度，沈誌勇支持了“百度預測”部分產品的模型開發，試圖用大數據服務更廣泛的人群。已經上線的有世界杯預測、高考預測、景區預測等。以百度的景區預測為例，大數據工程師需要收集壹段時間內可能影響景區遊客流量的所有關鍵因素進行預測，並對全國各個景區未來的擁堵情況進行排名——未來幾天是暢通、擁擠還是普遍擁擠？
找到最佳結果
根據不同企業的業務性質，大數據工程師可以通過數據分析達到不同的目的。
以騰訊為例，鄭利峰認為，最能反映大數據工程師工作的最簡單、最直接的例子是AB測試，它幫助產品經理在A和b兩個選項中做出選擇。過去，決策者只能根據經驗做出判斷，但現在大數據工程師可以通過廣泛的實時測試幫助營銷部門做出最終選擇——例如，在社交網絡產品中， 讓壹半用戶看界面A，另壹半用戶用界面B，觀察並統計壹段時間內的點擊率和轉化率。
作為電商，阿裏巴巴希望通過大數據精準定位人群，幫助賣家做更好的營銷。“我們期待的是，妳能找到這樣壹群人，他們比現有用戶對產品更感興趣。”薛對說道。淘寶的壹個例子是，壹位人參賣家最初推廣的目標群體是孕婦，但工程師通過挖掘數據之間的相關性發現，針對孕婦的營銷轉化率更高。
所需能力
數學和統計學相關背景
就我們面試的BAT三大互聯網公司而言，對大數據工程師的要求都是統計學和數學的碩士或博士學位。沈誌勇認為，缺乏理論背景的數據工作者更有可能進入壹個危險區域——技能——壹堆數字。根據不同的數據模型和算法，他們總能得到壹些結果，但如果妳不知道它代表什麽，它就不是壹個真正有意義的結果，並且很容易誤導妳。“只有具備壹定的理論知識，才能理解模型、重用模型甚至創新模型來解決實際問題。”沈誌勇說。
計算機編碼能力
實際開發能力和大規模數據處理能力是作為大數據工程師的壹些必備要素。“因為很多數據的價值來自於挖掘的過程，妳必須親自動手才能發現黃金的價值。”鄭利峰說。
例如，人們在社交網絡上生成的許多記錄都是非結構化數據。如何從這些毫無頭緒的文字、聲音、圖像甚至視頻中提取有意義的信息，需要大數據工程師親自挖掘。即使在壹些團隊中，大數據工程師主要負責業務分析，但他們也應該熟悉計算機處理大數據的方式。
特定應用領域或行業的知識。
在嚴麗萍看來，大數據工程師的角色離不開市場是非常重要的，因為大數據只有與特定領域的應用相結合才能產生價值。因此，在壹個或多個垂直行業的經驗可以為候選人積累行業知識，這對以後成為大數據工程師非常有幫助，因此這也是申請該職位時更具說服力的加分項。
“他不能只知道數據，還要有商業頭腦。他可以對壹些行業有壹定的了解，比如零售、醫藥、遊戲和旅遊等行業，最好能符合公司的業務方向。”在這方面，薛也打了個比方。“過去，我們說壹些奢侈品店員很勢利，壹眼就知道他們是否買得起，但這群人只是熱衷於此，我們認為他們是這個行業的專家。再比如壹個了解醫療行業的人。在考慮醫療保險業務時，他不僅會與人民醫院的病歷相關，還會考慮飲食數據，這些都是基於他對這壹領域的了解。”
C大數據工程師的職業發展
如何成為大數據工程師
由於目前大數據人才短缺，公司很難招聘到合適的人才-既要受過高等教育，最好在大規模數據處理方面有經驗。因此，許多企業會在內部挖掘。
今年8月，阿裏巴巴舉辦了壹場大數據比賽，將天貓平臺上的數據拿出來，去掉敏感問題，放到雲計算平臺上，交給7000多個團隊進行比賽。比賽分為內部比賽和外部比賽。“這樣既激勵了內部員工，也發掘了外部人才，讓各個行業的大數據工程師脫穎而出。”
嚴麗萍建議，長期從事數據庫管理、挖掘和編程工作的人，包括傳統的定量分析師、Hadoop工程師以及任何需要在工作中通過數據進行判斷和決策的管理人員，例如某些領域的運營經理，都可以嘗試這個職位，各個領域的人只要學會使用數據也可以成為大數據工程師。
工資和待遇
作為IT行業的“大熊貓”，大數據工程師的收入和待遇可以說達到了同類行業的頂尖水平。根據嚴麗萍的觀察，國內10%的IT、通信和行業招聘與大數據相關，並且這壹比例仍在上升。嚴麗萍說:“大數據時代的到來非常突然。中國的發展勢頭很猛，但人才非常有限。現在完全供不應求。”在美國，大數據工程師的平均年薪高達654.38美元+0.75萬美元。據了解，在中國頂級互聯網公司中，同級別的大數據工程師的工資可能比其他職位高20%至30%，並且受到企業的高度重視。
職業發展道路
由於大數據人才數量較少，大多數公司的數據部門壹般是扁平化的層級模式，大致分為三個級別:數據分析師、高級研究員和部門主管。大公司可能會根據應用領域的維度劃分不同的團隊，而在小公司則需要身兼數職。壹些特別強調大數據戰略的互聯網公司將設立其他高級職位——例如阿裏巴巴的首席數據官。“這個崗位的大多數人都會向研究方向發展，成為重要的數據戰略人才。”嚴麗萍說。另壹方面，大數據工程師對業務和產品的理解並不亞於業務部門的員工，因此他們也可以轉向產品部門或營銷部門，甚至可以升至公司的高級管理層。