8個提高數據分析工作效率的技巧
我剛和壹位老友恢復了聯系。她壹直對數據科學很感興趣，但10個月前才涉足這壹領域——作為壹個數據科學家加入了壹個組織。我明顯感覺到她已經在新的崗位上學到了很多東西。然而，我們聊天時，她提到了壹個至今在我腦海裏都揮之不去的事實或者說是問題。她說，不論她表現如何，每壹個項目或分析任務在令經理滿意之前都要做好多次。她還提到，往往事後發現原本不需要花這麽多時間！
聽起來是不是很像妳的遭遇？妳會不會在得出像樣的答案之前反復分析很多次？或者壹遍又壹遍地為類似的活動寫著代碼？如果是這樣的話，這篇文章正好適合妳。我會分享壹些提高效率和減少不必要的重復工作的方法。
備註：請別誤會。我不是說叠代都不好。這篇文章的重點在於如何識別哪些叠代是必要的，哪些是不必要且需要避免的。
什麽原因導致了數據分析中的重復工作？我認為沒有加入新信息，就沒必要重復分析（後面提到壹個例外）。下面這些重復工作都是可以避免的：
對客戶問題的診斷有偏差，不能滿足需求，所以要重做。重復分析的目的在於收集更多的變量，而妳之前認為不需要這些變量。之前沒有考慮到影響妳分析活動的偏差或假設，後來考慮到了所以要重做。哪些叠代是必要的呢？下面舉兩個例子，壹、妳先建立了壹個6個月後的模型，隨後有了新的信息，由此導致的叠代是健康的。二、妳有意地從簡單的模型開始逐漸深入理解並構建復雜模型。
上面沒有涵蓋所有可能的情況，但我相信這些例子足夠幫助妳判斷妳的分析叠代是不是健康的。
這些生產力殺手的影響？我們很清楚壹點——沒有人想在分析中出現不健康的叠代和生產力殺手。不是每個數據科學家都樂於壹邊做壹邊增加變量並反復運行整個分析過程。
分析師和數據科學家會因為不健康叠代和喪失效率而深感挫敗，缺乏成就感。那麽讓我們盡壹切努力來避免它們吧。
小貼士：如何避免不健康叠代並增加效率技巧1: 只關註重大問題
每個組織都有很多可以用數據解決的小問題!但雇壹個數據科學家的主要目的不在於解決這些小問題。好鋼要用在刀刃上，應該選取3到4個對整個組織影響最大的數據問題交給數據科學家來解決。這些問題壹般具有挑戰性，會給妳的分析活動帶來最大杠桿（或者收獲滿滿或者顆粒無收，想象壹下借貸炒股）。當更大的問題沒被解決時，妳不應當去解決小問題。
聽起來沒什麽，但實際上很多組織都沒做好這壹點!我看到很多銀行沒用數據分析去改善風險評分，而是去做市場營銷。有些保險公司沒用數據分析提升客戶留存率，而是試圖建立針對代理機構的獎勵計劃。
技巧2: 壹開始就創建數據分析的演示文稿 (可能的布局和結構)
我壹直這樣做並且受益匪淺。把分析演示稿的框架搭起來應該是項目啟動後的第壹件事。這聽起來或許有悖常理，然而壹旦妳養成這個習慣，就可以節省時間。
如何搭框架呢？妳可以用ppt、word、或者壹段話來搭框架，形式是無關緊要的。重要的是壹開始就要把所有可能情況列出來。例如，如果妳試圖降低壞賬沖銷率，那麽可以像下面壹樣布局妳的演示文稿：
接下來，妳可以考慮每個因素如何影響壞賬沖銷率？例如，由於給客戶增加了信用額度導致銀行的壞賬沖銷率增加，妳可以：
首先，確定那些信用額度沒被增加的客戶並沒有導致此次壞賬沖銷率增加。
下壹步，用壹個數學公式來測量這個影響。
壹旦妳把分析中的每壹個分支都考慮到了，那麽妳已經為自己創造了壹個良好的起點。
技巧3: 事先定義數據需求
數據需求直接源於最後的分析結果。如果妳已經全面地規劃了要做哪些分析、產生什麽結果，那麽妳將知道數據需求是什麽。這裏有幾個提示來幫助妳:
試著賦予數據需求壹個結構: 不單是記下變量列表，妳應該分門別類地想清楚分析活動需要哪些表格。以上面增加壞賬沖銷率為例，妳將需要客戶人口統計表，過往市場營銷活動統計表，客戶過去 12 個月的交易記錄，銀行信貸政策變更文件等資料。 收集妳可能需要的所有數據: 即使妳不是 100%肯定是否需要所有的變量，在這壹階段妳應該把所有數據都收集起來。這樣做工作量大壹些，但是與在以後的環節增加變量收集數據相比，還是更有效率壹些。 定義您感興趣的數據的時間區間。技巧 4: 確保妳的分析可重現
這個提示聽起來可能很簡單——但初學者和高級分析人員都難以把握好這壹點。初學者會用Excel執行每壹步活動，其中包括復制粘貼數據。對於高級用戶，任何通過命令行界面完成的工作都可能不可重現。
同樣，使用記事本（notebook）時需要格外小心。妳應該克制自己修改以前的步驟，尤其是在前面的數據已經被後面的步驟使用的情況下。記事本在維護這種涉及前後數據勾稽關系的數據流方面表現地非常強大。但是如果記事本中沒維護這種數據流，它也會非常沒用。
技巧5: 建標準代碼庫
沒必要為簡單的操作壹次又壹次重寫代碼。它不僅浪費時間，還可能會造成語法錯誤。另壹個竅門是創建常見操作的標準代碼庫並在整個團隊中***享。
這將不僅確保整個團隊使用相同的代碼，而且也使他們更有效率。
技巧6: 建中間數據集市
很多的時候，妳會反復需要同壹批信息。例如，妳將在多個分析和報告中用到所有客戶信用卡消費記錄。雖然妳可以每次都從交易記錄表中提取，但是創建包含這些表的中間數據集市，可以有效節省時間和精力。同樣，市場營銷活動的匯總表也沒必要每次都查詢提取壹次。
技巧7: 使用保留樣本和交叉驗證防止過度擬合
很多初學者低估了保留樣本和交叉驗證的強大。很多人傾向於認為只要訓練集足夠大，幾乎不會過擬合，因此沒必要交叉驗證或保留樣本。
有這種想法，往往會在最後出岔子。不單我這樣說——可以看壹下Kaggle上任意競賽公開或非公開的排行榜。妳會發現前十名中有些人不再過擬合時他們的排名就不再下降了。妳可以想象這些都是高級數據科學家。
技巧8: 集中壹段時間工作並且有規律地休息
對於我來說，最佳的工作狀態是集中利用2-3小時解決壹個問題或項目。作為壹名數據科學家，妳很難同時完成多項任務。妳需要以自己的最佳狀態對待壹個單獨的問題。對於我來說，2-3 小時的時間窗口最有效率，妳可以依據個人情況自行設定。
後記上面這些就是我提高工作效率的壹些方法。我不強調非要第壹次就把事情做好，但是妳必須養成每壹次都能做好的習慣——這樣妳才能成為壹個專業的數據科學家。
妳有什麽提高工作效率的好方法嗎？有的話請在下面的評論中留言。
原文標題：8 Productivity hacks for Data Scientists & Business Analysts
翻譯筆記1、catch?up?with?sb.還特指同某人恢復聯系,相當於become?current?with?what’s?going?on?in?someone’s?life?when?you?haven’t?been?in?touch?for?a?while
所以這句話的意思是說?“再次聯絡到（碰到/遇到）妳真好”,特指有段時間和妳沒有見面或者聯絡時候的說法。
2、productivity?killers，生產效率殺手，降低生產效率的因素，阻礙提高生產效率的因素。
3、壞賬沖銷率，信用卡行業的重要指標，每月發生壞賬除以當月初信用卡應收款總額的年化比例，主要用於衡量資產的信用水平。
4、插圖中Brand?strategy?change，品牌戰略變更可能會導致壞賬沖銷率增加。例如，當采用競爭品牌或者邊際品牌戰略時可能會導致壞賬沖銷率的增加。
5、品牌戰略：
形象品牌。在品牌競爭中形象品牌能有效地贏得公眾的信賴，形成良好的“口碑”效應，對累積、提升品牌資本有著極為重要的作用，能促進企業其它品牌的推廣。例如，雀巢公司的“雀巢”作為母品牌就是形象品牌，它有力地推動了其眾多的子品牌。因此，企業的品牌經營戰略不能沒有形象品牌。競爭品牌，通常是針對市場上同類產品而推出的，它將通過其特殊的市場定位如技術上的、價格上的或服務上的特色撕開競爭對手的防線，或開辟嶄新的目標市場。顯然，競爭品牌的主要目的就是為企業爭奪更多的市場份額，創立企業的競爭優勢。這種類型的品牌也許現在並不能為企業帶來多少利潤，但發展潛力極大，是企業參與未來市場品牌競爭的關鍵和希望。利潤品牌，是企業多品牌經營的中心。利潤品牌為企業創造利潤是現代品牌經營的重要特征。利潤品牌壹般都是企業獨特技術（企業核心競爭力）的代表，競爭者難於在較短時間內進入這壹領域為企業創造很大的利潤空間，甚至是超額利潤。當然這類品牌如果不加以提升和改善，就有進入衰退期的可能。邊際品牌，是企業多品牌經營戰略的必要補充。邊際品牌不是企業的形象品牌、競爭品牌，從其表象看難於創造利潤但因其具有壹定的客戶基礎，不像其它品牌那樣需要高額的投資。因此，即使該品牌的銷售額停滯不前或緩慢下降，仍有壹批忠誠的消費者不會放棄這類品牌。邊際品牌的作用就是創造盈余資源，並為企業的競爭品牌、形象品牌和利潤品牌提供資源支持，為沖銷企業的固定經營費用做出貢獻。6、插圖中“Acquisition?driven”，acquisition意為（1）（對公司的）收購，並購；（2）(圖書館通過采購、交換贈閱等)圖書資料的獲得；獲得的書籍(或報刊、雜誌)；（3）（知識、技能等的）獲得，習得。例如，data?acquisition指數據采集。
7、插圖中“Spend?simulation”，譯者在此只依文解義的翻成了“花費模擬”。在ask.com搜索引擎中，沒有相應內容，網站提示是否搜索spent?simulation，spent是壹個互動遊戲，由壹個幫助流浪者和貧窮者的公益組織發起，玩家用1000美元生活壹個月模擬貧窮的生活狀態，玩家參與互動遊戲時會面臨很多選擇，比如Cover?the?minimum?on?your?credit?cards?or?pay?the?rent?支付信用卡還是支付房租。這個遊戲從2011年2月第壹次舉辦到2014年7月已經有200萬人在218個國家玩超過400萬次。如果客戶參與這類活動，可能會導致信用卡超期未付。參考鏈接：http://umdurham.org/ ?https://en.wikipedia.org/wiki/SPENT_(online_game)#cite_note-2
8、data?requirement，數據需求，與之相關的還有Market?requirement，Production?requirement，其中產品需求與數據需求關系緊密。因為數據需求隨著產品業務邏輯展開。要收集壹個產品的數據，首先需要了解產品業務邏輯，例如功能之間的交互關系以及單壹功能的業務邏輯。其次將業務邏輯節點化，識別出重要節點並列出優先級。再次將節點化的業務代碼化，主要將列出的重要節點（需要統計的節點）添加統計事件和統計參數。最後形成數據需求文檔。
9、more?often?than?not，往往。
讀後感譯完這篇文章，我感覺數據分析人員可以從兩個方面借鑒經驗，壹是從傳統管理咨詢行業借力，DA需要具備的能力包括傳統咨詢行業解決問題的能力加上數據處理技能。比如本文的第二點提示，類似於咨詢行業的重要方法——結構化思維。可以參考芭芭拉·明托編寫的《Logic?in?writing,?thinking?and?problem?solving》（中文譯名：金字塔原理——思考、表達和解決問題的邏輯），這本書是麥肯錫的經典培訓教材，介紹了很多實用的方法，幫助讀者在思考表達時重點突出、邏輯清晰、主次分明。二是可以從傳統的數據資源規劃中得到啟發。本文第三點提示，如何確定數據需求，恰恰可以參照傳統數據資源規劃中從業務需求得到數據需求，並對業務和數據進行建模的系統化方法，具體可以參考高復先教授的《信息資源規劃:信息化建設基礎工程》。
本文最後提到工作和休息，這點因人而異。我覺得需要關註以下幾點：
壹是評估綜合效率。壹周有壹兩次效率特高，但綜合效率或許不如壹周都保持壹個平穩的節奏。可以嘗試用番茄鐘這種時間管理工具來量化分析壹下自己的情況；
二是調整生活習慣。數據分析工作需要飽滿的精力，影響精力的因素很多，比如暴飲暴食可能就會帶來負面影響。
三是關註呼吸，如果我們高效率的時候身心舒暢，呼吸自然，那麽這種狀態是可持續的。如果精力集中時，經常屏住呼吸，這種方式更傾向於消耗。冥想和正念訓練或許會有幫助。
工作有如跑馬拉松，有些人的目標不為跑得快只為跑得年頭久，希望60歲依然能去跑，這類人對控制心率的需求大過提高速度。有些人希望盡快提高成績，去沖刺幾個重要賽事，因而自願承擔自由基增加的代價。做數據分析也壹樣，設定怎樣的目標，那就怎樣去奔跑吧。
以上是小編為大家分享的關於8個提高數據分析工作效率的技巧的相關內容，更多信息可以關註環球青藤分享更多幹貨