對於IT領域來說,最近有很多非常新的概念,比如雲計算,物聯網。當我們剛剛開始對這些概念有壹個清晰的認識時,另壹個全新的概念出現了——大數據。什麽是大數據?大數據的概念指向哪裏,它如何改變我們的生活?會給我們的生活和工作帶來困擾嗎?
本報與第壹財經頭腦風暴節目合作,共同探討大數據時代的問題。參加討論的嘉賓包括提出大數據概念的牛津大學教授維克托·邁爾·舍恩伯格;微軟亞太R&D集團及雲計算操作系統首席架構師許;上海市信息化專家、各專業委員會專家、復旦大學計算機學院院長王小洋;孫堅政治家,科爾尼管理咨詢公司全球合夥人;復旦大學現代哲學研究所所長俞武進;祁鳴風險投資公司合夥人hans tung著名財經評論員石述思。
1到底什麽是大數據?
維克多:我認為這是新的黃金。我覺得是21世紀最重要的資源。這種資源對於社會、企業、個人能不能成功,能不能吃虧,起著非常重要的作用。說明雖然我們之前都有數據,但是把數據放在壹起分析是非常昂貴的,所以我們更註重實物資源,也就是真金白銀,比如勞動力。但直到最近,我們才依靠人們的知識和創新來創造財富。再進壹步,我們可以根據數據來做,因為在數據收集和分析中,成本增加的程度發生了變化,然後我們的數據就可以達到壹定的規模。最後,無論妳在尋找什麽,無論妳是壹個人,壹個公司,壹個組織,還是這個社會,無非就是這個所謂的新黃金。
為什麽最近黃金價值大幅下跌?因為舊黃金不值錢,沒有新黃金值錢。
董翰思:我的觀點有些相似。第壹是雲,第二是關系,第三是未來。就像剛才維克多先生提到的,因為雲時代的到來,存儲大量數據的成本非常低,所以我們可以利用大數據進行工作分析。最近因為很多事情,了解了更多的關系,可以預測未來的情況。用我自己的話來說,我花了很多時間聽和看了很多朋友,無論我們是在尋找工作機會還是認識有幫助的夥伴。在這麽大的信息量裏,這麽多人把自己的信息放在上面,就是做了壹件事,就是分析。如果妳想在40歲的時候成為壹家創意公司的CEO,妳如何規劃未來的20年?這是壹件很有意思的事情。
最後可能會有不同的可能性,最後能不能找到最好的方法就看妳自己了。可能性擺在眼前,幾率最高。如何選擇還是個人決定,所以大數據並沒有抹殺個人意識。
石述思:大數據首先改變的是我們看待世界的方式,這將對這個時代的許多價值觀產生激烈的影響。比如以前我們東方人特別喜歡壹個詞叫因果,認為善有善報,惡有惡報。事實上,根據交管部門調查的數據,在街上遭遇事故的人,其實與道德無關。秦檜的壽命是嶽飛的兩倍半,很多貪官在被發現之前都過著令人羨慕的生活。所以,通過大數據,我們可以用壹種全新的理念來看待這個世界。這個世界是壹種新型的關系,這種關系是相互聯系和構建的。科技發展到壹定程度,才能達到這樣的高度。
同時,在大數據時代,我們應該遵守底線,但它確實告訴了我們真相,因為科學在告訴我們真相。我有壹個願望,就是剛才說的大數據是新黃金,希望更多的用於社會公益事業,比如說,拯救地震局。這可以避免許多人道主義災難和財產損失。結論是,以前我們以為上帝是哲學家或者哲學家,現在發現他老人家是個老頑童。
2大數據對各個領域的工作和生活有影響嗎?
王小洋:大數據影響智慧。怎麽理解呢?大數據的概念本身就是數據的收集和處理,可以在壹定程度上讓我們的社會和管理者受益。從城市的角度來說,壹個管理者可以把這些數據和處理方法收集起來,這樣我們就可以用智慧來管理城市,我們可以從交通管理、公共衛生等方面來管理。這種管理需要數據,數據產生智慧,然後反過來管理我們的模型。
例如,在公共衛生領域,數據收集實際上已經進行了很多年。它的數據采集本來不是為了大數據做的,實際上是為了方便——方便大家看病。而且,妳的電子病歷等。,讓妳的就醫更人性化,或者讓醫生更快更方便的熟悉病情。但是,在這種情況下,壹旦收集了這些數據,我們就可以進壹步了解整個城市的健康狀況。所以,剛才說的醫學數據,其實就是初衷。當大數據到來時,我們實際上可以看到以前看不見的問題。比如壹些大的趨勢,哪裏的疫情比較多,或者它是如何傳播的等等。這些東西我們以前是看不到的,這種情況就是大數據的幫助。
許:比如有壹個球和壹只螞蟻。球告訴螞蟻,在三維世界裏做事很棒。妳壹眼就能看出這條線上有多少只螞蟻。螞蟻說我真的不信。我得按照這條線爬。直到計數器沒壞,我才知道有多少只螞蟻。可見三維和二維差的是壹維,所以差那麽大。所以大數據壹開始就不是大數據,同樣的數據多了也就不是大數據了。而是在原有二維和原有數據庫的基礎上構建壹維,賦予其全新的面貌。比如妳在美國,妳負債了,除了債權人,其他人也會對妳感興趣——如果妳負債了,突然妳可以還債了,那麽銀行也會對妳感興趣。11年前,美國資本壹號發明了壹個大數據的應用。它可以找出誰欠了銀行和信用卡的錢,然後它會觀察妳的消費數據。當它發現妳可以開始還的時候,他立刻把妳買回來,從此他就吃掉了妳的利息。2001,資本壹號公司每個季度的增長率是20%。因為它的大數據程序,它能以很高的命中率找到這個。它從哪裏得到的數據?從沃爾瑪,從各種消費數據。從這個例子可以看出,大數據在數據分析的原有商業智能上又增加了壹層,商業智能無法告訴我們別人會做什麽,能做什麽。
關於我們公司對奧斯卡獎的預測,除了李安,其他都是對的。其實我們的預測是給所有人員做壹個概率,所以我們做了19的預測,這是我們放在第壹個概率裏的贏家,下面還有四個第二個概率,所以李安導演我們把他放在第二個概率裏,我們把他放在後面。
這個預測和大數據有很大關系。首先,大數據需要智商和智商,也就是說這個模型要非常好。在我們公司做智商的人是賈大衛s .羅斯柴爾德,他是我們研究部門的壹員。還有其他的,我想說說,他的智商差在哪裏?他的智商使用壹個非常簡單的聚合模型。除了智商還有什麽?智商以後要勤於經營,勤奮。勤於商業就是他非常勤於找數據,找各種各樣的數據,找非常實用的數據,所以他在網上找,在社交網絡上找。有壹些數據找不到。我該怎麽辦?他請人做調查,然後又請人做,所以他既有智商又勤奮。夠不夠?這還不夠。這種事情在五年前是做不到的。為什麽?在五年前,如果他想做這麽大的數據量,他壹個研究生小小的預算是做不到的,但是隨著雲計算的出現,他可以做到。您可以擴展這些數據,並使用許多處理器來處理它。現在他用雲做這樣的計算,最後他成功了。
孫堅政治家:我寫的是機遇加危險,也就是危機。我同意維克多的結論,這是壹個新的金礦,或者稱之為新的機遇,但不要忘了它同時會帶來很多危險。如果我們不能很好的處理大數據,特別是像我們日常工作中接觸到的很多中國企業,大部分甚至在最基礎的數據分析上還比較落後,這意味著我們如何快速過渡到大數據時代,面對大數據的挑戰?如果我們沒有做好準備,我擔心這很容易造成很多企業在邯鄲學步,就像過去很多新技術做的那樣。
在我們的行業中,因為大數據而進行了大量的產品創新。我們講大數據時代的顛覆性創新,其實講的是同壹個問題,因為在創新的同時,我們實際上要演繹和顛覆很多原創的東西,包括我們咨詢行業的很多服務和產品,我們要與時俱進。舉個例子,我們有壹個大型的全球零售企業,每天都要處理海量數據,所以在海量數據之前,它還是需要找到壹個很好的切入點,解決如何將大數據應用到商業中,改變商業模式,為商業創新帶來價值,盡管有技術手段。因為要更好的利用這個大數據,無論是便宜還是投資,還是要改變。軟硬件各方面都需要配置,甚至相應的組織也需要調整。壹個企業需要做進壹步的調整,以適應大數據時代的需求。為了讓大數據發揮作用。所以我們做的就是幫助企業找到它的價值創造,建立商業模式,證明在這方面做這樣的投資是值得的,讓大數據發揮作用。
俞武進:我想提出不同的看法是因為人類思維有壹個特點。他誇大了他所意識到的全球性。舉個例子,如果妳看到三只天鵝是白色的,但實際上有壹千只天鵝是白色的,但在澳大利亞發現了壹只黑天鵝,這推翻了所有天鵝都是白色的原則。我覺得大數據的問題很重要,但是如何正確看待,不能走極端。大數據體現了人們從數量關系上理解生活的壹種思維方式。自古以來就受到高度重視。當然,大數據這個概念在古代是沒有用的。
數字本身對生活越來越重要。從哲學的角度來說是實用的,比如數學中的π,圓周率,等於3.1415926...它包括了所有的大數據,三分之壹更容易理解,三分之壹的另壹種寫法是0.333333無限延伸,所以黑客在邏輯上強調這個無限包含在三分之壹中。從這個實際的角度來看這個數據,我覺得大數據在當代的變化中有重要的作用,但是我們要用壹種眼光來看待它,不要誇大,也不要縮小。
3如何理解壹生中三分之壹的數據都是總結出來的?
維克多:我不同意余老師的觀點。數字有著悠久的歷史,但在過去,我們處理這些數字的方式非常有限。僅有技術是不夠的。我們可以分析數據,比如數字,對妳來說只是壹個數字。這個意義不重要。妳也可以用壹個漢字或壹個字母來代表它們。從這個角度來說,大數據只是壹個很長的數字,妳可以用心去記。
但事實上,大數據的價值在於,在整個數據收集過程中,需要分析才能了解它。比如如何進行預防性維護,如何防止疫情爆發等。,我們並不是簡單的把這個數字記下來或者背下來,而是通過分析,數據的統計分析,整理出來之後的分析。這不僅僅是背壹個數字的問題。這是壹個非常大的區別。
大數據時代會給生活帶來怎樣的顛覆?
維克托:首先,在商業方面,我認為有三個要素需要記住:壹個是在商業世界中,決策會發生變化,這將越來越清楚地證明,必須依靠數據說話。
在美國,最大的互聯網公司可能是谷歌,每天有30億次搜索請求。有壹天他們打算在屏幕上使用藍色,然後他們選擇了壹種特殊的藍色,但他打算測試41種不同的藍色,看看哪種最受歡迎。他想自己決定:我是總設計師,所以選了藍色。但是他老板說,不行,我需要實證來告訴我們哪種藍色最受歡迎。但是谷歌的首席設計師辭職了。他說我是總設計師,我最清楚。通過多次測試發現,有壹種藍色與設計師選擇的藍色差別不是太大,但是測試出來的另壹種藍色更受歡迎,點擊量也更多。通過論證做出的決策更有效。類似的例子還有很多,都說我做這行幾十年了,肯定沒錯。這種傳統的社會觀念和思維方式將受到挑戰,我們的決策必須依靠數據。這是第壹點。
第二,我們出去談的時候,要註意不要誤讀數據,錯誤的數據是不行的。也就是說,如果原始資料是錯的,原材料是垃圾,出來的東西肯定是垃圾,這個公司更容易理解這些數據,但可能不是妳應該熟悉的數據。
第三是挑戰。就是壹般行業,尤其是計算機行業,數據會超過他們。這可能是壹個具有挑戰性的說法。如果妳沒有足夠的數據,妳就趕不上壹個擁有大量數據的相對平庸的模型,這也是數據會超越那些行業的原因。以機器翻譯為例。在20世紀60年代和70年代,IBM在機器翻譯上花了很多錢。它想把壹些語言規則弄進機器,但是效果不是很好。它有了新的想法。它不是把壹種語言的語法規則輸入機器,而是導入了加拿大議會的英法雙語翻譯,以及成千上萬的翻譯資料。它有大量的累積組織數據庫,效果更好。而谷歌在這方面的數據更多,這個翻譯壹下子更成熟有效。可以說,正是這個數據讓它超越了這個軟件。因為今天大數據的力量,妳可以很容易的得到妳想要的信息,但是大約十年前,妳需要50萬臺服務器和大量的數據存儲和處理模式來創業。今天要輸入業務,就用雲計算測試壹下。比如有壹家公司叫Tiside,產品和價格都很多。它獲取壹些數據來預測產品是否會上架或下架。雖然他們有大量的客戶,但該公司只有65,438+03名員工,因此它有許多服務器,他們有大量的數據。可見,這個階段不僅大公司可以做,創新型的小公司也可以做。
王小洋:實際上,當談到改變我們的整個思維方式時,所謂的實驗思維比理論思維更重要,我不太明白。其實剛才維克多老師舉的例子是,很多時候我們用數據來驗證之前想擁有的東西,有些智慧確實是從數字中挖掘出來的。這可能是壹種語言來自不同的地方。怎麽說呢?基於大數據的案例,其實有壹個所謂的循環概念,就是妳有智慧去驗證它的後期,在驗證的數據中產生各種智慧去做出這樣的認識,所以從這個角度來說,我覺得大數據的案例下沒有顛覆,而是壹種改進,改進了我們的認知世界。就公共健康這個話題來說,被引用最多的壹個例子就是谷歌裏有壹個所謂的趨勢預測,用網民搜索到的詞來預測。
如何預測所謂的流感?很簡單,就是分析之前的數據,說出流感發生的地區和當時在該地區人們用什麽詞搜索,這樣就可以進行統計。做了統計後,用這些搜索詞來預測這次流感意味著什麽?並不壹定意味著這種數據或者大數據能讓我們突然對這種流感有了新的認識。其實並不是。其實谷歌的那些工程師有壹個想法,我們好像得了流感,和每個人都有關系,每個人都會用搜索得到壹些和流感有關的信息,有這樣的聯系。如何找到這種聯系?這就是用數據去發現,用所謂的大數據的方法去實現我們現有的壹些概念性的東西,實現了之後,我們就可以進行預測。所以從這個角度來說,並不壹定有了大數據,我們就可以丟掉所有的智慧。我們不需要智商,只要數據好,這個肯定不夠。必須是智商加數據,然後才能有正反概念。這才是大數據應該做的。
董翰思:我有不同的想法。我覺得剛才維克多先生說的很有意思,就是大數據時代對智慧的要求不壹樣了。大數據時代,有趣的是對智慧的要求可以更低,可以產生更好的結果。他只是舉了個例子。以前做翻譯很難。妳的規則必須特別強大、簡潔和完整,才能有60%和70%的準確率。但是在大數據時代,我們不用去想那些復雜的規則和套路,只需要把幾億篇翻譯好的文章交給計算機,用統計的方式找出翻譯出來的詞的另壹個意思是什麽。對智慧的要求其實降低了,但效果可能更好。
孫堅政治家:可能我們對智慧的理解是模糊的。我想我理解維克多先生說的話,因為他還有壹本叫《刪除》的書,專門講這個三重智慧,講取舍。因為隨著存儲技術和互聯網的發展,他講的更多的是知識,對知識的要求可以低壹些,但是我覺得對智慧的理解是不壹樣的。我理解的智慧是,妳有根本的、真正的洞察力去判斷壹個事物。就是妳對壹個事物的洞察還是要有的,並不會因為大數據的存在而減弱或者沒有必要,但也正是因為大數據的存在,妳才更需要洞察。
五大數據時代真的來了嗎?
王小洋:大數據時代是否會到來取決於妳如何衡量它。現在這些數據的數量和種類,以及采集處理的方式方法,絕對達到了“前無古人,後無來者”的感覺。在這種情況下,從數據采集和數據處理的能力來說,我們的大數據時代已經來臨,但我們才剛剛開始用數據利用數據。
大數據改變我們生活的時代還沒有完全到來,但是我們已經為此做了很多準備,這就是城市的管理問題。我們已經為大數據時代做了很多準備,比如數據收集。如何利用這些數據來打造我們的智慧城市是最大的問題。
許:從商業的角度來看,我個人認為它正在到來。比如藥材公司莫克,可以根據天氣的性質,比如今年冬天特別冷,很多過敏的動物會冬眠,到了四五月份突然轉熱,花粉就多了,今年很多人都會過敏。以此類推,它會通過市場將克敏能等藥材進行營銷。
維克托·邁爾·舍恩伯格:美國總統巴拉克·歐巴馬曾經說過,盡管政府做出了努力,但他總是落後於企業和其他社會團體。所以搞這樣的活動,可以充分激發數據,提供給大眾,公司也可以拿走這些數據,讓公司利用這些數據有更多的創新。這是壹個想法。可能會有壹些做法,比如商業方法。我覺得發揮微軟這樣壹些聰明公司的智慧是有幫助的,包括和政府合作管理社會。
石述思:我有壹種感覺,當商業巨頭面對屌絲談論大數據的時候,我們都有壹種不寒而栗的感覺,因為雖然在大數據時代我們所有人都是公平的,我們可以說小公司可以得到公平競爭的待遇,但實際上掌握大數據的都是巨頭,他們有獨特的優勢從我們的錢包裏搶錢。對我們來說很難,因為公司的定義就是在法律允許的範圍內唯利是圖。但是,我們渴望政府部門利用大數據為我們提供普惠服務,就像壹些智慧城市無法真正做到智能管理的情況,所以我對大數據來到中國的未來深感擔憂。還有,即使優秀的公司使用大數據,也要面對現實。比如我們像電視臺壹樣做廣告。為什麽現在還有很多人?因為中國的貧富差距特別大。如果妳掌握了消費者的所有數據,而這些數據在今天大部分都是無效的,妳還有壹個選擇大數據的過程,叫做有購買力的大數據,那麽各種問題就會出現在我們面前,就是社會本來就是我們需要的,但是有很多幕後的東西。我們擔心被商業巨頭用來進壹步剝削消費者。
孫堅政治家:我覺得從企業的角度來說是同壹個問題。之前我想表達的是,第壹,現在國內很多企業其實還沒有做好這個大數據的準備,因為我們還處於基礎數據分析比較初級的時代,我們的很多基礎數據今天都用不上,別說大數據,今天連小數據都用不好。還有很多是假數據,因為這些數據的錄入管理非常不成熟。我在工作中接觸過很多企業。大家都在做今天企業在做的幾件事。有ERP系統,有數據庫,數據都存儲在裏面。但是我發現有很多中企套現的數據管理,並沒有很好的利用。有這樣壹種擔心:大數據時代到來後,中國企業並不擅長使用這種數據分析。在大數據的今天,差距會變得更大。未來國際巨頭會有成熟的數據分析方法和很多健全的商業模式,會讓這個差距越來越大。
6大數據時代,下壹個預測會是什麽,下壹個判斷會是什麽?
維克多:怎樣才能讓生活比現在更有效率,也就是讓城市更智能?這是可行的。為什麽?我強調的是,我們可能會改善我們的公共衛生和教育,我們有能力收集數據。公共交通的普及可以真正滿足公民的需求,而不僅僅是政治家的需求,能源消耗將得到更好的檢測、預測和管理,這樣我們的城市將更加智能,生活將更加美好。150之前有人預言,如果妳生活在城市,妳的壽命會更短;住在鄉下會長壽。150年後的今天,壽命更長了,大數據我們會更好,但有壹個條件,就是那些決策者必須用這些數字。
下壹步是專家如何做。其實這就涉及到在數據時代,數據點是有限的,我們可以收集足夠的數據來解決問題。因為很復雜,數據點很少,所以我們的數據點必須高質量的采集。現在不是這樣的,現在越來越亂。說明什麽越多越亂,越多就是有數據點。對於壹個我們想研究的現象,可以做更多的統計。比如在美國,如果妳有壹個DNA基因圖譜,妳只需要2000美元就可以知道妳整個基因圖譜中的30億個東西是怎麽組成的,這樣妳就可以知道那30億對。現在,如果壹個基因組成可能導致什麽樣的癌癥,妳可以查基因圖譜,說我是。數據多了,就會有壹些不準確,所以我說越來越亂,所以這裏允許有壹點不準確,或者允許有壹點亂。這個所謂的混沌,就是每個數據點都要達到最高的精度。結果就是不是100%完美,而是朝著大數據的方向,或者說,必須在正確的數據點上知道壹個方向。知道了方向比後來知道了完美的數據更有效。比如流量預測,可能我們現在看到的流量預測比實際應用晚了20分鐘,看起來可能太晚了,但如果這是預測壹周的信息,就足夠了。
王小洋:在大數據時代,我們對我們的城市有了更好的了解。所謂了解,就是妳知道這個城市正在發生什麽,這很重要。以前這個城市的管理就是壹個巴掌拍不響。有時候拍的很好,也是壹個很棒的城市。但是有時候呢?拍腦袋可能太離譜了。在這種情況下,如何在大數據時代利用好它,就是我們要說的。為了政績,也可以考慮大數據。這個數字對其政績有好處嗎?就是名字是壹個大的方面。大數據不僅是了解我們城市發生了什麽,更是了解我們城市的人在想什麽。這對於城市管理非常重要。壹個城市不僅僅是硬件設施,還有地鐵和高樓。裏面的人很重要。
以上是邊肖為妳分享的關於大數據時代對人類生活的顛覆。更多信息可以關註全球常春藤分享更多幹貨。