埃文·奎恩（evan quinn) | 文 李釗 | 譯
美國當代著名**家艾薩克·阿西莫夫（isaac asimov）曾憑藉系列科幻**《基地》（foundation） 獲得雨果獎，在書中，主人公哈里·謝頓（hari seldon）是一位數學和統計學天才，開闢了乙個跨領域的學科——把統計學、社會學和心理學結合在一起創立了「心理歷史學」 （psychohistory）。利用心理歷史學，哈里·謝頓能夠用宇宙級的「大資料」分析預知世界文明的未來。
《基地》的最後一部——第14冊《基地與地球》——出版於2023年，在27年後的今天，「心理歷史學」不再是科學幻想，而這都是拜「大資料」所賜。
大公司的大資料轉變
它們在大資料領域的貢獻大多通過hadoop平台實現，該平台是由道格·卡汀（doug cutting）和他的團隊開發，毫不誇張地說，他們就是「哈里·謝頓」。卡汀幾年前，作為軟體顧問，在雅虎組織開發了hadoop平台（hadoop就 是以他兒子的乙隻大象絨毛玩具命名的）。而hadoop的靈感則是來自於2004－2023年谷歌研發的檔案系統mapreduce，谷歌未曾公開該系統 的源**，只是就mapreduce發表了幾篇**，但這就足以讓卡汀開發出解決大規模搜尋和索引的軟體平台。
卡汀現在已經離開雅虎創立了著名的大資料公司cloudera，並成為其架構師。和卡汀一樣，現在大資料公 司的創始人和執行官都是來自於雅虎和谷歌，這兩家公司在大資料領域仍然是最活躍的參與者，雅虎的hadoop以及谷歌的big query和dremel就是最好的例子。
現在大資料的業務已經從索引和搜尋發展到了分析階段，通過apache（世界最流行的web伺服器端軟體）來執行，這樣大資料就可以從需要專業人員操作的特殊工作轉換成一般性的操作，並可以用於商業目的。
那麼是不是要放棄現行的商業智慧型系統（bi）和資料庫？答案是否定的。仍然可以把現在的資料庫、策略分析、報告和管理控制台整合進入大資料分析。
事實上，商業智慧型領域和資料倉儲的老牌**商，比如ibm、甲骨文（oracle）、賽仕（sas）和天睿 資訊（teradata）不僅因大資料開始了大量的業務轉變，提供一系列的新產品、新合作方式，也正在招募大資料方面的專家，包括商業分析師、工商管理學 博士、儲存方面的專家和資料科學家。同時，收購分析平台和專業資料庫也是乙個不錯的選擇，就像惠普收購了vertica（該公司的軟體能夠幫助企業分析海 量資料），emc收購了greenplum（該公司為全球大型企業使用者提供新型企業級資料倉儲和企業級資料雲），sap收購了hana（hana是軟硬體 結合體，使用者可以直接對大量實時業務資料進行查詢和分析，而不需要對資料進行建模、聚合）。
大資料的新創公司
事實上，現在很多老牌的商業智慧型、資料分析公司都與cloudera、或者mapt、或者hortonworks有合作。ibm、戴爾和惠普作為系統提供商也同樣有商業智慧型、業務分析類產品，所以可以與分布式系統的提供商形成合作關係為使用者提供單一的大資料整體解決方案。
我們認為，大資料領域的新創公司肯定不會止步於基於分布式系統提供的業務。大資料的新創公司未來會在兩個方 面有新的突破，乙個是資料庫，另外乙個是分析的影象化。在資料庫方面，很多基於開源專案的新型資料庫會為大資料市場提供硬體支援，並提供相關的應用。比如 datastax就提供了乙個商業化版本的非關係性的資料庫。couchbase則提供了另外乙個商業版本的互動式軟體記錄系統。也有一些已經開發的很完 善的資料庫**商，比如versant、objectivity和intersystems，能為大資料提供影象化的分析。也有建立在開源技術基礎上的自 主研發產品，voltdb就利用其記憶體**低廉的優勢，為大資料分析提供卓越的表現。
在分析的影象化方面，我們看到一些新創公司提供端對端的分析方案，利用高精尖的圖形化工具幫助資料分析師和 企業使用者找到重要的新觀點、新視角，類似的公司有tableau software、datameet和pentaho，雖然還在發展初期，但已在大資料分析的影象化方面嶄露頭角。這些公司提供新型別的服務，將大資料分 析的技術整體簡化、提供專業的知識，以幫助公司和行業利用大資料來實現公司的價值。
為什麼需要大資料
為什麼現在要提出「大資料」的概念？如果我是公司的ceo，為什麼要關心「大資料」？
回首過去，我們已經經歷了幾輪技術革命帶來的商業轉型：企業資源計畫（erp）和電腦徹底改變了商業競爭的環境；2023年代，繼網際網路之後，電子商務的興起顛覆了很多行業；email和社交網路改變了傳統的營銷渠道……
大資料預示著一場新的革命，將改變現在很多行業相對平衡的競爭關係。那些能夠挖掘、利用大資料，擁有大資料 視野的公司將會在下一輪競爭中佔據優勢。那些能夠率先揭開大資料謎團的公司，將會依據資料而不是依靠感覺，做出更好的巨集觀決策。正如《基地》的主人公哈 裡·謝頓所說：「『直覺』這個神奇的詞彙，是無知最好的偽裝。」總而言之，「知識就是力量」這句曠古名言將會因大資料的出現而被遺忘。
埃文·奎恩是企業資訊科技戰略集團（enterprise strategy group）分析師。
'); (window.slotbydup = window.slotbydup || ).push(); })();
'); (window.slotbydup = window.slotbydup || ).push(); })();
大資料從科幻變成現實
埃文 奎恩 evan quinn 文 李釗 譯 美國當代著名 家艾薩克 阿西莫夫 isaac asimov 曾憑藉系列科幻 基地 foundation 獲得雨果獎，在書中，主人公哈里 謝頓 hari seldon 是一位數學和統計學天才，開闢了乙個跨領域的學科 把統計學 社會學和心理學結合在一起創立...
人工智慧如何從科幻走向現實中？
人工智慧在幻想中可能是非常激動人心的，超理想的版本體驗，也許人工智慧在電影中，也可能超越了電影的賦權，總之，人工智慧的夢想從未停止過。未來，人工智慧將像現在的計算機一樣，從影象處理速度 多影象對比度速度 光學放大率 解析度等方面不斷提公升。其次是軟體的推廣，關聯式資料庫，商法資料庫。這是未來人工智慧...
如何從大資料中獲得農業資料 從大資料看中國農業
從大資料看中國農業 編輯 董靜儒 期刊名稱 農經 年卷期 2016 000 012 總頁數 文獻 economics thesis 0201256808113.html 中國農業現代化是歷史發展的必然選擇，既是對我國一二三產業平衡發展的補 課，也是不能緩行 更不能輸掉的一場改革，關係著未來幾十年中國...