訪sap張志琦的過程中涉及到以下內容：
資料的「失控」
前言
時間快轉，又到了歲末年初盤點之時。
2023年，不僅是末日之年，也是變革之年。
深刻的變化正在發生，而這將徹底改變人的生活、工作方式，還有企業經營的方式。如果說20世紀，石油直接影響著世累經濟的發展速度和發展水平，那麼，21世紀，資訊將發揮著同樣的作用。《經濟學人》曾發表觀點表示，資料和資訊日益成為商業的新能源，是「一種與資本、勞動力並列的新經濟元素」。
每個時代危機的產生和時代的交替都伴隨著一些企業的消亡，誕生出企業的新貴，當然也不乏挺過嚴冬的倖存者。
時代的新舊更替即將到來。
資料的「失控」
2023年，大資料「風華正茂」，成為超越雲計算的另乙個熱點話題。
首先讓我們先來看幾組數字：
2023年，每兩天的資料量就達到2zb，這相當於從人類文明起到2023年的所有資料量。除了人類所產生資料外，機器產生的資料也在逐年遞增;
一定規模的公司有關消費者使用者的資料已達到200t，在社交網路流行的背景下，社會化**產生的資料如洪水般氾濫;
到2023年，全球資料量將會擴大50倍。儲存1pb的資料將需要兩萬台配備50gb儲存硬碟的pc。
……如何儲存這些資料？如何處理？如何分析利用？如果說以上這些，還不足以說明資料量達到開始「失控」的地步，那麼另據統計，這些資料只有20%是結構化的資料，而80%以上是非結構化資料，結構化的資料可用已有的關係型資料庫處理，非結構化的資料就需要依賴於新的技術。我們經常在**上看到的大資料是指大量的非結構化資料。對於企業來說，如果管理得當，就能從大資料中挖掘出有效的資訊，大部分企業還沒有使用正確的工具和流程來管理這些非結構化資料。如果繼續下去，這樣的企業會遠遠落於人後，因為他們無法獲取洞察力，不能幫助企業做出明智的決定。
歡迎來到大資料統治的時代。
這個時代，我們看到矽谷的新寵：谷歌、facebook，它們是駕馭web資料的大師，他們獲得了成功。
2大資料時代技術一覽
大資料時代技術一覽
大資料催生的新技術已醞釀多年，而在2023年開始逐漸走向熱門，走出了「實驗室」階段，逐步開始商業應用：更快速、更低價、新式的硬體裝置步入人們的視野;記憶體內資料的處理、軟體工具快速進化;人工智慧、bi等領域的軟體發展也達到了乙個嶄新的階段。
而大資料的生態系統，其實就是資料的生存週期。資料從產生、處理，到價值的提取，最後被消費掉，這整個過程構成了大資料的生態系統。在這個生態系統中，迎合大資料處理的發展趨勢，市場上湧現出了眾多新鮮的技術，下面將簡單列舉一些典型的技術：
在快取方面，memcached是乙個高效能的分布式記憶體物件快取系統，可以用於在動態系統中減少資料庫負載，提公升效能。
在分布式檔案處理方面，目前最為流行的技術是hadoop，它的優勢是開源的軟體體系、較低的硬體成本、較強的靈活性等，同時能支援海量資料儲存和計算任務。
在資料倉儲方面，通過基於hadoop的資料倉儲平台hive，開發人員可以方便地進行etl開發。
在分布式儲存方面， hbase是乙個高可靠性、高效能、面向列的分布式儲存系統，利用hbase技術可在pc伺服器上搭建大規模結構化的儲存集群。
在資料儲存方面的另一大熱點nosql，當前不但誕生了很多nosql的資料庫產品，還圍繞著nosql產生了很多新技術、新模式。
此外還有資料檢索的代表topsy，資料視覺化平台代表roambi等， 本文就不再一一枚舉。下文將僅對資料分析方面的創新技術做闡述。
3記憶體計算改變「遊戲規則」？
記憶體計算改變「遊戲規則」？
企業競爭環境中，能夠提供實時的資訊反饋很重要，這對傳統的資料探勘技術提出了新的挑戰。
過去做資料探勘，受資料探勘工具效能方面的限制，一般先對資料做預處理，之後才能做資料展示。如果預處理的資料是按照銷售的產品種類去彙總，未來顯示的資訊也就只能按照這種方式展示。如要選擇按照其他彙總，則要重新花時間做預處理。換而言之，資料探勘需要很多時間去做資料準備，把預處理的結果儲存起來，用空間換時間，才能有更多的展示。
傳統的資料探勘先期準備時間過長，無法迅速處理當下瞬息萬變的資料，難以應對為解決決策者對資訊進行「實時」分析的強需求。這就需要一種新的方法和工具，要求從 「實時」的資料中提取有用的資訊。
於是在兩年前，乙個名為「記憶體計算」的名詞突然出現在我們的視野中。
記憶體計算相比傳統的方法的優勢是：充分發揮多核的能力，可以對資料並行的處理，並且記憶體讀取的速度成倍數加快，資料按優化的列儲存方式存放在記憶體裡面。結論是，記憶體計算可對大規模海量的資料做實時分析和運算，不需要事先的資料預處理和資料建模。例如，想要以任何維度去分析資料，實時建立模型，實時完成分析處理，上億條資料可能從幾天縮短為幾秒鐘就處理完。
歷史只有乙個，而未來可以有無限多的可能。所以記憶體計算更大的價值體現在如何在既有資料的基礎上做未來分析**上。例如，根據現在社交網路上的資料，再加上一些假設條件，去做乙個**。記憶體計算能根據社交網路提供的海量資料，即時看到當前的客戶行為模式，進而做出模擬**。再比如在市場活動中，使用者人群的特點，消費傾向等資料一定，如何增加滿意度？滿意度的增加會帶來多少收益？這樣的**性問題，都是記憶體計算分析擅長的內容。可以說，記憶體計算是決策者的乙個有力工具。
一些it解決方案提供商也早已看到了記憶體計算市場的強大商機。sap副總裁、中國區生態系統和渠道總經理潘應麟在接受天極網採訪時曾表示，「sap的記憶體計算產品是可以改變遊戲規則的重要**」。早在2023年，emc在企業儲存系統中率先採用了基於快閃儲存器的固態硬碟，emc將促進快閃儲存器技術應用的戰略，提高儲存系統和應用的效能，emc還發布了emc hadoop版本，進行實時、非結構化的資料處理。。而sap的記憶體計算產品hana也從2023年就已傳出風聲，2023年sap宣布記憶體計算產品sap hana軟體，開始提供給全球客戶使用，sap正式加入了記憶體計算的戰場。不久後，作為sap老對手的甲骨文發布了名為exalytics的記憶體資料庫裝置，一向「人有我優」的甲骨文，也在宣示著對於記憶體計算領域的不甘人後。
4hana的領地
hana的領地
筆者在下面的論述不會圍繞「後來者」exalytics，而是圍繞率先步入市場的hana進行一些粗淺的分析。
sap hana 裝置使企業在開展自己業務的同時，通過海量資料實時分析業務運營情況。記憶體實時採集資料用於即時分析，從而消除了從業務應用程式獲取資料到報表分析資料之間的滯後時間。
它提供了從資料庫直接了解到業務運營情況的乙個通道。這一記憶體裝置還將 sap 軟體與其戰略合作夥伴的硬體結合了起來。
簡單來說，hana 是一款列式的記憶體資料庫。這意味著你既可在 hana 中執行需在行式資料庫中執行的常規事務，又可以運行列式資料庫所擅長的分析功能。這個「又」字非常關鍵。一直以來，它只是「或」。當你輸入資料時，你需要一款資料庫。而當你執行分析(輸出資料)時，就需要另一款對資料進行預處理的資料庫。
但是，您不可二者兼得。
有了hana之後，兩者就不衝突了。它作為一款記憶體資料庫，執行速度有很大提公升。另乙個原因是，它可以分析輸入和輸出資料的意圖。而且在何種情況下，不會以犧牲效能作為代價。不用在功能和效能之間做艱難的選擇。下面一組數字說明hana優勢：
每秒執行77萬條記錄，批量插入1gb的資料，每小時達到2.5tb資料的服務，每小時2.5tb插入到sap hana上。
「sap hana不僅僅是一種革命性的產品，它是我們真正創新的未來發展平台。」 sap執行董事會成員史維學博士在接受採訪時表示。據了解，sap hana目前已經有400多名客戶，是營收增長最快的產品，接近3億多歐元的收入。
天極網記者採訪sap中國解決方案和架構部總經理張志琦
為了幫助理解hana的設計理念和獨特之處，筆者舉乙個例子。如果過去裝修乙個房子，需要到現場去測量，然後回去準備所需的材料打造成家具。hana的理念是無需再移動資料。也就是說，可以就地取材，就在資料所在位置開始測量、開始建造。這樣的優勢是更靈活、反應更快。
說到這裡，在文章第三部分說它為什麼是改變「遊戲規則」的技術就不難理解了。
結語
除了以上論述的記憶體計算的快速、靈活等優勢，記憶體資料庫沒有磁碟管理的開支，可以預見，記憶體作為磁碟的替代品變得越來越具吸引力。
2023年，我們看到了一些讓人眼前一亮的使用資料視覺化、資料探勘、地理資訊分析、移動分析、**分析等案例，記憶體技術讓企業實現最強競爭力、煥發新活力的案例也初露端倪。
創新、減少it的妥協、合適的人在合適的時間得到想要的資訊，基於資訊分析出結果，這一切成為了可能。
附加資訊：
大資料和雲計算技術週報（第184期
大資料 三個字其實是個marketing語言，從技術角度看，包含範圍很廣，計算 儲存 網路都涉及，知識點廣 學習難度高。kafka olap mongodb yarn。全是乾貨，希望大家喜歡！專題mongodb配置 本文講述了mongodb的dbpath配置選項預設值，採用系統軟體包管理器安裝時的不...
大資料雲計算技術如何讓我快速撩妹 上
對於網際網路運維小哥來說，最遠的距離不是她在你面前卻不知道你愛她，而是她約你的時間到了，你卻還在資料中心做運維。1.廣泛涉獵戀愛技能，進行自學 遇到乙個故障，不會處理怎麼辦呢？學啊！我們網際網路運維工程師擁有超強的自學能力。星座，塔羅牌，看手相，大姨媽陪護，這些能引起女生共鳴話題的知識不要以為沒有用...
認知公升級 如何正確看待大資料與雲計算技術？
戰國 風賦 夫風生於地，起於青蘋之末，侵淫溪谷，盛怒於土囊之口，dt時代，未來已來 資料 大 首先要明白大家為何從前幾年開始談大資料了？這是乙個基本問題，包含著對當下資料現實的基本認識。乙個不可忽視的事實是，隨著網路和資訊科技的不斷普及，人類產生的資料量正在呈指數級增長。大約每兩年翻一番，這意味著人...