本文講的是移動計算風起雲湧：大資料處理大行其道,即使對於那些已經習慣於不斷變化的cio們來說，2023年都是令人眼花繚亂的一年。在這一年中，移動計算風起雲湧，大資料處理大行其道，社交**和網路爆發出催生社會變革的駭人力量。而且，byod(bring your own device)和voc(voice of the customer)的趨勢也證明了使用者體驗正在重塑it的角色定位。
這些技術同樣改變了傳統的語境。隨著it組織和業務團隊都認識到相互之間密不可分的依賴性，「it和業務的適配」最終讓位於「it和業務的整合」或者「商業技術」。
在2023年，先前關於雲計算的各種宣傳和鼓吹逐漸成為令cio們痛苦的事實，後者不得不絞盡腦汁在雲計算和企業安全之間達成平衡。it組織對於雲的使用不再僅僅侷限於電子郵件之類的服務，而是開始著眼於資料中心和it服務交付戰略等更加巨集大的領域。由於熟悉it技術的新生代員工越來越多，cio們被迫放棄it的傳統角色 – 企業技術的唯一供給者和評判人。新的一年尚未到來，但是大資料處理已經成為很多cio的首要工作，長久以來關於資料管理的觀點和經驗被完全顛覆，關係型資料庫對於分析的價值也有待重新評估。
如果要選定乙個2023年的cio年度詞彙的話，應該是「重生」。面對著雲計算和終端技術的興起、面對著使用者更願意使用自有裝置和應用的挑戰、面對著急速變化的業務需求，絕大部分cio選擇了迎難而上。經過思考之後，這些cio們最終認識到(有時是突然頓悟)：it組織必須進行重塑，否則將被時代所拋棄。
支援移動it和裝置自給
在談及2023年移動計算時，企業分配或員工自有的智慧型手機對大部分cio來說並非關注焦點，他們都把注意力投向了具有革命性的那種裝置：ipad。在錯過了上一撥的iphone熱潮之後，cio們似乎已下定決心緊緊抓住這個移動it的最新契機。使用者、管理層和cio自己都不會再收到來自it的否定回答。
randy nunez是福特汽車的移動計算和企業技術研究部的高階網路工程師，在一次關於福特byod決策的訪談中，他向searchcio.com談到：「it應該放棄以前那種發號施令的姿態，轉而去主動地進行調整和適應。」
當日曆翻到2023年時，roy已經開始對公司員工的計算裝置和使用模式進行深入地分析。他的目標是找出最適合的移動裝置以及其使用場合。在2023年的一次有關移動裝置戰略的播客中，roy表示：「你必須對價值和收益足夠敏感」。他的團隊對員工進行了調查並記錄下工作中所使用的裝置。最終，所有使用者被歸納到18個類別中，相應的分析結果構成了移動策略(其中一項就是把公司內一半的筆記本替換為ipad)的基石。
對於移動裝置戰略的需求應該自下而上形成，但是roy發現高屋建瓴也是必要的。roy所面對的一大挑戰就是it組織已經習慣於發號施令和標準化帶來的便利。而在當前這個快速變化的時代，標準化的戰略並不適用。「我們需要研究更加具有彈性的交付模式。」roy表示。長期以來it都是以技術領導者的面目示人，現在該是拋棄這種角色定位的時候了。
私有雲、混雜雲和公有雲的評估
對於道富銀行(state street corp.)的cio christopher perretta來說，雲計算就是培育這種彈性模式的土壤。和很多公司一樣，該銀行的軟硬體使用量的增長快過了成本方面的減速(由於技術進步所導致)，而雲計算可以在擴容和公升級的同時避免成本的相應攀公升。但是，為了避免彈性的提公升以資料安全風險為代價，perretta決定以私有雲作為首選方案，以此在保有資料控制權的前提下使it能夠快速的適應並成長。和cuma mutual的roy在移動戰略上的舉措一樣，perretta力圖做到萬無一失。他首先進行了小規模的模擬，然後才開始較大規模的實驗 – 兩個資料中心、500臺伺服器以及120測試用例。
在關於私有雲實踐的訪談中，perretta這樣解釋到：「在實驗室裡是一回事，而不間斷的日常執行則完全是另外一回事。雖然任何變化都會導致一定程度的痛苦，但是相對於現有環境的侷限帶來的痛苦還是要輕得多。」
**分析方面的自我質疑
和atifeh riazi一樣，在2023年有很多cio發現自己的企業經受著變革的考驗。riazi是紐約房屋局(new york city housing authority，nycha。北美最大的房屋管理機構，擁有約13000名雇員)的cio，在推進「urban legends and sacred cows」公共援助計畫時，她運用了商業智慧型(bi)和分析**技術。無論是關於優化運作成本的方法，還是促進nycha居民生活質量的舉措，所有工作都經過bi系統的分析評估。這些工具隨後也用到了更大規模的內部和公共資料分析上。
riazi所用到的bi工具包括sap ag的businessobjects、ibm的cognos和websphere、visokio ltd.的omniscope(riazi用來在自己桌面機上進行大資料分析)。但是，具體工具並不是核心所在，開放的心態才是轉型的關鍵。「我們必須跳出自己所習慣的圈子，it不再只是和軟硬體的部署有關。」
riazi用nassim nicholas taleb在其著作《the black swan: the impact of the highly improbable》中的一句話來描述cio們曾經的狀態：「不敲破雞蛋就開始煎蛋捲。」cio們部署了erp、crm以及其他軟硬體系統，但是對於流程、政策和企業文化卻毫不觸及。「你擁有了一定程度的自動化，然而卻原地踏步。」riazi表示。it的真正目標不是部署系統，而是推動業務轉型。「每隔幾年，你都應該推翻原來的工作，折返到起點然後捫心自問『我現在所做的事情是否有意義?如果有必要，是否應該實現流水化?是否要單獨控制抑或置身事外?』對這些問題你必須要有相應的答案。如果僅是專注在技術領域，那麼你對於業務並沒有產生實質性的推動，這就相當於煎蛋卻不把雞蛋打破。」
cuna mutual的roy對此深有同感：「在工作方面，我們很容易安於現狀不思進取。但是現實情況卻是創新和變革已經成為時代的主線，而且勢頭越來越猛。因此，我認為即使時機尚未成熟，主動地嘗試創新也是非常必要的 -- 這樣能夠鞏固我們思想領袖的地位。」
大資料處理
大資料處理的流程主要包括以下四個環節 採集 匯入 預處理 統計 分析 挖掘，下面針對這四環節進行簡單闡述。大資料處理之一 採集 在大資料的採集過程中，其主要特點和挑戰是併發數高，因為同時有可能會有成千上萬的使用者來進行訪問和操作，比如火車票售票 和 它們併發的訪問量在峰值時達到上百萬，所以需要在採集...
大資料處理隨筆
1.mssql當資料庫資料超過1000萬的時候超時是正常的，所以當表資料到1000萬時候注意delete 2.今天遇到資料庫時間格式2014021000 當然是int型別哦 3.聯合索引使用 開始時間與結束時間這樣一起查詢的要建成索引 4.訂閱資料庫，只可以查詢操作，這樣的話可以在這個表上面建立索引...
大資料處理方案
假設目前有一千萬個記錄 這些查詢串的重複度比較高，雖然總數是1千萬，但如果除去重複後，不超過3百萬個。乙個查詢串的重複度越高，說明查詢它的使用者越多，也就是越熱門。請你統計最熱門的10個查詢串，要求使用的記憶體不能超過1g。2 32為40億多，所以給定乙個數可能在，也可能不在其中 這裡我們把40億個...