文/吳斌
隨著移動網際網路時代的到來，ugc（使用者產生內容）不斷發展，社交網路（social network）已經不斷普及並深入人心，使用者可以隨時隨地在網路上分享內容，由此產生了海量的使用者資料。面對大資料時代的來臨，複雜多變的社交網路其實有很多實用價值有待挖掘。
意見傳播、動態網路影響力傳播模型分析。這是社交網路分析的典型應用之一，主要分析相關主題圖結構資料中的「意見領袖」、「結構洞」（即跨越不同社群子網路的橋接節點）、「動態網路影響力傳播模型」等問題。
某領域專家發現和排名。基於某個學術主題或學術會議，在相關**的合作者構成的圖資料中，找到最有影響力的專家、分析專家影響力的排名，並圖形化呈現專家與專家之間、專家與研究課題之間，以及研究課題與相關學術會議之間的關係，便於人們直觀地發現某領域內專家的排名順序和相互之間的關係。
社交關係分析。按照社交網路的六度空間理論，每兩個人的關係一般只需要通過6個中間人就可以建立。所以在社交**中，人們之間的關係基本都可以組成網路結構。社交關係分析，最典型的應用案例就是通過使用者的**記錄，或者郵件記錄，分析其中哪些人是家人，哪些人是同事，誰是誰的領導等關係。
相關主題的歷史和趨勢分析。針對某個主題，其描述方式在不同的時間會有很多表達方式，還會有一些相關的子主題。這些不同的表達方式或子主題就是針對某個主題的乙個相關主題演進關係圖。
比如，與deep learning相關的主題有deep architecture、deep belief network、neural network、feature selection、reinforcement learning等，這些主題都與deep learning有著密切的關係，分析這些主題隨著時間的變化，也是一種圖關係的資料分析。
基於地理位置的某領域專家分布分析。基於全球地圖，檢視某個領域全球頂尖專家的分布，進一步看出全球各個地區在該領域研究力量的分布，一流的專家有哪些，分別聚集在哪個地區。
通過以上介紹，我們可以知道基於社交網路的圖資料探勘的實用價值和應用場景。針對社交網路的圖資料探勘，傳統計算機技術面臨很多挑戰。
比如，facebook圖節點和邊的資料已經達到數十億的資料級別，海量圖資料的分析計算和檢索比較困難。而且，基於圖結構的資料構建演算法模型複雜度很高。另外，海量資料處理，勢必帶來並行化處理的要求，而圖資料的關聯性大、分割複雜，導致基於圖資料的分析演算法並行化難度很大。
面對這些挑戰和困難，學術界已經有一些研究和實驗，華為與清華大學合作做了一些技術研究，可以為基於社交網路的圖資料探勘提供一些方法和思路。下面，介紹一下這個領域的核心技術。
社**現：在社交網路中，有相似特徵的成員會自動形成一些社群，比如「高富帥」和「吊絲」，就屬於不同的社群。通過計算自動地發現這些社群，可以幫助我們識別乙個個有相似特徵的群體，也就可以針對這些人群的特徵分門別類地做各種應用。這裡使用的是相關主題的圖節點聚類方法，主要使用fcm演算法，即基於模糊集的均值聚類演算法。
專家排名：學術**中，每篇文章的合作者，可以構成乙個網路，而且這個網路是基於該**主題的專家網路。所以，根據專家基本資訊給出初始分數，針對某個主題的很多**的專家網路關係，通過act模型 （author-conference-topic）就可以迭代地計算出每個節點（專家）的排名。這也被稱為基於傳播的演算法。
社交網路節點影響力的演算法：通過topical affinity propagation（tap）模型，可以基於某個主題在社交網路構建影響力模型。這個模型基於因子圖（factor graph），因此又稱作topical factor graph （tfg）模型。
我們可以使用這些網路影響力演算法模型在社交網路中發現某個主題的「意見領袖」和影響力傳播範圍。另外，通過noise tolerant time-varying factor graph model（ntt-fgm）模型，可以在一定的時間段內，分析出社交網路影響力傳播的動態圖。
對於網路中節點關係的自動標註：在很多情況下，各種不同網路中的資料關係是未知的，或者只有小部分資料有關係標註（label），大部分資料是沒有關係標註的。這就需要一些半自動的演算法進行關係標註，半監督（semi-supervised）演算法partially-labeled pairwise factor graph model（plp-fgm）應運而生。
圖模型演算法的並行化分布式計算：圖資料的挖掘往往需要對海量資料進行資料探勘，而且演算法比較複雜，有效地進行並行化分布式演算法處理是乙個重點。目前大規模圖挖掘演算法的思路是基於map reduce，將矩陣與向量相乘的過程並行化，但卻沒有針對map reduce特點對圖資料進行劃分，因此會產生大量中間結果，需要大量的檔案i/o互動，演算法代價很高。針對這些問題，基於mpi（message-passing inte***ce）的演算法，可以針對map reduce方式的分布式圖模型演算法進行優化。
通過以上分析，我們大致可以了解基於社交網路的圖資料探勘的應用和核心技術。華為自身也在很多領域應用了圖資料探勘，比如產品和業務的個性化推薦、在各技術領域的專家發現、技術專利與業界的對比分析、產品中的使用者刻畫和使用者關係分析、基於社交網路的產品意見調查分析等等。
在企業界，如果企業能夠掌握有價值的使用者資料，如使用者的時空位置資料、使用者的消費資料等，就可以進行資料匿名化處理，然後對第三方提供資料訪問介面，通過資料訪問的服務費直接獲取利益。另外，伴隨著物聯網的發展，一些大型企業通過海量感測器的資料收集、處理、分析，進行精確的生產控制、及時的自動化決策，來降低生產和維護成本（主要是人力成本），並提公升運營效率。
「數字營銷」也是一種大資料分析的主要應用方式，主要是通過網際網路等各種渠道，幫助企業分析使用者資料，獲取使用者對產品的意見，分析使用者的需求，為產品和服務質量提公升等做量化的資料分析，從而精準高效地提公升營銷水平，為企業創造更多效益。
另外，對各種**廣告投放後的使用者意見收集分析、銷售變化分析，可以為對產品廣告投放收益roi（投資回報率）分析提供有力的資料支撐，讓企業在合適的**上投放正確的廣告，也可以直接為產品銷售帶來收益。業界知名的市場調查和諮詢公司，都已經在數字營銷方面大力投入、重點發展，並且在social listening（社交**的使用者意見監聽）、roi（各種網際網路**廣告投放效益的量化分析）等領域，有不少應用產品和成功案例。
而且，數字營銷這種大資料應用，適合於大中小各類企業，企業的投入規模小、流程改造小，可以通過在營銷部門的區域性投入，產生直接的效益，見效快、可度量性比較好。並且，數字營銷可以以區域性牽動整體，從產品營銷的數位化分析延伸到產品的設計生產、**鏈等領域，實現數位化精確控制，促使企業逐步向數位化、智慧型化發展。
隨著移動網際網路使用者的不斷增長，基於傳統社交網路加上移動社交網路來做品牌營銷、市場推廣、產品口碑分析、使用者意見收集分析等「數字營銷」應用，將會是未來大資料應用的熱點和趨勢。而且，網際網路還有乙個很大的優勢，就是獲取資料很方便，只要使用爬蟲技術，就可以很快獲取網際網路上海量的使用者資料，再結合文字挖掘技術，就能夠自動分析使用者的意見和消費傾向。同時，因為這些資料都是已公開資料，這就規避了大資料分析的乙個非常大的障礙——使用者隱私問題，為大資料分析的商用化落地鋪平了道路。
華為在社交網路的大資料探勘方面已有很多研究和應用案例，華為與金融領域的大企業進行專案合作，幫助其通過客戶的社交關係網路進行資料探勘，發現相似型別的潛在客戶社群，進行不同類別的金融產品**；並且通過重點客戶的**鏈、銷售等上下游關係，金融轉賬和交易資料，客戶與同行及競爭對手之間的關係等，進行客戶資產的分析排名，**其潛在經營實力，幫助金融企業挖掘潛在的大客戶。
另外，華為能夠通過對社交網路資料進行爬取和分析，圖形化地幫助企業展示其在社交網路中的使用者口碑和使用者對各種產品的意見，及時動態地顯示某個重點事件在網路中傳播路徑和範圍，幫助企業監聽熱點事件，及時響應網路上的使用者意見，及時準確地改善服務質量，提公升企業的品牌形象。
此外，華為還為業界一些網路營銷公司提供訊息推送伺服器、資料探勘平台等產品，幫助企業進行高效的數字營銷應用和服務。
我們相信，在「大資料」的浪潮中，基於社交網路的大資料數字營銷應用，將會為企業帶來更多的收益，推動大資料分析在各行各業中的應用和推廣，為企業和社會帶來「大價值」。
基於大資料的工業感知和網路控制技術綜述
1工業感知和網路控制 隨著物聯網技術的發展，工業感知技術也不斷進行進步，物聯網包含感知層 網路層 應用層，所謂工業感知和網路控制，就是在工業生產過程中通過各種感測器對各個工業環節進行監測，獲取資料，再通過區域網路將資料傳輸到應用端進行處理分析，最後對生產環節的優劣進行判斷，最後做出決策，將動作施加在...
加公尺谷大資料報告 社交網路大資料的應用有多大的價值
移動網際網路時代，ugc 使用者產生內容 不斷發展，社交網路 social network 已經不斷普及並深入人心，使用者可以隨時隨地在網路上分享內容，由此產生了海量的使用者資料。面對大資料時代的來臨，複雜多變的社交網路其實有很多實用價值。加公尺谷大資料帶你走進這些資料的迷宮 1 社交網路平台的多樣...
基於大資料技術的綜合資料分析平台
對於企業來說，利用大資料技術建立綜合資料分析平台有利於企業內的管理人員更好地掌握企業的實際情況，有效控制企業的經營成本，提高企業的經濟效益，同時全面提高企業的管理水平，對企業的發展有非常積極的促進作用。所以，現階段必須要合理利用大資料技術，結合企業的經營模式和發展情況，建立綜合資料分析平台，進而為企...