大資料技術落地需要注意哪些問題

2021-10-24 12:37:48 字數 1319 閱讀 5028

隨著大資料技術體系的逐步成熟,大資料技術也處於落地應用的初期階段,但由於大資料技術所涉及的資料本身具有一定的敏感性,因此大資料產業鏈上的許多企業都處於業務發展的探索階段,有些業務也處於所謂的"灰色地帶",在一定程度上也制約了大資料產業的發展。

如何規範大資料行業,以及如何讓大資料能夠更加合理、順利地落地到產業領域,並為產業領域的發展賦能,將是乙個必須面對和解決的問題。

1)it向dt(data technology,dt)技術泛型的轉變,使得傳統硬體和軟體技術架構面臨挑戰,大規模平行計算、量子計算機、深度神經網路晶元、分布式儲存系統、gpu大規模計算等都是對傳統it技術架構的顛覆。現階段各種大資料分析相關的開源技術和系統百花齊放,大資料技術生態體系龐雜,技術門檻較高也間接說明了這一點。研究、研發人員要跟上這一波技術變革還需要時間去消化和積累,特別是學術界和工業界的結合,對大資料應用來講至關重要,深度學習領域的突破就是例證。如何在掌握有限技術的條件下(或受制於核心技術人才的情況下),能快速進行大資料應用研究和落地應用,需要從技術選型角度進行深入**、分析和評估。

2)傳統商業智慧型(business intelligence,bi)應用的失敗教訓太多,專案週期漫長,考驗客戶耐性,應用投入成本高,終成果多是昂貴的豪華報表,沒有達到預期效果。另外,傳統資料倉儲和資料集市架構下,面對海量資料的儲存能力、擴充套件能力、併發能力弱等問題無法從根本解決。大資料分析如何從bi專案中總結失敗教訓和獲得經驗,大資料應用與傳統bi系統是融合還是代替?企業大資料技術架構如何與發源於網際網路巨頭的主流大資料技術框架有機統一?也還有很多問題需要深入總結,解決不好就會事倍功半。

4)除了前述**的大資料應用面臨的挑戰之外,從大資料架構本身的技術角度分析還需要解決如下幾個關鍵問題:高可擴充套件性,能支援大規模資料增長和大量業務分析的快速擴充套件等;高容錯性和穩定性,能支援大資料分析的失敗情況和進行自動恢復等;高效能和並行支援,能在海量資料條件下快速完成多種計算模型和分析處理;多源異構環境支援,能處理多模態資料和多種分析任務;開放性和共享支援,能提供標準的資料和開發介面,支援資料和系統整合;效率和成本的控制,能在有限的時間、人力和財力條件下提高系統效能等,這對大資料系統架構的設計提出了較高要求。

5)大資料管理思維和開發、應用實施的脫節,大資料強化了定量科學和客觀方法的地位,但事實上,現階段很多企業領導,包括技術人員對大資料的處理和使用仍然是主觀性的,而且面對機器學習的黑箱,對模型的缺陷和適用範疇很難有深入把握,這樣的話通過大資料探勘分析量化的結果也未必更符合客觀事實,大資料不等於好資料,如何切實輔助決策才是關鍵。

如果在使用資料技術的過程中沒有邊界限制,可能會對大資料的使用者形成"認知障礙",這對使用者來說也是乙個潛在的風險,因此,在大資料的登陸應用過程中,應該允許大資料使用者更多地了解大資料技術的細節,大資料的參與者應該共同促進大資料的合理發展。

程序切換需要注意哪些問題

1 程序切換需要注意哪些問題?儲存處理器pc暫存器的值到被中止程序的私有堆疊 儲存處理器psw暫存器的值到被中止程序的私有堆疊 儲存處理器sp暫存器的值到被中止程序的程序控制塊 儲存處理器其他暫存器的值到被中止程序的私有堆疊 自待執行程序的程序控制塊取sp值並存入處理器的暫存器sp 自待執行程序的私...

報考NPDP,需要注意哪些問題?

產品經理國際資格認證,new product development professional npdp 由美國產品開發與管理協會 pdma 所發起,是國際公認的唯一的新產品開發專業認證,集理論 方法與實踐為一體的全方位知識體系,為公司組織層級進行規劃 決策 執行提供良好的方法體系支撐。國內自201...

選擇數控刀具需要注意哪些問題?

選擇數控刀具需要注意哪些問題?無論選擇什麼刀具首先要了解的是 被加工件的材質是什麼?用什麼工具機加工?精加工還是粗加工?有無圖紙要求?一 車刀 所有車刀都需要先了解 刀方多少?壓緊方式?安裝什麼刀片?1 外圓車刀 要求刀具的主偏角為多少度?有沒有圖紙要求?加工的材料是什麼?有沒有硬度要求?2 內孔車...