據 idc **，2018 年到 2025 年之間，全球產生的資料量將會從 33 zb 增長到 175 zb， 復合增長率達到 27%，其中超過 80% 的資料都會是處理難度較大的非結構化資料。預計到 2023年全球資料總量將達到 3,5000eb。
由於非結構化資料的資訊量和資訊的重要程度很難被界定，如何對其進行有效的管理，是乙個棘手的問題。
和結構化資料相比，非結構化的資料最本質的區別包括三個方面：
1. 非結構化資料的容量比結構化資料更大；
2. 產生的速度比結構化資料更快；
3. 資料**更具有多樣性。
從形態上，非結構化資料主要包含三大塊：
1. 文字文字；
2. 影象、等；
非結構化資料帶來的挑戰
一、擴容難、成本高
隨著資料的高速增長，傳統儲存 scale-up 的擴充套件方式，會造成「小馬拉大車」的困境，效能與容量無法靈活擴充套件。同時，傳統儲存的擴容成本較高，隨著大量的非結構化資料占用儲存空間，擴容的需求將造成投資成本不斷攀公升。
二、資料體量大、獲取和流轉困難
對於已經保留下來的非結構化資料，真要去使用和處理它，依然是一項不討好的「體力活兒」。由於體量、距離和網速的原因，非結構化資料並不容易獲得，更不要說被靈活地放入業務分析和處理流程之中了。
三、缺乏處理分析的技術手段
非結構化資料的價值密度相對較低，缺乏有效的技術對非結構化資料進行處理和分析，面對海量檔案資料束手無策。
如何更好地去掌控非結構化資料
傳統的資料分析方法和工具難以從非結構化資料中獲取到資訊。資料科學家可以結合nosql資料庫對非結構化資料進行人工解析。但是這樣無疑為資料科學家增加了大量的工作。當前無論是aws、azure還是阿里雲，對於非結構化處理主要提供基礎設施，並沒有針對資料本身提供解決方案，不同的行業資料應該如何組織、如何訓練、如何形成行業知識庫。而市場上很多資料公司，則專注於某個領域的資料，如公安、電商、諮詢等行業，提供行業性的解決方案，並且取得了可觀的成果。
結構化資料，非結構化資料，半結構化資料的區別
1.結構化資料 先有結構，再有資料 是指由二維表結構來邏輯表達和實現的資料，嚴格地遵循資料格式與長度規範，主要通過關係型資料庫進行儲存和管理。也稱作行資料，一般特點是 資料以行為單位，一行資料表示乙個實體的資訊，每一行資料的屬性是相同的。2.非結構化資料 先有資料，再有結構 半結構化資料，是結構化資...
結構化資料 半結構化資料和非結構化資料
本文 在實際應用中，我們會遇到各式各樣的資料庫如nosql非關聯式資料庫 memcached，redis，mangodb rdbms關聯式資料庫 oracle，mysql等 還有一些其它的資料庫如hbase，在這些資料庫中，又會出現結構化資料，非結構化資料，半結構化資料，下面列出各種資料型別 結構化...
結構化資料 半結構化資料和非結構化資料
結構化資料 半結構化資料和非結構化資料 結構化的資料是指可以使用關係型資料庫表示和儲存，表現為二維形式的資料。一般特點是 資料以行為單位，一行資料表示乙個實體的資訊，每一行資料的屬性是相同的。舉乙個例子 id name age gender 1 lyh 12 male 2 liangyh 13 fe...