技術問題 時空大資料0001 基本知識

2022-01-13 05:20:21 字數 923 閱讀 9092

一、b+樹、r樹定義、區別及場景

二、空間資料快取技術設計

1、空間資料快取容量

2、空間資料快取穿透

3、快取資料失效

fifo:first in first out,先進先出。判斷被儲存的時間,離目前最遠的資料優先被淘汰。

lru:least recently used,最近最少使用。判斷最近被使用的時間,目前最遠的資料優先被淘汰。

lfu:least frequently used,最不經常使用。在一段時間內,資料被使用次數最少的,優先被淘汰。

快取穿透、快取雪崩

後端資料庫和檔案系統壓力大

方案:快取空值、限流、分級快取、快取預熱、冷熱資料設定快取過期時間、快取用不過期

底圖:瓦片、靜態資源、cdn、快取

資料:快取、分布式

三、海量遙感影像儲存管理設計

採用檔案實體和索引元資料共同儲存。檔案實體可以採用分布式檔案系統和hdfs等方案,索引元資料為結構化資料儲存,分資料庫儲存和快取。

檔案實體儲存過程中抽取空間資訊、波段資訊、中心點、拍攝日期、處理狀態、資料**、檔案指標、縮圖、10%影像取樣圖。

結構化資料儲存檔案實體採集提取的結構化資訊,為了提高檢索效率,提供快取查詢和資料庫查詢兩種方案。

應用分為遙感影像背景圖、遙感專題分析等場景。

遙感影像背景圖:需要經過遙感專業資料處理,比如:輻射標定、糾正、融合、裁剪、鑲嵌等,然後按照密級要求偏移後做成瓦片地圖發布。

大資料融合技術 問題與挑戰

本文為 大資料融合研究 問題與挑戰 的總結。資料的特點 資料湖 資料整合的物件,即資料與知識的複合體。傳統的關係型資料是先有模式 表 再有資料,而資料湖是先有資料再有模式。大資料融合存在的問題 普遍採用3v 海量 高速 型別多樣 特性下的整合技術。關鍵技術 模式 本體對齊 利用屬性名稱 型別 值的相...

時空大資料與眾包計算學習總結

秦浩桐 2016.12 在應用課堂課程的學習後,我在學習報告選取童詠昕老師的 時空大資料與眾包計算 專題進行總結 毫無疑問,無論是時空大資料還是眾包計算,這兩者的興起都依賴於技術龐大的網際網路使用人數,但這兩種技術在獲取資訊時所側重的物件又有所不同 時空大資料所依賴的,是數目龐大的移動式智慧型裝置提...

大資料技術面臨的三個重要技術問題

大資料技術面臨的三個重要技術問題 大資料一 如何利用資訊科技等手段處理非結構化和半結構化資料 大資料中,結構化資料只佔 15 左右,其餘的 85 都是非結構化的資料,它們大量存在於社交網路 網際網路和電子商務等領域。另一方面,也許有 90 的資料來自開源資料,其餘的被儲存在資料庫中。大資料的不確定性...