總結下最近做的內容,如何對格點資料,進行地理分析(溫度分布、災害分布等等),生成柵格影象。
資料:sufer匯出的格點溫度資料等、災害規則。
通過讀取格點資料,應用災害知識規則,從而生成一副災害柵格影象,比之插值要精確的多了。難點,格點資料量大、災害分析資料的連續性(往往要分析數天的記錄值)造成資料量更客觀,傳統的只是對若干站點進行分析,資料量簡直就是小巫見大巫。
思路:1、不使用資料庫。原因:每天的格網資料就在幾十萬級的(此處要看區域面積大小和解析度,解析度一般為0.00833...,試圖改變解析度減小資料量,只能說是一種手段,肯定會造成結果誤差太大。),如果要求連續記錄,資料庫入庫本身就需要n多時間;往往對某一要素連續觀察數天,比如,我們需要最近3天的資料,當第四天資料到來時,我們要拋棄之前的一天的資料,來保持總是當前時間的若干天,資料庫一張表貌似是無法做到的,可以使用多張表,就算可以也需要精巧的設計,我不是dba,不懂資料庫管理那麼麻煩,也不想那麼繁瑣的操作,資料庫貌似也沒有什麼時間緯度的概念;這些格點資料沒有歷史存檔的必要,不需要查詢;
2、使用者上傳資料這些格點資料,當然,命名是有規則的,2011-09-08,最新資料存放在臨時目錄下,監控程式實時讀取臨時目錄,根據當前時間,自動生成連續的若干天的資料檔案名字。根據檔案名字,到歷史存檔目錄下找到相應的檔案資料,讀出資料,進行分析就可以了。完畢,把臨時目錄下的資料存入歷史目錄下。好處,省去了入庫的時間,資料也可以儲存,關鍵之處就是資料檔案的命名方式:按照時間命名。安全性:由於是文字,可以加密文字,或是加密資料夾。如果需要可以建立索引,演算法上要有研究了。
3、參照arcgis能夠識別的anscii文字格式,建立將要生成的柵格資料的文字模型。
5、b/s 下使用arcgisgp服務,即生成自定義的柵格影象了。
總結:web頁面,上傳檔案介面;server:監控處理程式,生成文字;web,呼叫gp服務,生成結果,災害分布圖。監控程式只是主機程式,並且是根據上傳的檔案實時處理,為使用者檢視結果做資料準備,所以,使用者的響應時間,都集中在gp服務上,測試,該gp服務要遠遠小於呼叫idw插值服務的時間,因為idw插值,要對插值結果進行剪下、平滑等多種後續操作,所以時間耗費多。而 自己製作的柵格文字檔案,已經表達了本區域的內容,不會用多餘區域,所以不需要extract操作,
基於python資料分析
資料質量分析是資料探勘中資料準備過程的重要 環,是資料預處理的前提,也是資料探勘分析結論有效性和準確性的基礎,沒有可信的資料,資料探勘構建的模型將是空中樓閣。資料質量分析的主要任務是檢查原始資料中是否存在髒資料,髒資料一般是指不符合要求,以及不能直接進行相應分析的資料。在常見的資料探勘工作中,髒資料...
空間點資料分析與ArcGIS
自然界中任何乙個帶有位置資訊的個體都能被抽象為乙個空間點資料,點 的模式在自然與社會經濟中都是普遍存在的,對點資料的分析,主要分為兩大類 1 點資料本身模式的識別和探索。2 通過點模式的顯示的資訊,進行進一步的 和知識總結。目前在點資料模式的探索上,主要有以下五種 1 點的疏密,包括點資料的分布探索...
Spyder基於Python的資料分析
基於python的資料分析 1.為什麼要進行資料分析 簡答 人工智慧,大資料等資料的採集需要資料 資料通過python分析而來 進行資料的清洗操作 建立資料模型model 生成乙個目標資料 未來 得到結果 2.企業資料存在的形式 1 存在 檔案 例如 excel word csv txt 2 資料庫...