1. 從多年前，當自己寫的單機處理程式無法處理大量資料的時候，我們考慮購買商業資料倉儲支援（每tb年單位 2萬-60萬美金每年）或自己搭建hadoop機群。兩個方案都不足以明顯的降低成本。這一切從redshift出現而改變。下面我們用資料來看看redshift的價效比
2. 介紹測試機群和資料集。redshift更適合處理非巢狀的儲存在s3上的資料，作者期待redshift機群花費和效能成正比，並易於維護。測試查詢類似廣告系統的事實表的聚合。
3. copy
過大檔案會導致s3超負載，一般分割為3g-60g檔案較為穩定，gzip壓縮，而更多的小檔案會造成40%的效能損失。
xlarge和8xlarge的傳輸速率基本差8倍，分別是3.2m每秒每節點，23.8m每秒每節點
4. vacuum
16個xlarge節點比2臺8xlarge大集群vacuum速度更快
5. query
16個xlarge節點仍在大資料量是比2臺xlarge
中文拼寫糾錯 拼寫糾錯是如何實現的？
1 拼寫糾錯是基於編輯距離來實現 編輯距離是一種標準的方法，它用來表示經過插入 刪除和替換操作從乙個字串轉換到另外乙個字串的最小操作步數 2 編輯距離的計算過程 比如要計算 batyu 和 beauty 的編輯距離，先建立乙個7 8 的表 batyu 長度為 5，coffee 長度為 6，各加 2 ...
計算機是如何處理中文的（八）
在作業系統之外的軟體，都在此處稱為應用軟體。本文以資料庫為例，說明應用軟體是如何支援中文的。馮諾依曼體系，構造了 外存 記憶體 cpu 的體系結構。所以，資訊處理的乙個環節，就是儲存。資料庫要儲存資料，普通文字編輯器也要儲存資料，這樣，資訊基本上都要 持久化 儲存起來。從外存到記憶體，檔案被開啟，資...
Joyo搜尋框是如何完成中文自動填充的？
今天跑到joyo網去看看我需要的書到貨沒有，順便搜尋了一下其他書籍，我發現有自動填充，原來沒有發現呢。汗顏。案例 如果我輸入de,下面會有 德語 德川家康 等條目出現，伴隨有多個搜尋結果。問題 joyo是怎麼實現的呢？分析 當然我不可能看到其源 和資料庫schema。下面按照我自己的思路來解決這個問...