因為spider的原因,硬碟空間急劇減少,不得不考慮建造自己的檔案庫檔案格式。
其實這想法在數週之前,就誕生了。但因為當時按程序而且硬碟空間還不是問題,所以沒有把這個提到日程。上個周,我開始動手設計這個檔案庫的格式。
整個設計的靈魂是:
如果spider的資料是gzip壓縮過的,則直接儲存到檔案庫;如果沒有壓縮,則壓縮存入。
此外,還需要儲存其它的資料。
週末,本來要到公司拿螺絲刀,但一時興起又完善了一下此檔案格式。並且做了乙個簡單的閱讀器。
下乙個目標就是給他建立索引了。
值得紀念的事情,寫下來。
Oracle 控制檔案格式ctl檔案格式
options skip 1,errors 10 load data characterset zhs16gbk infile into table table name truncate fields terminated by optionally enclosed by trailing nu...
檔案格式 gff格式
gff檔案格式 gff格式是 sanger 研究所定義,是一種簡單的 方便的對於 dna rna以及蛋白質序列的特徵進行描述的一種資料格式,已經成為序列注釋的通用格式,比如基因組的基因 許多軟體都支援輸入或者輸出gff格式。前格式定義的最新版本是版本3。原始定義見 song websitegff是存...
DOS檔案格式 與 UNIX檔案格式 轉換
這裡闡述兩種方法 1.使用vim的方法 在vim下 使用如下命令 set fileformat unix 就可轉換成 unix 檔案格式,也可使用其縮寫形式命令 set ff unix 直接輸入命令 set fileformat 或 set ff 還可查詢當前的命令格式。2.使用linux命令工具 ...