環境如下:
python-2.5.2
工作中經常遇到類似csv格式的檔案檔案,
為了處理起來方便,一般要匯入到資料庫中
mysql匯入工具**:
使用方法如下:
csvloader -h
csvloader -f bsc.csv bts.csv
csvloader -d dir1 dir2
csvloader -f bsc.csv bts.csv -s ,
csvloader -d dir1 dir2 -s ,
csvloader -s , -f bsc.csv bts.csv
csvloader -s , -d dir1 dir2
options include:
-h [help] - 列印幫助
-s [separtor] - 使用的分割符,預設 tab
-f [filename] - 檔名,可以指定多個
-d [dirname] - 資料夾,可以指定多個
注意:檔案必須是 utf-8 編碼
順便寫了個bat檔案:
csvloader.bat
@echo off
python csvloader.py %*
(winxp sp2,mysql 5.0下使用通過,mysql資料庫使用utf8編碼,csv檔案使用utf8編碼)
測試文字:a_object.txt
oid,city,type,pid
7,邢台市,103,7
8,廊坊市,103,8
1,滄州市,103,1
3,高邑縣,104,4
4,河間市,104,1
2,趙縣,104,4
oracle匯入工具:
(winxp sp2,oracle 11下使用通過,oracle資料庫使用gbk編碼,csv檔案使用gbk編碼)
注意一下,小工具拿到檔案後,
會以檔名作為表名,開始造表(create),
字段全部為字串,各個字段長度會根據
第一批讀入的資料進行計算(第一批讀1m,可以調,防大檔案用的),
還要注意一下
mysql版本與oracle版本有點區別,
mysql版本有自動刪除表功能,先試著刪除一遍,才會建表,匯入資料;
oracle版本沒有加刪除表功能,只有建表匯入資料過程。
(mysql一般只在自己本本上使用,所以匯入,改改檔案再匯入方便,無需去手動刪除表,
oracle一般會在伺服器上導資料用,怕刪掉不該刪除的東西,所以未加這個功能)
再有mysql版用utf8編碼,oracle版用的gbk編碼,這個跟資料庫的設定有關
utf8編碼與gbk編碼轉換,可參考使用文字學習筆記3的批量轉換工具
當然,檔案不多也可以用文字編輯器手動另存轉換。賈盧
慘御雛皿
隕褶苷嫌
盯鍘
shell學習筆記 文字處理
regexp grep c 只輸出匹配行的計數。i 不區分大小寫 只適用於單字元 h 查詢多檔案時不顯示檔名。l 查詢多檔案時只輸出包含匹配字元的檔名。n 顯示匹配行及行號。s 不顯示不存在或無匹配文字的錯誤資訊。v 顯示不包含匹配文字的所有行。upper a z lower a z digit 0...
python學習筆記 文字處理
python2.6 開始,新增了一種格式化字串的函式 str.format 它增強了字串格式化的功能。基本語法是通過 和 來代替以前的 format 函式可以接受不限個引數,位置可以不按順序。lista sfs sds 3 3,4 5,4 2,6 8,7 sql insert into daily ...
Python學習筆記 文字處理 1
以下是部分資料 4.45925637575900 8.22541838354701 0 0.0432761720122110 6.30740040001402 0 6.99716180262699 9.31339338579386 0 4.75483224215432 9.2603778424028...