Python 讀取stata檔案

2021-09-19 13:36:33 字數 1065 閱讀 1621

利用python讀取stata檔案,並防止中文亂碼。其中 load_large_dta用於讀取stata檔案,decode_str用於編譯中文字串。

import pandas as pd

import numpy as np

import os

from pyecharts import geo, map

def load_large_dta(fname):

import sys

reader = pd.read_stata(fname,iterator=true)

df = pd.dataframe()

try:

chunk = reader.get_chunk(100*1000)

while len(chunk) > 0:

chunk = reader.get_chunk(100*1000)

print ('.')

sys.stdout.flush()

except (stopiteration, keyboardinterrupt):

pass

print('\nloaded {} rows'.format(len(df)))

return df

def deconde_str(string):

"""解碼 dta檔案防止 亂碼

"""re = string.encode('latin-1').decode('utf-8')

return re

# example

df_2002_path="c:/users/administrator/desktop/企業經緯度資料/final_data_2002.dta"

解碼字串例項:

python高階讀取檔案 Python讀取檔案內容

開啟檔案之後,就可以讀取檔案的內容,檔案物件提供多種讀取檔案內容的方法。開啟test.txt檔案 f open test.txt r 開啟test.txt檔案 f.close 關閉檔案 test.txt檔案有以下內容 hello world.hello python.hello imooc.讀取若干...

Python檔案讀取

python提供了多種方法實現檔案讀取操作 1 read 2 readline 3 readlines 4 xreadlines 很多人也在糾結到底應該選擇哪種方式,甚至疑問在處理大檔案時應該選擇哪種方式,因為擔心檔案過大導致記憶體佔用率過高甚至無法完全載入。其實,這個問題是多餘的,在引入了迭代器和...

python檔案讀取

1.讀取txt檔案 read 讀取整行檔案 readline 讀取一行資料 readines 讀取所有行的資料 讀取txt檔案 user file open user info.txt r lines user file.readlines forline inlines username line...