由於資料存放在大資料平台的hive資料倉儲中,我需要在win10系統上利用python3連線hive,然後讀取資料,進行探索、分析和挖掘工作。
我通過網上查詢資料和實程式設計客棧際測試,把win10系統python3成功連線hive配置總結如下。
第一步:安裝依賴庫
pip install bitarray
pip install bit_array
pip install thrift
pip install thriftpy
pip install pure_sasl
pip in程式設計客棧stall --no-deps thrift-sasl==0.2.1
提示:若是無法安裝,也可以點選如下**,
選擇合適庫的whl**,然後進行本地化安裝。
第二步:安裝impyla庫
我採用本地化安裝方式,先**impyla庫的whl,如下圖:
再安裝pip install e:/knyzqrspython_library/impyla-0.16.2-py2.py3-none-any.whl
提示:上面的絕對路徑根據你自己的情況而定
第三步:測試impyla庫是否可以使用
from impala.dbapi import connect #用來連線hive的函式
from impala.util import as_pandas #用來把資料結構轉換為pandas
若是執行通過,表示利用impala連線hive配置成功。
簡單示例:
從hive的一張表讀取100條記錄,放到pandas的dataframe裡面。
參考**:
from impala.dbapi import connect #用來連線hive的函式
from impala.util import as_pandas #用來把資料結構轉換為pandas
conn = connect(host='my.host.com', port=21050)
cursor = conn.cuwww.cppcns.comrsor()
cursor.execute('select * from mytable limit 100')
df = as_pandas(cursor)
cursor.close()
參考資料
h程式設計客棧ttps:
win10系統使用
一 如何刪除oem分割槽 當拿到乙個預裝win10系統的電腦後,想擴充套件c盤,發現有乙個oem分割槽,阻擋了其他分割槽壓縮出的空間傳遞過來。在沒有未來恢復系統的需求下,可以將oem分割槽刪除掉,即可打通全部空間。1 進入磁碟控制頁面 開啟執行提示,輸入 diskpart 命令,進入磁碟控制頁面 2...
如何公升級 Win10 系統
牆裂推薦公升級到 win10 系統,如何公升級呢?win10 系統已經發布了許多個版本,累計了不少更新。當前正式版的最新版為 1909 時間為 2019年11月13日 在 設定主頁 系統 關於 裡面可以檢視當前的版本號。win10 系統可以直接檢查公升級公升級到最新版,但有時檢查公升級會失敗,或者剛...
如何公升級Win10系統
所以這裡就會牽涉到乙個重要問題 自動更新,我相信很多國內使用者大多數都會關閉這個功能,主要原因在於國內一些安全輔助軟體覆蓋了自動打補丁的功能。如果你想公升級,那麼第一步就是開啟自動更新,無論是win7,還是win8,都需要先更新一些重要的補丁檔案。然後在你的電腦右下角會有乙個win10的公升級補丁說...