python連線hive配置

注：python端所在伺服器為centos6.8

重要一點，hive是個客戶端，不是集群，在hive所在節點必須執行如下命令：

hive --service hiveserver2

二，訪問hive的客戶端

以下涉及所有包，

（1）yum install gcc-c++

（2）yum install  python-devel.x86_64

注：這個底層依賴python2.6，有可能存在裝不上的情況，除了乙個乙個裝還有乙個辦法就是將上面三個包放到乙個資料夾裡，然後命令列切換到該目錄，執行命令：rpm -uvh *.rpm --nodeps --force   這條命令的好處就是，誰依賴誰不用管，誰先安裝不用管，有的依賴沒有跑到100%也不用管，自己就會安裝成功。

（3）yum install  cyrus-sasl-devel.x86_64

執行命令：rpm -ivh cyrus-sasl-devel-2.1.23-15.el6_6.2.x86_64.rpm

（4）yum  install cyrus-sasl-md5 

執行命令：rpm -ivh cyrus-sasl-md5-2.1.23-15.el6_6.2.x86_64.rpm

（5）yum install cyrus-sasl-plain 

執行命令：rpm -ivh cyrus-sasl-plain-2.1.23-15.el6_6.2.x86_64.rpm

（6）yum install cyrus-sasl-lib

執行命令：rpm -ivh cyrus-sasl-lib-2.1.23-15.el6_6.2.x86_64.rpm

（7）yum install cyrus-sasl-gssapi

執行命令：rpm -ivh cyrus-sasl-gssapi-2.1.23-15.el6_6.2.x86_64.rpm

（8）pip install sasl

執行命令：rpm -ivh sasl-0.2.1.tar.gz

（9）pip install thrift

執行命令：tar -xvf thrift-0.11.0.tar.gz

進入解壓後的資料夾，執行命令：python setup.py install

（10）pip install thrift-sasl

執行命令：tar -xvf thrift-0.11.0.tar.gz

進入解壓後的資料夾，執行命令：python setup.py install

（11）pip install pyhive

執行命令：tar -xvf pyhive-0.6.1.tar.gz        tar -xvf future-0.17.1.tar.gz

進入解壓後的資料夾，執行命令：python setup.py install

三，連線測試

注意連線的各項引數

#ip位址，即hive所在節點位址，注意hive是乙個客戶端，不是乙個集群。

#port是hive所在節點執行hive --service hiveserver2後自然就會開啟10000埠

#username，如果安裝hive時沒有設定，那麼預設使用者名稱就是hive

#database，即你要訪問的已經在hive中建立的資料庫，如果之前未建立，那麼hive中自帶有乙個名叫default的資料庫可以用來測試連通性。

#tablename，資料庫中表名

————————————————

from pyhive import hive

conn = hive.connection(host='ip位址', port=10000, username='使用者名稱', database='default')

cursor = conn.cursor()

cursor.execute('select * from tablename limit 10')

for result in cursor.fetchall():

print( result)

python連線hive配置

注 python端所在伺服器為centos6.8 參考博文 重要一點，hive是個客戶端，不是集群，在hive所在節點必須執行如下命令 hive service hiveserver2 參考博文 注 客戶端指的是裝有anaconda的python環境的linux機器，並非裝有hive的機器 以下涉及...

hive連線mysql配置

1 進入hive conf目錄下，修改hive default.xml baidu,i 修改的是 hive site.xml hive.metastore.local true j ax.jdo.option.connectionurl jdbc mysql j ax.jdo.option.conn...

Python 遠端連線 hive

來自 首先是pyhive的安裝 pyhive這個包依 賴於sasl，thrift,thrift sasl這三個包，因此請參照下面的順序安裝 pip install sasl pip install thrift pip install thrift sasl pip install pyhivepi...