大資料實戰 pyspark使用

解壓

tar -xvf python-3.6.3.tgz

yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make

不能忽略相關包，我之前就沒有安裝readline-devel導致執行python模式無法使用鍵盤的上下左右鍵；

如果沒有ssl 模組：

import ssl報錯

import _ssl             # if we can't import it, let the error propagate

importerror: no module named _ssl

./configure -prefix=/usr/local/python3 --enable-optimizations

make

make altinstall

#然後輸入以下命令 ，建立乙個軟鏈結

ln -s /usr/local/python3/bin/python3 /usr/bin/python3

ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

使用python3 --version

3.7版本需要乙個新的包libffi-devel，安裝此包之後再次進行編譯安裝即可。

#yum install libffi-devel -y

#make install

1、臨時解決

按ctrl

2、永久解決

基本現象

進入 python shell，按下 delete/backspace 鍵：

會出現 ^h 字元，無法正常刪除，用起來很不方便。

解決方式

# yum install readline readline-devel

centos 7安裝ipython

ipython是乙個非常好用的工具，下面說一下在centos7下安裝它

1. pip3 install ipython

2.  這時候ipython已經安裝好，我是安裝在了 /usr/local/python3/bin/ipython

不知道安裝在**了的同學可以使用命令檢視   find / -name 'ipython'

找到ipython後就可以用  python3  /usr/local/python3/bin/ipython  命令啟動了

3.不過每次這樣啟動很麻煩，我們把他封裝成命令

首先用vim開啟bashrc       vim ~/.bashrc 

新增一行       alias ipython3='python3 /usr/local/python3/bin/ipython'     

儲存退出   然後使其生效       source ~/.bashrc

以後就可以直接輸入ipythonl3來使用ipython了

以下操作均為使用非root使用者進行。

vim ~/.bashrc

在檔案中新增：

export pyspark_python=/usr/local/python3/bin/python3

指定pyspark啟動時使用的python版本，

#export pyspark_driver_python=ipython3

指定啟動pyspark後的互動式介面，使用ipython3作為預設啟動互動介面

export pyspark_driver_python=jupyter

export pyspark_driver_python_opts="notebook --no-browser --port 8889 --ip=172.16.80.142"

unset xdg_runtime_dir

指定啟動pyspark後的互動式介面，使用jupyter作為預設啟動的互動介面，指定ip 和port 可以讓同網段的裝置訪問jupyter 進行pyspark 操作

source ~/.bashrc

載入配置生效

注意：在修改互動式介面的時候。如果以前有設定了pyspark_driver_python_opts

新修改的pyspark_driver_python如果沒有設定pyspark_driver_python_opts即使注釋掉，可能還是會使用上一次的設定。最好覆蓋一下。

大資料實戰 Hive 技巧實戰

select address from test where dt 20210218 union all select address from test where dt 20210218 address m a m a m b m b m b m b select address from te...

大資料實戰之環境搭建 六

這篇我們看如何搭建solr，因為第一篇講述了在windows下如何搭建，所以這裡就簡單的說一下。前面已經提到我們將solr壓縮包拷貝至了usr tmp下。之後我們將solr解壓目錄下面的example solr拷貝到上面solr 4.3.0下 ok，完了之後進行我們的最後一步，在tomcat下面的 ...

SparkSQL大資料實戰 揭開Join的神秘面紗

join操作是資料庫和大資料計算中的高階特性，大多數場景都需要進行複雜的join操作，本文從原理層面介紹了sparksql支援的常見join演算法及其適用場景。join是資料庫查詢永遠繞不開的話題，傳統查詢sql技術總體可以分為簡單操作 過濾操作 where 排序操作 limit等 聚合操作 gro...