ipython notebook現已更名為jupyter notebook，是一種互動式的筆記本，是可以用來重建和分享包含動態**、等式、視覺化和解釋文字的文件的web程式。spark提供了python直譯器pyspark，可以通過ipython notebook將spark的pyspark以筆記本這種互動式更強的方式來訪問。
[root@master ~]# ipython_opts="notebook --ip=1.2.3.4" pyspark
spark_major_version is set to 1, using spark
啟動的命令為
ipython_opts="notebook --ip=1.2.3.4" pyspark
需要提前安裝ipython。推薦使用anaconda進行安裝。
在spark2.0之後的版本，使用上述命令會報錯：
[xdwang@dell bin]$ ipython_opts="notebook --ip=211.71.76.25" ./pyspark
error in pyspark startup:
ipython and ipython_opts are removed in spark 2.0+. remove these from the environment and set pyspark_driver_python and pyspark_driver_python_opts instead.
在bashrc中增加環境變數：
vi .bashrc
增加：
export pyspark_driver_python=jupyter
export pyspark_driver_python_opts="notebook --ip=211.71.76.25"
重新啟動：
[xdwang@dell ~]$ pyspark在中使用SQLDMO
曾幾何時,夥伴們為的公升級傷透了腦筋.往往程式的公升級趕不上資料庫的公升級 版本控制的好,這也許不是什麼問題,但對於很大一部分中國公司來說這是無法避免的 而有些n久以前的資料庫要使用新程式的時候,資料庫的公升級簡直就是無從下手.所以對比資料庫公升級的緊要性就逐漸的凸現出來.對於表和字段的公升級按道理...
spark中使用自定義UDAF
hive中的自定義函式udaf udaf user defined aggregation funcation 使用者自定義弱型別聚合函式 所有的udaf函式在記憶體裡都是一塊buffer 緩衝區 這個換成區被分成了多個塊，每個塊有乙個index，從0開始。聚合乙個資料時，會占用編號為0的塊。遍歷表...
在ClanLib中使用blend func
本文是對blend func完全沒有認識的人寫的，就好象一天前的我一樣。廢話我就留到後面才說吧。在clanlib庫中的cl su ce與cl sprite中都會有 這個函式 void set blend func cl blendfunc src,cl blendfunc dest 其cl blen...