教材spark程式設計基礎 scala 版 林子雨等 人民郵電
**方面
寫**時，出錯，首先 看看變數型別，該變數沒有這個方法。idea中自動填充變數型別快捷鍵，alt + enter
show() 方法預設是只顯示20個，可以指定行數，sum(num,boolean),num指的是顯示幾行，boolean指的是，每行過長時是否截斷，false是不截斷，預設為true
自定義在從rdd隱式轉換為df程式設計中，case class要放在方法外，比如我的object類裡就寫了乙個main方法，我在main方法裡寫所有**，那麼case class 要放在main方法外面
那麼導包就得寫為import s.implicits._
sortby()使用沒效果，看是不是設定的local[n],這樣會分開n個區操作，每個區排序會導致排序不對。設定為local或者local[1]就可以了
建立表頭，
val fields = array(structfield("name",stringtype,true), structfield("age",integertype,true))
別把stringtype的包導錯
使用spark sql讀寫資料庫的時候
提示ssl=false 則需要修改其中一語句如下
.option("url","jdbc:mysql://localhost:3306/spark?usessl=false")
報錯 access denied
先看你的mysql資料庫裡的使用者名稱和密碼對應問題
見部落格1
操作為在mysql中執行
use mysql;
select host,user,authentication_string from user;檢視是否類似下面的情況
有多個root對應，可以刪除,如
delete from user where host='127.0.0.1'
連線hive讀寫資料
hive使用過程中特別慢，報錯，
需要把hive-site.xml配置檔案中的mysql使用者名稱和密碼設定成自己的，預設全是hive
spark操作失敗，報錯
org.apache.spark.sql.analysi***ception: table or view not found:sparktest.student; line 1 pos 14;
看是不是沒把hive的配置檔案hive-site.xml拷貝到spark下，我電腦上路徑為/usr/local/spark/conf
Spark執行過程中的錯誤
配置完歷史伺服器之後測試saprkpi案例報以上錯誤。原因在於 spark env.sh和spark defaults.conf中配置logdierctory的路徑埠為8020 預設埠 這樣不對，因為spark產生的日誌檔案儲存到hdfs中，所以spark訪問hdfs的uri應該與hadoop的co...
學習bootstrap過程中遇到的問題及總結
一.柵格系統 1 行 row 必須包含在 container 固定寬度 或 container fluid 100 寬度 中，以便為其賦予合適的排列 aligment 和內補 padding 2 通過 行 row 在水平方向建立一組 列 column 3 你的內容應當放置於 列 column 內，並...
Redis配置過程中的問題
記錄一下配置過程中的坑 當redis在伺服器上安裝完成後，get set沒有問題了，接下來在程式中使用看看。首先 在配置檔案redis.conf中，預設的bind 介面是127.0.0.1，也就是本地回環位址。這樣的話，訪問redis服務只能通過本機的客戶端連線，而無法通過遠端連線，這樣可以避免將r...