用[toc]
來生成目錄:
第乙個sparkstream例子
在這個例子中,程式從監聽tcp套接字的資料伺服器獲取文字資料,然後計算文字中包含的單詞數。做法如下:
首先,我們匯入spark streaming的相關類以及一些從streamingcontext獲得的隱式轉換到我們的環境中,為我們所需的其他類(如dstream)提供有用的方法。streamingcontext 是spark所有流操作的主要入口。然後,我們建立了乙個具有兩個執行執行緒以及1秒批間隔時間(即以秒為單位分割資料流)的本地streamingcontext。
/**
* created by root on 15-8-15.
*/import org.apache.spark._
import org.apache.spark.streaming._
import org.apache.spark.streaming.streamingcontext._
object
networkwordcount
}
需要執行netcat作為資料伺服器
$ nc -lk 9999
然後在ide裡執行這個例子,在資料伺服器端口輸入單詞,程式將監聽到這些單詞,並計算每個單詞的個數。
python第乙個程式設計 第乙個 Python 程式
簡述 安裝完 python 後,windows 中 開始選單或安裝目錄下就會有 idle 開發 python 程式的基本 ide 整合開發環境 幫助手冊 模組文件等。linux 中 只需要在命令列中輸入 python 命令即可啟動互動式程式設計。互動式程式設計 互動式程式設計不需要建立指令碼檔案,是...
第乙個部落格
我不知道為什麼 我在csdn上創了乙個賬號,又開通了部落格。也許我不是名人,也許幻想著成為名人。在這裡 我不會給任何人許諾,這個部落格可能有乙個博文 有兩個博文 或者會有很多 很多 很多。不過讓我有個大膽的猜想,如果這個部落格在今後有很多很多自己寫的博文,說明我成功了 在自己眼裡 也說明這個方法時正...
第乙個爬蟲
很多人學習python的目的就是為了學習能夠實現爬蟲的功能,這裡,我使用了scrapy框架來實現了乙個簡單的爬蟲功能,這裡我簡單的介紹一下scrapy專案的建立,和執行。1,第一步是安裝scrapy,我相信到了這一步,大多數人都已經會安裝第三方庫檔案了,這裡主要是使用命令pip install sc...