第乙個sparkstream例子

2021-07-04 14:38:03 字數 733 閱讀 4043

[toc]來生成目錄:

第乙個sparkstream例子

在這個例子中,程式從監聽tcp套接字的資料伺服器獲取文字資料,然後計算文字中包含的單詞數。做法如下:

首先,我們匯入spark streaming的相關類以及一些從streamingcontext獲得的隱式轉換到我們的環境中,為我們所需的其他類(如dstream)提供有用的方法。streamingcontext 是spark所有流操作的主要入口。然後,我們建立了乙個具有兩個執行執行緒以及1秒批間隔時間(即以秒為單位分割資料流)的本地streamingcontext。

/**

* created by root on 15-8-15.

*/import org.apache.spark._

import org.apache.spark.streaming._

import org.apache.spark.streaming.streamingcontext._

object

networkwordcount

}

需要執行netcat作為資料伺服器

$ nc -lk 9999

然後在ide裡執行這個例子,在資料伺服器端口輸入單詞,程式將監聽到這些單詞,並計算每個單詞的個數。

python第乙個程式設計 第乙個 Python 程式

簡述 安裝完 python 後,windows 中 開始選單或安裝目錄下就會有 idle 開發 python 程式的基本 ide 整合開發環境 幫助手冊 模組文件等。linux 中 只需要在命令列中輸入 python 命令即可啟動互動式程式設計。互動式程式設計 互動式程式設計不需要建立指令碼檔案,是...

第乙個部落格

我不知道為什麼 我在csdn上創了乙個賬號,又開通了部落格。也許我不是名人,也許幻想著成為名人。在這裡 我不會給任何人許諾,這個部落格可能有乙個博文 有兩個博文 或者會有很多 很多 很多。不過讓我有個大膽的猜想,如果這個部落格在今後有很多很多自己寫的博文,說明我成功了 在自己眼裡 也說明這個方法時正...

第乙個爬蟲

很多人學習python的目的就是為了學習能夠實現爬蟲的功能,這裡,我使用了scrapy框架來實現了乙個簡單的爬蟲功能,這裡我簡單的介紹一下scrapy專案的建立,和執行。1,第一步是安裝scrapy,我相信到了這一步,大多數人都已經會安裝第三方庫檔案了,這裡主要是使用命令pip install sc...