Apache Flink 環境搭建

2021-10-07 22:56:03 字數 1156 閱讀 4295

筆者直接在docker上搭建的flink環境

先到瀏覽了flink官網的文件,最新的穩定版本是1.10.0

然後到dockerhub搜尋flink

上面直接有flink容器的docker-compose的的配置。直接copy下來。

這裡我選擇的版本flink:1.10.0-scala_2.11

version

:"3.7"

services

:jobmanager

:image

: flink:1.10.0-scala_2.11

container_name

: flink-jobmanager-searchlite

expose:-

"6123"

ports:-

"8081:8081"

command

: jobmanager

environment

:- job_manager_rpc_address=jobmanager

taskmanager

:image

: flink:1.10.0-scala_2.11

container_name

: flink-taskmanager-searchlite

expose:-

"6121"

-"6122"

depends_on

:- jobmanager

command

: taskmanager

links:-

"jobmanager:jobmanager"

environment

:- job_manager_rpc_address=jobmanager

然後在檔案目錄下執行以下命令啟動容器

docker-compose up -d
在瀏覽器中輸入

進入apache flink dashboard

你看到了如下介面就證明你啟動成功了

flink官方文件

Apache Flink 記憶體管理

jvm flink的記憶體管理 序列化與反序列化可以理解為編碼與解碼的過程。序列化以後的資料希望占用比較小的空間,而且資料能夠被正確地反序列化出來。為了能正確反序列化,序列化時僅儲存二進位制資料本身肯定不夠,需要增加一些輔助的描述資訊。此處可以採用不同的策略,因而產生了很多不同的序列化方法。j a本...

LAMP環境搭建 php環境搭建

yum groupinstall development tools y yum groupinstall desktop platform development y yum install cmake pcre devel ncurses devel openssl devel libcurl ...

環境搭建 二 Python環境搭建

工欲善其事,必先利其器 要想玩轉python,我們首先需要搭建一套可使用且方便的環境。對於初學者,笨飯糰建議使用 anaconda anaconda 簡介anaconda是python的乙個科學計算發行版,內建了數百個python經常會使用的庫,包括做機器學習或資料探勘的庫。anaconda提供了乙...