資料傳輸之 將hive表推送到mysql表中

自行實現,不用sqoop等第三方資料傳輸外掛程式

1.將hive表資料生成到檔案weibo_hot_result.txt中

hive表:weibo_seg_wc

insert overwrite directory "/user/dongshaofei/hot_words"

row format delimited fields
terminated
by'\t'
select
*from
(select
*,dense_rank(
)over
(order
by freq desc
)as rk from weibo_seg_wc)
where rk<=
100;

我的資料庫名是星雲三

建立乙個file_to_mysql.s**件

編輯

#!/bin/bash

#定義mysql賬號密碼
usera=job014_cluster0
passa=tianliangedu2020__
#把txt檔案拉下來
hdfs dfs -get /user/dongshaofei/hot_words
#資料庫登入
mysql -u$usera
-p$passa
-e "
use job014_cluster0;
load data local infile './hot_words/000000_0' into table weibo_hot_words fields terminated by '\t' (word,freq,day_seq);
"

出現如上的warning ,我們暫時不用解決,這是因為在乙個命令列寫了賬號和密碼,比較不安全的警告.

至此,我們就完成了乙個hive表資料推送到mysql表的乙個小工程.

前端學HTTP之資料傳輸

以圖為例，pc1通過http協議訪問位於server上的網頁。那麼，網頁資料在網路中是如何傳輸的呢？下面是具體的實現步驟 http協議的職責是生成針對目標web伺服器的http請求報文，該報文就是需要傳遞的資料 下沉到傳輸層後，由於http協議使用的是tcp協議，為了方便通訊，將http請求報文按序...

資料傳輸 如何將PS4已儲存的資料傳輸到PS5上

隨著 ps5 在全球範圍內發售，一些朋友想必已經拿到了這台新主機。其中肯定有很大比例的玩家擁有自己的 ps4，那麼如何將 ps4 中儲存的資料傳輸到 ps5 呢？還沒買到 ps5 的玩家，也可以提前收藏一下，以備未來之需。在 ps4 上登入與 ps5 主機上登入的賬號相同的賬號。將系統軟體更新到最新...

APM 資料傳輸之遠端呼叫 RPC

遠端呼叫 rpc 客戶端 傳送端 在遠端呼叫的客戶端，需要把跟蹤資訊附著在遠端呼叫的資料中。舉例來說，在一次http請求中，a程序使用http協議請求b程序，則a程序是rpc客戶端。例1 在a程序中，如果攔截a1和a2方法，a1的 是a1 a2的 是a2 並且a1呼叫了a2，那麼在跟蹤的過程中，需要...