排查過程：
1，檢視單子是否在記憶體中； satool 登入線上機器
for campid in 164890874 164888366 164690854 163607808 162845617 162844063 ; do
echo $campid ;
grep $campid campaign_list.txt |wc -l
done
結果：都在記憶體生效
2，裝置求交集，檢視裝置重合度
2.1 獲取裝置
for campid in 164890874 164888366 164690854 163607808 162845617 162844063 ; do
echo $campid ;
query_campaign $campid > "$campid"
devid=`cat "$campid" |grep deviceid |awk -f"\"" '' `
wget $devid
done
3，將裝置上傳到s3 進行計算
aws s3 cp file s3://mob-emr-test/shenlei.zhong/tmp_job/imp/info
4，hive 查詢：
sql="use adn_dsp ; select dev.devid ,req.googleadid from dsp_dev.devid as dev left join
(select googleadid from
log_adn_dsp_request_hour where concat ( yr,mt,dt)= '20170807' and countrycode = 'kr' group by googleadid ) as req on( dev.devid = req.googleadid ) ;"
hive -e "$sql" > count.out
5, 匯出南韓某天所有裝置
34.226.89.5機器
sql="use adn_dsp ; select dev.devid ,req.googleadid from dsp_dev.devid as dev left join
(select googleadid from
log_adn_dsp_request_hour where concat ( yr,mt,dt)= '20170807' and countrycode = 'kr' group by googleadid ) as req on( dev.devid = req.googleadid ) ;"
sql="use adn_dsp ; insert overwrite directory 's3://emr-test/ha/cpcm-dev/kr-devids.txt'
select googleadid from
log_adn_dsp_request_hour where concat ( yr,mt,dt)= '20170807' and countrycode = 'kr' group by googleadid ;"
hive -e "$sql" >kr-req-devids.txt
6,南韓裝置匯出到本地
hadoop fs -getmerge s3://emr-test/hao/cpcm-dev/kr-devids.txt/ devid.txt
7, 裝置計算交集
cat ***.txt |sort -u > 1
cat 1 krdev.txt |sort |uniq -c |awk -f" " '$1 >1 '
獲取交集
cat 1 krdev.txt |sort |uniq -c |awk -f" " '$1 >1 ' |wc -l
8,可以先去devidlist.txt檢視生成的裝置列表
/data/model_update/model_from_rsync
grep 162844063 devidlist.txt |less
9，裝置列**式轉換
notepad++ 編輯 裡面文件格式轉換 選擇unix格式
重新上傳裝置列表
10, s3詞表同步
aws s3 cp s3://mob-dict/beijing/dsp/ . --recursive &
ssh無法連線問題排查
解決辦法 檢視ssh執行狀態 systemctl status sshd.service，發現服務未啟動，嘗試使用命令 etc init.d sshd start啟動服務，結果失敗。使用命令 journalctl xe檢視失敗的具體原因，發現 sshd lib libcrypto.so.10 ver...
ubuntu mysql 無法啟動 簡單排查
自己的 很久沒有去上了，想開啟發現居然打不開了，所以就找了一系列的原因。vps不行了 dns解析出問題了 網域名稱出問題了 簡單排查之後，我的vps服務商用的是 搬瓦工 bandwagonhost 重啟了一下還是無法訪問，後來我又看了一下我用的網域名稱託管 dnspod 好像也是沒有問題的。最後又查...
cookie無法自動攜帶問題排查
以前公司的專案，曾經遇到過cookie無法攜帶的問題，排查了很久。近日乙個做前端的朋友也遇到了類似的問題，問起我來，想想這個問題也可以記錄一下，於是便有了這篇文章。首先，同域請求時，cookie是可以自動攜帶的，出現cookie無法自動攜帶，往往就是跨域導致的。一般現在都是前後端分離，因此一般都會有...