scp+postgresql問題總結
本地集群的資料同步到阿里雲伺服器上，再將資料上傳到阿里雲資料庫中，資料庫操作要求的是建立臨時表，上傳資料，檢視是否存在索引，刪除索引，建立索引，刪除原始表，修改臨時表表名
1：對於scp過程測試多次出現的問題是資料只上傳了85m，就停止了，然後開始運算元據庫等操作。
當時網速是9.多/mb，scp預設的資料上傳超時時間為30秒，算下來傳輸85m也是理所當然的了
後來考慮如何改變timeout時間呢，
去官網檢視，給的說明是scp預設的超時時間為30秒，如果想要永不超時，需要設定為 set timeout -1
最後對50g 的資料進行兩台伺服器之間的傳輸測試，費時一小時40分鐘左右吧，成功完成，這是最大的乙個坑。
2：jdbc拉結資料庫時候出現的問題
最大的問題從一開始就有，指令碼加**寫好給運維進行搭建環境測試，出現的第乙個問題就是用乙個只能查詢資料的賬戶去運算元據庫了，許可權不足問題
上傳資料到postgresql中，本地資料檔案為.csv檔案，剛開始使用copy tablename from stdin 進行jdbc操作的，問題出現在，字段確實，資料檔案每一行資料postgresql當做了乙個欄位下的資料，因為我們沒有設定限定符修改為"copy "
+ tablename +" from '"
+ localfilepath +"' with (format csv,delimiter e'\\x01',header false)"
;指定檔案就是csv，指定明確限定符，沒有頭資料，然後進行測試，沒有問題了
索引考慮問題：當前庫中是否有該錶的存在，第二庫中該錶是否已經存在了索引，因為我們要將每天資料都上傳到postgresql中，業務需求前後索引不能變，，只能對錶查出來全部索引，和我們規定的索引進行比較，如果有則刪除，沒有就跳出這一環節，執行下一步
postgresql資料庫不支援當前主機ip進行jdbc訪問，查詢好久，問題是在與d:\program files\postgresql\9.4\data下面的pg_hba.conf檔案需要我們手動新增host all all ip/34 md5,重啟服務就可以了，這個問題真的是很煩
對每一步可能發生的一次能夠全部進行捕獲處理。
每日新增的資料50g，使用hive匯出來的csv檔案，測試中發現檔案末尾兩行中居然有warn日誌，導致測試過程一致失敗，源頭在於hive -f/-e匯出資料過程的問題，最終能夠解決方案是新增過濾器：hive -e "select * from heitong.product_mult_ht_v5 limit 1000" |grep -v "warn" |sed 's/\t/\x01/g'>/home/test/product_mult_ht_v5_2019-04-17.csv，這樣csv檔案中就不在有warn日誌資訊了 。
因為在開發中，我們沒有時間手動去完成這些東西，需要我們提供一種便捷途徑，讓機器自己定時的去完成這些操作。所以上面要求讓開發個適合開發人員的工具。然而中的是苦難重重，測試小量資料問題幾乎沒發現，但是我們每天乙個資料夾下資料為50g，大資料量測試什麼樣的問題都出來了，只能排查,表占用阿里雲伺服器50g，資料50g，索引50g，最終提示pg記憶體不足，到此為止bug不在屬於我的問題了 。
P問題，NP問題，NPC問題，NP hard問題
1.p問題 乙個問題能找到乙個在多項式時間裡解決他的演算法 2.np問題 在多項式時間找不到問題的解，但可在多項式時間驗證問題的解 所有p問題都是np問題 3.npc問題 存在乙個np問題，所有其他np問題都可以約化為它 是乙個np問題 所有np問題都可約化為它 一元二次方程可以約化一元一次方程 一...
問題 I n皇后問題
在n n 格的棋盤上放置彼此不受攻擊的n 個皇后。按照西洋棋的規則，皇后可以攻擊與之處在同一行或同一列或同一斜線上的棋子。n後問題等價於在n n格的棋盤上放置n個皇后，任何2 個皇后不放在同一行或同一列或同一斜線上。設計乙個解n 後問題的佇列式分支限界法，計算在n n個方格上放置彼此不受攻擊的n個皇...
問題的問題
有些問題是人出的，或者人造成的 而有些問題是 上帝 出的。我們可以說成是人題和天題。人題一般都是可以解決的，而天題，人根本就找不到答案。人題的解決不會給我們帶來快樂，而天題帶給我們的只是苦惱和困惑。人從出生到死亡，一直都處於迷失和困惑中，因為大部分的東西他都不知道是怎麼回事。是的，他可以不知道，同樣...