（一）spark讀資料為空問題
近期資料庫遷移，使用sqoop抽資料到hive，然後用spark讀資料。
經過測試sqoop底層是使用mapreduce程式把oracle資料匯入到hive中的
所以我們應該使用hive的引擎去讀這些表，需要在spark**中新增配置
hivecontext.setconf(
"spark.sql.hive.convertmetastoreparquet"
,"false"
)
因為生產環境hue沒有給資料庫賦予許可權，導致讀表失敗
hive> create role asmp;
hive> grant role asmp to user root;
hive> grant select on database db_test to role asmp;
hive> show roles;
我們所有庫都是通過配置檔案統一管理的，因為特殊原因，把某個**指定了asmp_test測試庫,然後打包測試自然是通過執行的；後來修改配置檔案為生產庫，但是這個**並沒有改回，導致生產執行報錯！！！（總結反思ing）
Django資料庫遷移問題
問題一 1.python3 manage.py makemigrations django.db.utils.internalerror 1050,table django admin log already exists 2.錯誤原因 在遷移檔案0001中需要新建表django admin log...
資料庫遷移
這期專案，需要將另外乙個系統a與現有系統b整合，由於時間比較緊，直接採用遷移oracle資料庫物件的方式，發現之前評估的方案不是特別完善，首先 1 a資料庫為gbk編碼，b資料庫是utf 8編碼格式，a資料遷移需要進行中文字段擴容 至少1.5倍 2 a資料庫需要做效能評估，歷史資料遷移涉的方式，兼顧...
資料庫遷移
資料庫遷移 在開發過程中，需要修改資料庫模型，而且還要在修改之後更新資料庫。最直接的方式就是刪除舊表，但這樣會丟失資料。更好的解決辦法是使用資料庫遷移框架，它可以追蹤資料庫模式的變化，然後把變動應用到資料庫中。在flask中可以使用flask migrate擴充套件，來實現資料遷移。並且整合到fla...