專案實戰專案流程資料生成

整體專案的開發流程是：

業務資料生成，在 mysql 資料庫中生成當天的資料

etl 資料匯入，通過 sqoop 對 mysql 當天日期的資料進行抽取，並存放到 hdfs 中

在 hive 中建立 ods 層，編寫指令碼，完成 hdfs 資料接入

在 hive 中建立 dwd 層，編寫指令碼，完成 ods 層資料匯入

在 hive 中建立 dws 層，編寫指令碼，匯入 dwd 層資料

在 hive 中建立 ads 層，完成複購率計算

編寫指令碼，將 ads 層的資料匯出到 mysql 中，供業務查詢

使用 azkaban 排程器，實現指令碼自動化執行

1. 在 node02 上，執行以下命令，在 mysql 中建立資料庫 mall：

export mysql_pwd=dba2020*
mysql  -uroot -e "create database mall;"

2. 上傳資料生成 sql 指令碼到 mysql 安裝節點，即 node02 的 /root 目錄下：

提取碼：kke8

3. 使用

硬體問題 ai專案部署基本原則深度學習推斷框架任務前期一定要制定充分的標註規則資料的採集一定要具有代表性非常不建議採用自動標註的方式先訓練乙個初步模型，然後只讓相關人員進行校對，可以保證標註效率並減少標註成本。千萬不要採用規則的方式進行開發初期就要引導客戶使用和購買能夠支援深度學習框架的...

網際網路傳統的開發流程需求方案開發測試交付。這算是一種標準流程，但是不夠細緻。每乙個團隊都有適合自己的一種開發流程。總結一下我們的基於敏捷開發的工作流程，以供參考。總體的過程包括接收需求，規劃，專案啟動會，階段實施，專案總體交付，專案結束會。規劃包括階段劃分，專案里程碑，完成標準，實施...

1.專案介紹建立銀行資料庫建立資料表customer 客戶 bank 銀行 deposit 存款向表中插入測試資料對資料進行增刪改等操作 2.建立庫 1.檢視資料庫是否啟動。2.mysql uroot p 連線本地資料庫 3.s 檢視資料服務的狀態 4.建立資料庫並設定字符集 create ...

專案實戰 專案流程 資料生成