Flask HDFS雲盤系統設計

前端：bootstrap jquery sweetalert(彈窗外掛程式) datatables(**外掛程式) webuploader(上傳外掛程式)

後端：flask

資料庫： sqlalchemy

檔案儲存：hadoop

部署：nginx+uwsgi+supervisor

資料庫設計：資料庫設計採用sqlalchemy進行模型設計，用熟了之後相比原生的sql語句還是比較方便的，整個雲盤分為四張表，分別為檔案表，使用者表，分享表，刪除表。er圖如下：

管理員後台：檢視使用者個人資訊、鎖定普通使用者、修改使用者密碼（後台功能比較渣）

使用者登入退出：

pip install hdfs
from hdfs import client
hdfs_client = client("")

上傳檔案時，前端通過webuploader外掛程式實現，後台接受到檔案後先將檔案屬性存入資料庫，再將檔案通過io流傳入hadoop中，上傳流程圖如下：

):# 根據檔案id獲取檔案物件

fileobj = filetable.query.filter_by(file_id=

id, user_id=current_user.get_id(

), is_recycle=

false

).first_or_404(

) path = fileobj.hdfs_path + fileobj.hdfs_filename

# 得到檔案真實路徑

filename = fileobj.filename

# 讀取檔案內容

with hdfs_client.read(path)

as reader:

buf = reader.read(

) response = make_response(buf)

response.headers.add(

'content-disposition'

,'attachment'

, filename=filename.encode())

return response

檔案刪除：

刪除檔案會先將檔案移動到**站，主要是根據hadoop**站機制，在hdfs裡,刪除檔案時，會先將檔案移動到**站，而不會真的刪除，**站中的檔案可以還原，同時會在配置檔案中設定乙個時間長度，當超過這個時間長度後，hdfs會自動清除檔案。

檔案分享：

檔案分享分為公開分享和密碼分享。檔案分享鏈結是根據檔案id，hdfs檔名，unxi時間戳生成的md5值作為唯一鏈結，密碼分享時同時會生成隨機4位密碼作為分享密碼。當訪問檔案時，會檢查分享型別，如果是密碼分享就需要輸入正確密碼。公開分享可以直接訪問。

由於資源有限，整個系統是安裝在一台伺服器上的，hadoop採用偽分布式安裝，使用python3開發，部署方案採用nginx+uwsgi+supervisor。簡單的來說就是最外層使用nginx伺服器，中間使用uwsgi作為wsgi介面，最後是flask應用。

而supervisor作為程序管理工具用來啟動，重啟，關閉整個服務。關於這方面的部署都可以在網上搜得到。

系統首頁

檔案詳細頁

上傳頁