目前可選的資源伺服器挺多,比如fastdfs,minio,aws/s3等,雲伺服器**商也提供資源伺服器oss租用。但最舒心的方式還是自己搭建乙個私有資源伺服器,比如minio。
為什麼選擇minio呢?因為實在是太簡單易用了,功能卻很強大。但minio不注意使用的話,會存在乙個超級大的資訊洩露的風險。
問題來了!!!
當你用 http://minio_out_url/bucket_path/ 訪問時,會得到乙個超大的xml
怎麼去封堵這個風險隱患呢?需要做兩件事情:
1、把minio隱藏到內網去,讓公網使用者無法直接訪問到minio伺服器
2、通過nginx的proxy_pass跳轉訪問minio資源
3、nginx的配置檔案進行rewrite遮蔽,只允許訪問具體資源檔案,不允許訪問桶路徑:
再去訪問http://minio_out_url/bucket_path/,你會發現路徑無效。但是你用具體的資源鏈結去訪問,仍然可以獲得資源內容。
minio資料遷移工具rclone
公司某個k8s環境的minio持久化使用的本地磁碟nfs作為儲存類,現需要遷移到nas儲存,部署在集群上的minio集群也需要進行同步遷移,下面分享一下其過程。1.1 環境資訊 minio集群位址 桶名備註 agile service 舊minio集群 agile service 新minio集群 ...
關於資料洩露
關注這個主要是之前看了nature那篇 的紛爭,希望自己以後能繞開。存一些資料。一些文章 你可能過於高估了機器學習演算法能力,帶你解讀鮮為人知的資料洩露問題 kaggle上關於data leakage的詳細介紹以及提出的一些避免方法 how data leakage impacts machine ...
MinIO 的分布式部署
目錄3 minio儲存機制 4 部署實踐 5 總結 參考資料 往期文章 高可用分布式物件儲存,minio 輕鬆實現。分布式儲存,很關鍵的點在於資料的可靠性,即保證資料的完整,不丟失,不損壞。只有在可靠性實現的前提下,才有了追求一致性 高可用 高效能的基礎。而對於在儲存領域,一般對於保證資料可靠性的方...