mysql 大資料量該怎麼儲存和維護
有20000臺儀器（將來會越來越多，可能達到60w），每個儀器平均每天會產生720條資料，要儲存到mysql資料庫中。那每天表中就會新增14400000條資料，這樣要不了多久，這個表的查詢就會特別慢，所以就做了分表處理，每台儀器對應一張表。現在單錶的速度是提公升了，但管理起來特別麻煩，首先workbench操作會特別卡特別慢，然後如果對錶做字段變更的時候，就需要對20000張表做變更。這太瘋狂了。所以想請教一下大神，我這樣的情況該怎麼處理呢
1.嘗試搭建乙個10臺機器的hadoop集群直接將資料放到hive裡面。
2.做分割槽表，按照日期，每天一張表。一張表1440萬記錄再考慮做優化查詢。
3.綜合上面的考慮就好：
問題可以歸納為：
mysql的侷限在**，效能瓶頸在**？在什麼資料量或表數量下會出現效能瓶頸。
技術成長路線
近三年的技術成長計畫 第一階段 3個月 惡補大學的基礎 1.將基礎打的很紮實。沒有結合linux核心來學習，現在要補上 網路 將tcp ip協議研究透徹，結合 tcp ip詳解 unix網路程式設計 這個也是目前從事的工作主要會 用到的地方 資料結構和演算法 每種資料結構找開源專案中如何應用和實現來...
2019技術路線
2019技術路線 1.用對用好cpu架構中的numa core thread cache memory，使現有系統延遲更低。2.系統現有結構解耦優化，用好檔案對映 訊息佇列，更優雅地劃分模組。3.編譯器優化實踐。理解pgo profile guided optimizations ltcg link...
年底總結 堅定技術路線
一年一度的年底總結又開始了。檢視一下今年的收穫，反思一下今年的失誤。從 開始說起呢？今年我最大的思想鬥爭就在路線上。管理還是技術，這確實是值得思考的問題。我們一開始都是做技術的出生。慢慢地做技術組長，技術leader。接下來，就開始有不同路線了。有兩條路線的原因在於國內大多企業的不成熟。因為不成熟，...