什麼是分庫分表:
分表:將某一張表的資料 拆分成若干份,分別放到結構相同的不同表中,然後,可以再同乙個庫里,也可以放到不同的庫。
分表又叫水平分割槽,這種方式實現起來就比垂直分割槽複雜些,但是它能解決垂直分割槽所不能解決的問題,即單張表的訪問及寫入很頻繁,這時候就可以根據一定的業務規則(ps:如網際網路bbs論壇的會員等級概念:根據會員等級來分表)來分表,這樣就能減輕單錶壓力,並且還能解決各個模組的之間的頻繁互動問題。
分庫:將原有的乙個資料庫拆分成多個資料庫,每個資料庫的結構相同。
分庫又叫垂直分割槽,這種方式實現起來比較簡單,重要的是對業務要細化,分庫時候要想清楚各個模組業務之間的互動情況,避免將來寫程式時出現過多的跨庫操作。
為什麼要分庫分表:
隨著企業的發展,庫中的表會越來越多,同時每張表的資料也會越來越大。這樣做相同的操作:表連線,增刪改查所耗費的效能也越來越大。與此同時,資料庫訪問者越來越多時,一台伺服器的的負載也會越來越大,因為cpu 記憶體 io 都是一定的,這樣最終的結果就是系統會越來越卡,直至各種超時。
而當我們採用分布式系統,負載均衡的分散資料,就可以很好的解決這個問題。
分表
當然,首先要知道什麼情況下,才需要分表。個人覺得單錶記錄條數達到百萬到千萬級別時就要使用分表了。
1,分表的分類
1>縱向分表
將本來可以在同乙個表的內容,人為劃分為多個表。(所謂的本來,是指按照關係型資料庫的第三正規化要求,是應該在同乙個表的。)
分表理由:根據資料的活躍度進行分離,(因為不同活躍的資料,處理方式是不同的)
案例:
對於乙個部落格系統,文章標題,作者,分類,建立時間等,是變化頻率慢,查詢次數多,而且最好有很好的實時性的資料,我們把它叫做冷資料。而部落格的瀏覽量,回覆數等,類似的統計資訊,或者別的變化頻率比較高的資料,我們把它叫做活躍資料。所以,在進行資料庫結構設計的時候,就應該考慮分表,首先是縱向分表的處理。 (冷資料和活躍資料單獨分表)
這樣縱向分表之後:
首先儲存引擎的使用不同,冷資料使用myisam (mysql中的技術)可以有更好的查詢資料。活躍資料,可以使用innodb ,可以有更好的更新速度。
其次,對冷資料進行更多的從庫配置,因為更多的操作是查詢,這樣來加快查詢速度。對熱資料,可以相對有更多的主庫的橫向分表處理。
其實,對於一些特殊的活躍資料,也可以考慮使用memcache ,redis之類的快取,等累計到一定量再去更新資料庫。或者mongodb 一類的nosql 資料庫,這裡只是舉例,就先不說這個。
2>橫向分表
字面意思,就可以看出來,是把大的表結構,橫向切割為同樣結構的不同表,如,使用者資訊表,user_1,user_2 等。表結構是完全一樣,但是,根據某些特定的規則來劃分的表,如根據使用者id來取模劃分。
分表理由:根據資料量的規模來劃分,保證單錶的容量不會太大,從而來保證單錶的查詢等處理能力。 (並且如果可以很好的定位到資料在哪張分表時,使用表連線查詢的話 效率和速度都會更好)
案例:同上面的例子,部落格系統。當部落格的量達到很大時候,就應該採取橫向分割來降低每個單錶的壓力,來提公升效能。例如部落格的冷資料表,假如分為100個表,當同時有100萬個使用者在瀏覽時,如果是單錶的話,會進行100萬次請求,而現在分表後,就可能是每個表進行1萬個資料的請求(因為,不可能絕對的平均,只是假設),這樣壓力就降低了很多很多。
資料庫的複製能解決訪問問題(簡單的負載均衡,不考慮資料分攤,資料都是一致的),並不能解決大規模的併發寫入問題,要解決這個問題就要考慮mysql資料切分了
資料切分,顧名思義,就是資料分散,將一台主機上的資料分攤到多台,減輕單台主機的負載壓力,有兩種切分方式,一種是分庫,即按照業務模組分多個庫,每個庫中的表不一樣(按照模組劃分表然後區分到不同的庫),還有一種就是分表,按照一定的業務規則或者邏輯將資料拆分到不同的主機上,每個主機上的表是一樣的,這個有點類似於oracle的表分割槽(按照業務邏輯將資料拆分,然後儲存到不同的資料庫中,比如前邊講到的活躍資料)。
分庫的優點是:實現簡單,庫與庫之間界限分明,便於維護,缺點是不利於頻繁跨庫操作,單錶資料量大的問題解決不了。
分表的優點是:能解決分庫的不足點,但是缺點卻恰恰是分庫的優點,分表實現起來比較複雜,特別是分表規則的劃分,程式的編寫,以及後期的資料庫拆分移植維護。
實際應用中,一般網際網路企業的路線都是先分庫再分表,兩者結合使用,取長補短,這樣發揮了mysql擴充套件的最大優勢,但是缺點是架構很大,很複雜,應用程式的編寫也比較複雜。
以上是mysql的資料切分的一些概念,資料切完了,現在要做的是怎麼樣在整合起來以便於外界訪問,因為程式訪問的入口永遠只有乙個,現在比較常用的解決方案是通過中間**層(類似於負載均衡的控制器)來統一管控所有資料來源。
資料庫分庫分表
1 基本思想之什麼是分庫分表?從字面上簡單理解,就是把原本儲存於乙個庫的資料分塊儲存到多個庫上,把原本儲存於乙個表的資料分塊儲存到多個表上。2 基本思想之為什麼要分庫分表?資料庫中的資料量不一定是可控的,在未進行分庫分表的情況下,隨著時間和業務的發展,庫中的表會越來越多,表中的資料量也會越來越大,相...
資料庫分庫 分表
分庫的優點是 實現簡單,庫與庫之間界限分明,便於維護,缺點是不利於頻繁跨庫操作,單錶資料量大的問題解決不了。分表的優點是 能解決分庫的不足點,但是缺點卻恰恰是分庫的優點,分表實現起來比較複雜,特別是分表規則的劃分,程式的編寫,以及後期的 資料庫拆分移植維護。實際應用中,一般網際網路企業的路線都是先分...
資料庫分庫分表
簡單了解資料庫分庫分表,以及資料庫的分片 什麼是分庫分表 原本儲存於乙個庫的資料分塊儲存到多個庫上,把原本儲存於乙個表的資料分塊儲存在到多個表上 為什麼分庫分表 當一張表的資料達到幾千萬時,你查詢一次所花的時間會變多,如果有聯合查詢的花,我想啃根會死在那。分表的目的就在於此,減少資料庫的負擔,縮短查...