gitlab**的運營工作由gitlab基礎設施團隊負責，同時這也是gitlab目前最大的例項：擁有約300萬使用者和近700萬個專案，是網際網路上最大的單租戶開源saas站點之一。
postgresql是gitlab**基礎設施的關鍵組成部分，我們採用了各種策略來提公升系統彈性，抵禦各種因資料丟失導致的災難性事故。當然，事故的發生本來就是小概率事件，但我們也做好了備份和複製機制，一旦發生事故，可以從這些場景中恢復。
我們通常會存在這樣一種誤解：認為複製是備份資料庫的一種手段。但是，在這篇文章中，我們將**如何通過延遲複製在意外刪除資料後恢復資料：在gitlab**上，使用者刪除了gitlab-ce專案的標籤，與標籤相關聯的合併請求和問題也會丟失。
有了延遲副本，我們能夠在90分鐘內恢復資料。我們將介紹這個過程，以及延遲複製如何幫我們實現這一目標。
postgresql提供了乙個內建功能，可以將資料庫狀態恢復到某個特定時間點，這個功能叫作時間點恢復（pitr），它所使用的機制與保持副本最新的機制是一樣的：以整個資料庫集群的一致快照（一種備份）為基礎，再將變更序列應用資料庫狀態上，直到達到某個時間點。
為了將這個功能用於冷備份，我們會定期對資料庫進行基礎備份，並將其儲存在歸檔中（在gitlab，我們將歸檔保留google cloud storage中）。此外，我們通過歸檔預寫日誌（wal）來跟蹤資料庫狀態的變化。有了這些，我們就可以執行pitr，以便從災難中恢復：從災難發生之前的快照開始，應用wal歸檔中的變更，直到達到災難性事件發生之前。
延遲複製是指應用來自wal的延遲變更。也就是說，乙個在物理時間x提交的事務只能在時間x + d的副本上可見（d為延遲時間）。
postgresql提供了兩種方法用來設定資料庫的物理副本：歸檔恢復和流式複製。歸檔恢復基本上與pitr一樣，不同點在於它是以持續的方式進行的：我們不斷從wal歸檔中獲取變更，並以持續的方式將它們應用於副本狀態。而流式複製直接從上游資料庫主機獲取wal流。我們更喜歡使用歸檔恢復，因為它更易於管理，並提供了能夠跟上生產集群步伐的效能。
歸檔恢復的配置主要是在recovery.conf中，例如：
這裡的重點是，延遲是基於與事務的提交時間戳（xtime）一起記錄的物理時間。我們還可以看到，延遲只被應用於提交記錄，不會被應用於其他型別的記錄：直接應用資料變更，但相應的提交會延遲，因此這些變更只在配置的延遲後才可見。
假設我們有乙個生產資料庫集群和乙個具有8小時延遲的副本。我們如何使用它來恢復資料？讓我們來看看在意外刪除標籤的情況下如何進行恢復。
在事件發生之後，我們馬上在延遲副本上暫停歸檔恢復：
select pg_xlog_replay_pause();recovery_target_time = '2018-10-12 09:25:00+00'重新啟動延遲的postgres例項後，我們看到很多wal段被重放，直到達到目標事務時間。為了了解這個階段的進度，我們可以使用這個查詢：
當重放時間戳不再發生變化時，我們就知道恢復已經完成了。我們可以考慮設定recovery_target_action，以便在重放完成後關閉、提公升或暫停例項（預設為暫停）。
資料庫現在處於災難性查詢之前的狀態。我們可以開始匯出資料或以其他方式使用資料庫。在我們的示例中，我們匯出了有關已刪除標籤的資訊及其與問題和合併請求的關聯，並將資料匯入生產資料庫。在其他資料丟失更嚴重的情況下，可以將副本提公升並繼續作為主要副本使用。然而，這意味著我們會丟失在恢復到某個時間點之後寫入資料庫的任何資料。
使用物理時間戳進行目標恢復的替代方法是使用事務id。記錄事務id是一種很好的做法，例如，使用log_statements ='ddl』可以記錄ddl語句（如drop table）。如果我們手頭有乙個事務id，可以使用recovery_target_xid來重放到delete查詢之前的事務。
對於延遲複本，恢復正常的方法很簡單：恢復recovery.conf的改動，並重新啟動postgres。過了一會兒，副本將再次顯示8小時的延遲——為未來的災難做好準備。
與使用冷備份相比，延遲副本的主要好處是它消除了從歸檔中恢復完整快照的步驟。這可能需要數小時時間，具體取決於網路和儲存速度。在我們的例子中，從歸檔中獲取完整的約2tb備份大約需要五個小時。除此之外，我們必須應用24小時的wal才能恢復到理想的狀態（在最壞的情況下）。
相比冷備份，使用延遲副本的兩個好處是：
無需從歸檔中獲取完整的備份；
我們有乙個8個小時的wal固定視窗，需要重放才能趕上。
除此之外，我們還不斷測試我們從wal歸檔執行pitr的能力，並通過監控延遲副本的滯後來快速實現wal歸檔損壞或其他與wal相關的問題。
在我們的示例中，完成恢復需要50分鐘時間，並轉換為每小時110gb wal的恢復速率（當時歸檔仍在aws s3上）。在工作開始90分鐘後，事故得到緩解，資料得到恢復。
延遲複製可以用作從意外資料丟失中恢復資料的第一手段，並且非常適用於在配置的延遲時間內可以知道引起丟失的事件的情況。
讓我們明確一點：複製不是一種備份機制。
備份和複製是兩種具有不同目的的機制：冷備份對於從災難中恢復來說很有用，例如意外的delete或drop table事件。在這種情況下，我們利用冷儲存中的備份來恢復表或整個資料庫的早期狀態。另一方面，drop table幾乎可以立即複製到正在執行的集群中的所有副本——因此正常的複製對於從這個場景中恢復是沒有用的。相反，複製的目的主要是保護資料庫可用性，防止單個資料庫出現故障，以及用於分發負載。
即使存在延遲副本，在某些情況下我們確實冷備份，並把它儲存在安全的地方：資料中心故障、靜默損壞或其他不可見的事件，都需要依賴冷備份。如果只進行複製，我們可能沒有那麼多的好運。
英文原文：
如何利用PostgreSQL的延遲複製實現災備
gitlab 的運營工作由gitlab基礎設施團隊負責，同時這也是gitlab目前最大的例項 擁有約300萬使用者和近700萬個專案，是網際網路上最大的單租戶開源saas站點之一。npostgresql是gitlab 基礎設施的關鍵組成部分，我們採用了各種策略來提公升系統彈性，抵禦各種因資料丟失導致...
如何利用PostgreSQL的延遲複製實現災備
gitlab 的運營工作由gitlab基礎設施團隊負責，同時這也是gitlab目前最大的例項 擁有約300萬使用者和近700萬個專案，是網際網路上最大的單租戶開源saas站點之一。postgresql是gitlab 基礎設施的關鍵組成部分，我們採用了各種策略來提公升系統彈性，抵禦各種因資料丟失導致的...
如何利用PostgreSQL的延遲複製實現災備
gitlab 的運營工作由gitlab基礎設施團隊負責，同時這也是gitlab目前最大的例項 擁有約300萬使用者和近700萬個專案，是網際網路上最大的單租戶開源saas站點之一。postgresql是gitlab 基礎設施的關鍵組成部分，我們採用了各種策略來提公升系統彈性，抵禦各種因資料丟失導致的...