營運商核心系統國產資料庫遷移實踐

測試結論：

根據測試數據分析，倉數為500倉，行程數在32-512區間，cpu、記憶體使用率與訂單處理量持續增長；行程數達到512時，tpcc orders最高達到400000，達到效能峰值；行程數512-4096時，CPU與記憶體使用率同步增長，但磁盤IO承載達到上限，可以看到tpmc orders的值持續回落伴隨CPU上下文頻繁切換，說明負載已經達到測試極限。

基於本次測試的伺服器配置及結果分析，我們推薦設定的參數值設定分享如下：

1）shared_buffers 參數

參數說明：

設定資料庫伺服器使用共享記憶體緩沖區的大小。

經驗參考：

shared_buffers設定為實體記憶體的40%，同時AntDB同樣依賴作業系統的高速緩沖區。

建議設定為shared_buffers = '200GB'

2）effective_cache_size 參數

參數說明：

最佳化器假設可以用於單個查詢的磁盤緩存的有效大小，值越大，使用索引掃描的可能性就越大；值越小，使用順序掃描的可能性就越大。

經驗參考：

建議設定為effective_cache_size=‘400GB’

3）max_wal_size 參數

參數說明：

設定2個自動checkpoint之間允許增長最大的wal日誌的大小，預設為1GB，使用方法依賴checkpoint的操作頻率，checkpoint頻率太快設定得大一些，會提升效能，但也是會消耗更多空間，同時會延長崩潰恢復所需要的時間。

經驗參考：

建議設定為max_wal_size = '64GB'

4）checkpoint_completion_target 參數

參數說明：

該參數使AntDB盡可能慢地去寫臟數據，在checkpoint_completion_target*checkpoint_timeout。

設定的時間內，使IO操作(寫數據到磁盤)的更慢點，同時留給部份IO操作給其他任務。

經驗參考：

通常設定0.5-0.9之間，是防止巨大的I/O寫入，巨大的IO寫入會嚴重影響並行的查詢效能。該參數的設定，主要依賴2個條件，一個是shared_buffer的大小，另外就是磁盤的IO頻寬，IO越高該參數設定的越大。同樣100G的shared_buffer臟數據在高IO和低IO的場景下，相同的heckpoint_timeout是所設定的checkpoint_completion_target是不一樣的，高IO的設定的就大一點，低IO的就設定的小一點緩解checlpoint的時候造成的間歇性的IO波動。

建議設定為checkpoint_completion_target = '0.9'

5）checkpoint_timeout 參數

參數說明：

自動WAL檢查點之間的最長時間（預設為5分鐘），增加此參數可能會增加崩潰恢復所需的時間。

經驗參考：

設定該參數需要評估1分鐘產生wal日誌尺寸，在結合平均磁盤刷寫的IO速度，和磁盤每秒寫入次數。

建議設定為checkpoint_timeout = '15min'

6）wal_keep_size 參數

參數說明：

在復制環境中，保存在pg_wal目錄中wal日誌檔段的數量，以防止stadnby伺服器進行流復制所需的wal日誌被主庫刪除。

經驗參考：

依賴於wal日誌產生的速度和磁盤空間的大小，太大浪費空間，太小wal日誌會被刪除。

建議設定為wal_keep_size = '512GB'

7）max_parallel_maintenance_workers 參數

參數說明：

資料庫執行vacuum、create index時，能夠啟動的並列worker最大數目。

經驗參考：

通常設定低於8，並列worker從max_worker_processes建立的行程池中取出，數量由max_parallel_workers控制，資源限制由maintenance_work_mem控制。

建議設定為max_parallel_maintenance_workers = '8'

8）max_parallel_workers 參數

參數說明：

資料庫最大並列worker的數量，不能超過max_worker_processes的數量。

經驗參考：

依賴於伺服器的cpu資源，不要超過cpu的核心數的一半，盡量使的每個核心都執行一個任務，不能出現cpu資源爭搶或者排隊的情況。

建議設定為max_parallel_workers = '128'

9）max_parallel_workers_per_gather參數

參數說明：

設定單個Gather或者Gather Merge節點能夠工作的workers的最大數量。並列workers會從max_worker_processes建立的行程池中取得，數量由max_parallel_workers限制。

經驗參考：

預設為2，開啟大表的並列在執行計劃中就可以看到Gather或者Gather Merge的節點，同時會占用更多的資源，消耗更多的CPU資源和I/O頻寬，建議預設即可。

建議設定為max_parallel_workers_per_gather = '2'

10）maintenance_work_mem參數

參數說明：

維護性操作(例如VACUUM，CREATE INDEX和ALTER TABLE ADD FOREIGN KEY)中使用的最大的記憶體量。

經驗參考：

建議設定為maintenance_work_mem = '4GB'

11）bgwriter_delay參數

參數說明：

將shared_buffers中的臟數據使用bgwriter行程寫入磁盤，執行「臟數據」寫入時候的延遲值。預設為200ms。即此次寫入操作執行完後等待200ms繼續下次臟數據寫入。

經驗參考：

控制Bgwriter行程寫入臟數據的頻率，IO效能高的設定的小一點，IO效能差的設定大一些，臟數據占用共享緩沖區也多一些。

建議設定為bgwriter_delay = '10ms'

12）autovacuum_max_workers參數

參數說明：

Autovacuum清理的最大行程數，和資料庫數目有關系，做到每個庫都有一個清理行程去工作，太少的話會在下一個周期去清理沒清理的庫，每一個autovacuum_max_workers的行程都要消耗maintenance_work_mem的值對應的記憶體大小，例如maintenance_work_mem = 64MB時，autovacuum_max_workers = 3 需要消耗64*3=192MB記憶體。autovacuum_max_workers = 4 需要消耗64*3=256MB記憶體。

經驗參考：

如果只有一個活躍業務db，那麽不管設定的autovacuum_max_workers多大，永遠只會啟動一個worker來對該db進行清理。如果有多個活躍業務db，單純提高autovacuum_max_workers而不提高autovacuum_vacuum_cost_limit（預設值為vacuum_cost_limit，即200）的值也沒有用。原因是autovacuum_vacuum_cost_limit對成本的限制是全域的，該參數控制了PostgreSQL例項所有worker在執行時可達到的「成本」上限，其計算公式為：autovacuum_vacuum_cost_limit/autovacuum_max_workers。一旦達到成本上限，worker就會進入休眠，sleep時間為參數vacuum_cost_delay所設定的值（然後再繼續處理）。

建議設定為autovacuum_max_workers = '5'

13）autovacuum_analyze_scale_factor參數

參數說明：

聲明在判斷是否觸發一個ANALYZE時增加到autovacuum_analyze_threshold 參數裏面的表尺寸的分數，比如100行的表垃圾數據的行數就是1行。

經驗參考：

autovacuum_vacuum_threshold,autovacuum_vacuum_threshold (integer)

autovacuum_vacuum_scale_factor

autovacuum_vacuum_scale_factor

autovacuum_analyze_threshold

autovacuum_analyze_scale_factor

autovacuum_vacuum_cost_delay, autovacuum_vacuum_cost_delay

autovacuum_vacuum_cost_limit, autovacuum_vacuum_cost_limit

建議設定為autovacuum_analyze_scale_factor = '0.01'

14）autovacuum_analyze_threshold參數

參數說明：

聲明在任何表裏觸發ANALYZE所需最小的行插入、更新、刪除數量

經驗參考：

autovacuum_analyze_threshold

autovacuum_analyze_scale_factor

autovacuum_vacuum_cost_delay

autovacuum_vacuum_cost_limit

建議設定為autovacuum_analyze_threshold = '1000'

15）autovacuum_naptime參數

參數說明：

在每次執行完一次自動清理操作後，autovacuum 行程會等待 autovacuum_naptime 指定的時間，然後再開始下一次清理操作。

經驗參考：

建議設定為autovacuum_naptime = '1min'

16）autovacuum_vacuum_cost_delay參數

參數說明：

聲明將在自動VACUUM操作裏使用的開銷延遲數值。

經驗參考：

建議設定為autovacuum_vacuum_cost_delay = '10ms'

17）autovacuum_vacuum_cost_limit參數

參數說明：

聲明將在自動VACUUM操作裏使用的開銷限制數值。

經驗參考：

建議設定為autovacuum_vacuum_cost_limit = '4000'

18）autovacuum_vacuum_scale_factor參數

參數說明：

聲明在判斷是否觸發一個VACUUM時增加到autovacuum_vacuum_threshold參數裏面的表的行數。

經驗參考：

建議設定為autovacuum_vacuum_scale_factor = '0.01'

19）autovacuum_vacuum_threshold參數

參數說明：

聲明在任何表裏觸發VACUUM所需最小的行更新或刪除數量。

經驗參考：

建議設定為autovacuum_vacuum_threshold = '1000'

20）work_mem參數

參數說明：

寫到臨時磁盤檔之前被內部排序操作和哈希表使用的記憶體量。

經驗參考：

建議設定為work_mem=」16MB」

2、高可用測試