跟蹤一次公司時序資料庫的自研過程

2021-09-28 20:22:45 字數 560 閱讀 1606

一.問題的提出:

公司當前主要用開源時序資料庫opentsdb來儲存從各個伺服器環境採集的服務指標,在執行的過程中發現了各種各樣的問題,問題可歸納為以下幾類:

(1)重量,依賴於hbase,以及hadoop那一套.

(2)多次重**生 oom,需要不斷的重啟,,這在自己公司本地還好,,安裝給客戶之後會發生大量的問題.

(3)寫io的問題,很快把io打滿,但速度達不到幾十m/s.

(4)記憶體一旦上去之後,就會不能穩定的讀寫,即使進行了full gc以後,仍舊不能恢復到原來的樣子.

當然opentsdb也存在以下優點:儲存層不用自己考慮,做好查詢聚合就可以,也會存在hbase的熱點問題等

二.解決辦法

公司針對自身的工作環境,,對比了市面上幾款產品之後,決定自研發一款基於c++實現的時序資料庫產品.將在後續的過程中持續更新介紹此資料庫的設計思想和設計框架等.

1.用c++研發的目的:

(1)更好的控制記憶體

(2)更好的整個磁碟的io,磁碟最小寫單位是4byte/s.多了少了都會被空餘填充

(3)研發人員更熟悉c++語言開發底層.

一次Delphi訪問access資料庫的總結

由於專案需要寫乙個門禁介面,要使用delphi訪問access資料庫的乙個表,不得已要使用以前都沒用過的access資料庫,現在介面寫的差不多了,把自己在這當中學到的一些access記一下,以免到時候遺忘。1 首先要明確access是乙個檔案型資料庫,訪問時不需要ip位址 埠,將連線字串改為 mdb...

一次修復MySQL資料庫的經歷

實驗室伺服器的硬碟滿了,結果導致乙個線上服務的mysql資料庫的兩個錶壞了。具體症狀是desc cdb searchindex顯示 error 1017 hy000 can t find file cdb searchindex errno 2 這是要通過 etc my.cnf 或者同類的mysql...

記一次資料庫的實戰

話不多說 直接開始 開始我們的敲 的工程吧 首先匯入標頭檔案 import tkinter import tkinter.messagebox import pandas as pd import numpy as np import matplotlib.pyplot as plt from sk...