上海高性能時序數據庫價格歡迎來電「美信科技」

BlueSky高性能時序數據庫算法

算法 是將之前使用的一個大的查找結構（造成隨機讀寫，影響寫性能的結構，比如 B 樹），變換為將寫操作順序的保存到有序文件中，且每個文件只保存短時間內的改動。文件是有序的，所以讀取的時候，查找會非常快 。且文件不可修改，新的更新操作只會寫入到新的文件中。讀操作檢查有序的文件。然后周期性的合并文件來減少文件的個數。

寫入操作

數據先在內存中緩存（memtable) 中，memtable 使用樹的結構來保持 key 是有序的，同時使用 WAL 的方式備份數據到磁盤。當 memtable 中數據達到一定規模后會刷新數據到磁盤生成文件。更新寫入操作

文件不允許被編輯，所以新的內容或修改只是簡單的生成新的文件。當越多的數據存儲到系統中，就會有越多的不可修改、順序的有序文件被創建。但比較舊的文件不會被更新，重復的激流只會通過創建新的記錄來達到覆蓋的目的，但這這就產生了冗余的數據。

系統會周期性的執行合并的操作，合并操作用于移除重復的更新或者刪除記錄，同時還能夠減少文件個數的增加，保證讀操作的性能。讀取操作

查詢的時候首先檢查內存數據（memtable)，如果沒有找到這個 key，就會逆序的一個個的檢查磁盤上的文件，但讀操作耗時會隨著磁盤上文件個數的增加而增加。（O(K log N), K為文件個數， N 為文件平均大小）。可以使用如下策略減少耗時將文件按照 LRU 緩存到內存中周期性的合并文件，減少文件的個數使用布隆過濾器避免大量的讀文件操作（如果bloom說一個key不存在，就一定不存在，而當bloom說一個文件存在是，可能是不存在的，只是通過概率來保證）

時序數據庫的秘密 —— 快速檢索

碼洞是通過 Lucene 的倒排索引技術實現比關系型數據庫更快的過濾。特別是它對多條件的過濾支持非常好，比如年齡在 18 和 30 之間，性別為女性這樣的組合查詢。倒排索引很多地方都有介紹，但是其比關系型數據庫的 b-tree 索引快在哪里？到底為什么快呢？

籠統的來說，b-tree 索引是為寫入優化的索引結構。當我們不需要支持快速的更新的時候，可以用預先排序等方式換取更小的存儲空間，更快的檢索速度等好處，其代價就是更新慢。要進一步深入的化，還是要看一下 Lucene 的倒排索引是怎么構成的

時序數據庫在風電控制系統的中的應用

分析了風電監控系統對海量數據的存儲和訪問需求,提出了引入時序數據庫技術來解決傳統數據庫在處理海量數據時碰到的存儲容量和訪問效率方面的問題。所采用的時序數據庫和關系數據庫相結合的解決方案,在滿足海量數據存儲和訪問需求的同時,很好地解決了數據模型的描述和存儲問題。介紹了基于時序數據庫開發的一些風電應用。

時間序列數據庫垂直（縱向）切分垂直切分

常見有垂直分庫和垂直分表兩種。

垂直分庫就是根據業務耦合性，將關聯度低的不同表存儲在不同的數據庫。做法與大系統拆分為多個小系統類似，按業務分類進行獨立劃分。與"微服務治理"的做法相似，每個微服務使用單獨的一個數據庫。垂直分表是基于數據庫中的"列"進行，某個表字段較多，可以新建一張擴展表，將不經常用或字段長度較大的字段拆分出去到擴展表中。在字段很多的情況下（例如一個大表有100多個字段），通過"大表拆小表"，更便于開發與維護，也能避免跨頁問題，MySQL底層是通過數據頁存儲的，一條記錄占用空間過大會導致跨頁，造成額外的性能開銷。另外數據庫以行為單位將數據加載到內存中，這樣表中字段長度較短且訪問頻率較高，內存能加載更多的數據，命中率更高，減少了磁盤IO，從而提升了數據庫性能。