數據在OpenTSDB用戶界面上間歇性顯示

Question

我們正在使用BigTable將度量指標推送到OpenTSDB（2.3.0），並且不時出現一個好奇的問題，我們正在運行一些大容量測試。對於某些指標，當我們運行查詢時，一小時的數據停止顯示在Web UI上。 「缺失」數據的跨度非常清晰，接近於小時（UTC）。過了一會兒，在重新運行相同的查詢時，數據顯示出來。除了小時之外，似乎沒有任何我們可以推斷的模式。什麼指針來尋找和調試呢？

Answer 1

在數據顯示之前您需要等待多長時間？它總是最近一小時缺失嗎？

您是否嘗試過使用OpenTSDB CLI發生這種情況併發出掃描以查看數據是否可用？

http://opentsdb.net/docs/build/html/user_guide/cli/scan.html

您還可以通過HBase的外殼掃描檢查，看看是否能得到這樣（這裏是它如何存儲在HBase的信息）的原始數據：

http://opentsdb.net/docs/build/html/user_guide/backends/hbase.html

如果你可以驗證數據在那裏，那麼它可能是一個Web UI問題。如果沒有，下一個可能的罪魁禍首是在寫入管道中備份的東西。

我不知道Google Cloud Bigtable後端圖層會導致此行爲的任何特定問題，但我相信有些人在高負載期間遇到導致性能下降的OpenTSDB壓縮問題。

在Google雲端控制檯中檢查是否值得檢查延遲，CPU或吞吐量圖表中是否存在與您遇到問題時間相關的異常值。