背景

隨著時序數據的飛速增長，時序資料庫不僅需要解決系統的穩定性和性能問題，還需實現數據從採集到分析的鏈路打通，才能讓時序數據真正產生價值。在時序數據採集領域，一直缺少自動化的採集工具。雖然用戶可以使用一些開源的採集工具實現數據採集，例如，Telegraf、Logstash和TCollector等，但是，這些採集工具都需要用戶自行搭建並維護其運行的環境，增加了用戶的學習成本，大大提高了數據採集的門檻。另一方面，現有的採集工具缺乏對多個採集源的自動化管理，用戶難以統一管理多個不同的採集源，實時監控各個採集工具是否正常運行並採集數據。

阿里雲InfluxDB?除了提供穩定可靠的時序資料庫服務，還提供了非常便捷的數據採集服務。用戶能夠方便查看各個採集源的運行狀態並管理它們，採集的數據會自動存儲到阿里雲InfluxDB?。用戶無需擔心運維的問題，實現數據從採集到分析的一站式服務。本文主要介紹如何使用InfluxDB?的數據採集服務，實現數據從採集到存儲的自動化管理。

阿里雲InfluxDB?數據採集服務優勢

  • 提供豐富的採集指標：支持MySQL、Redis、MongoDB和系統監控等數據的採集
  • 支持監控多個採集源：用戶可以一目瞭然地監控多個採集源的狀態
  • 採集源便捷管理：無需編碼，用戶即可方便地添加、刪除和修改採集源
  • 採集數據自動存入InfluxDB?，保障採集數據不丟失

我們能做什麼？

1. 輕鬆採集數據

目前，阿里雲InfluxDB?支持採集有關MySQL、Redis、MongoDB和系統監控等四種不同類型的數據，針對每種類型的數據，採集多項監控指標，方便用戶更全面地瞭解被監控對象。用戶通過InfluxDB?實例的管理控制檯，即可添加新採集源，一鍵安裝，無需編寫代碼。

採集數據的操作流程如下：

  • 創建採集配置：選擇採集數據的類型、數據寫入的資料庫和保留策略。
  • 添加採集源：在數據源機器上一鍵安裝InfluxDB?數據採集工具，選擇採集配置，即可開始採集數據。

2. 實時監控採集源

採集源在運行過程中，您可以實時地監控數據採集的狀態，查看採集數據最近一次到達InfluxDB?的時間；並且，您還可以隨時停止數據的採集，在您認為合適的時候再重新開啟數據採集服務。

3. 一鍵切換採集數據類型

如果您想要改變被監控機器上的採集數據類型，無需重新添加新的採集源，只需選擇您想要的採集配置即可，數據採集工具會自動切換成採集您指定的監控數據。

4. 採集數據自動存入InfluxDB?

您可以在採集配置中選擇數據流入的資料庫和保留策略，數據採集工具會自動將採集數據存入指定的資料庫和保留策略，並且，您可以在採集源運行的過程中修改數據寫入的資料庫和保留策略，只需修改採集配置即可。

最佳實踐

本小節將介紹如何採集系統監控的數據，並實時展示採集結果。系統監控的數據包含處理器、磁碟、內存、網路、進程和系統等信息，收集的數據分別存儲在8個不同的measurement中（measurement分別為cpu、disk、diskio、mem、net、processes、swap和system）。在開始前，請先確保已經成功創建資料庫和對該資料庫有讀寫許可權的用戶賬號。

1. 創建採集系統監控數據的配置

點擊InfluxDB?管理控制檯左側導航欄的「添加採集配置」，進入到採集配置添加界面，如下圖所示。填寫「採集配置名稱」，選擇「採集數據類型」為「系統監控」，然後選擇「授權賬號」、「數據寫入DB」和「資料庫存儲策略」，並填寫「授權密碼」。點擊「添加」即可成功創建採集配置。

2. 添加採集源

點擊InfluxDB?管理控制檯左側導航欄的「添加採集源」，進入到採集源添加頁面。

（1）選擇網路類型，「公網」或者「專有網路」，然後點擊「下一步」，如下圖所示。

（2）在數據源所在主機安裝採集工具。將安裝命令複製到主機上即可運行採集工具。採集工具運行後會與InfluxDB?建立連接，在「新採集源掃描結果列表」上可以看到新添加的採集源，如果在該列表上沒有顯示，可以點擊「刷新」或「自動刷新」。如下圖所示。

（3）選擇採集系統監控的數據。在上圖中，點擊「選擇採集配置」，進入如下界面，從下拉框中選擇剛剛創建的名為「collect-system」的採集配置。選擇完成後，點擊「保存」。

（4）啟動數據採集。勾選需要啟動的採集源，然後點擊「完成並啟動採集」，採集工具即可在採集源上開始採集數據，如下圖所示。

3. 查看數據採集的狀態

在「採集源列表」中，您可以看到所有與InfluxDB?實例建立連接的採集源，如下圖所示。每個採集源由uuid唯一標識，「採集狀態」為「running」表示採集工具正在採集數據並上報到InfluxDB?，「最新採集上報成功時間」表示採集數據最近一次成功發送到InfluxDB?的時間。

4. 使用Grafana可視化採集數據

（1）安裝Grafana。有關如何安裝Grafana可查看文檔。

（2）添加數據源。設置「URL」為InfluxDB?實例的地址，並且填寫採集數據所寫入的資料庫和用戶賬號，如下圖所示。

（3）配置Dashboard，編寫查詢規則。這裡示範的是查詢磁碟使用率，查詢語句為：

SELECT MEAN("used_percent") FROM "disk" GROUP BY time(10s)

實時查詢結果如下圖所示。

您可以根據實際需要，查看其它measurement和field的數據，分別在FROM和SELECT語句中指定即可。

總結

阿里雲InfluxDB?提供方便快捷的數據採集服務，自動化管理數據源，幫您解決數據採集的問題，實現數據從採集到存儲的自動化。未來，我們會支持更多數據類型和指標的採集，敬請期待。

  • 阿里雲InfluxDB??數據採集使用手冊：https://help.aliyun.com/document_detail/125863.html?spm=a2c4g.11174283.6.711.5898130essOnWz
  • 阿里雲InfluxDB??文檔：https://help.aliyun.com/document_detail/113093.html?spm=a2c4g.11186623.6.705.4a4046adFUBnM2
  • 阿里雲InfluxDB??公測購買鏈接：https://common-buy.aliyun.com/?commodityCode=hitsdb_influxdb_pre#/buy

本文作者：德施

原文鏈接

更多技術乾貨敬請關注云棲社區知乎機構號：阿里云云棲社區 - 知乎

本文為雲棲社區原創內容，未經允許不得轉載。


推薦閱讀：
相關文章