アーキテクチャ - ClickHouse Documentation

ClickStack のアーキテクチャは、デプロイ方法によって異なります。すべてのコンポーネントをセルフマネージドで運用する ClickStack Open Source と、ClickHouse と HyperDX UI が ClickHouse Cloud でホストおよび運用される Managed ClickStack では、アーキテクチャ上の重要な違いがあります。どちらのモデルでも中核コンポーネントは共通ですが、各コンポーネントのホスティング、スケーリング、セキュリティ確保に関する責任範囲は異なります。

アーキテクチャの概要

以下では、マネージド版とオープンソース版の ClickStack のアーキテクチャの概要を説明します。

Managed ClickStack
オープンソース版 ClickStack

Managed ClickStack は ClickHouse Cloud 内で完全に動作し、ClickStack と同じデータモデルとユーザー体験を維持しながら、完全マネージド型のオブザーバビリティバックエンドを提供します。このモデルでは、ClickHouse と ClickStack UI (HyperDX) は ClickHouse Cloud によってホスト、運用、保護されます。ユーザーが担うのは、テレメトリーデータをマネージドサービスに送信するための OpenTelemetry (OTel) collector を実行することだけです。

ClickHouse Cloud: エンジン

Managed ClickStack の中核となるのが ClickHouse Cloud です。これは ClickHouse のサーバーレス版であり、大規模なリアルタイム分析向けに設計されたカラム指向データベースです。これにより、オブザーバビリティデータのインジェストとクエリが可能になり、次のことを実現できます。

テラバイト規模のイベントをサブ秒で検索
高カーディナリティなレコードを 1 日あたり数十億件インジェスト
オブザーバビリティデータに対して少なくとも 10 倍の高い圧縮率
動的なスキーマ進化を可能にする、半構造化 JSON データのネイティブサポート
数百もの組み込み分析関数を備えた強力な SQL エンジン

ClickHouse Cloud はオブザーバビリティデータを wide イベントとして扱うため、ログ、メトリクス、トレースを単一の統合構造内で深く関連付けることができます。また、ClickHouse Open Source と比べて、オブザーバビリティ向けに次のような多くの利点があります。

ストレージとは独立したコンピュートの自動スケーリング
object storage をベースにした低コストかつ実質無制限の保持
Warehouses による読み取り workload と書き込み workload の個別分離
統合認証
自動バックアップ
セキュリティおよびコンプライアンス機能
シームレスなアップグレード

OpenTelemetry collector: データインジェスト

ClickStack Managed には、オープンで標準化された方法でテレメトリーを取り込むため、事前設定済みの OpenTelemetry (OTel) collector が含まれています。データは OTLP プロトコルを使用して次の方法で送信できます。

gRPC (ポート 4317)
HTTP (ポート 4318)

collector は、効率的なバッチでテレメトリーを ClickHouse Cloud にエクスポートします。また、データソースごとに最適化されたテーブルスキーマをサポートし、あらゆるシグナル種別でスケーラブルなパフォーマンスを確保します。このアーキテクチャコンポーネントはユーザーが管理します

ClickStack UI (HyperDX) : インターフェイス

ClickStack UI (HyperDX) は ClickStack のユーザーインターフェイスです。次の機能を提供します。

自然言語検索と Lucene スタイルの検索
リアルタイムデバッグ向けの live tail
ログ、メトリクス、トレースの統合ビュー
フロントエンドオブザーバビリティのための session replay
ダッシュボードの作成と alert の設定
高度な分析のための SQL クエリインターフェイス

ClickHouse 向けに特化して設計された HyperDX は、強力な検索機能と直感的なワークフローを組み合わせることで、異常の発見、問題の調査、インサイトの迅速な取得を可能にします。Managed ClickStack では、UI は ClickHouse Cloud console の認証システムに統合されています。

ClickStack Open Source のアーキテクチャは、ClickHouse、HyperDX、および OpenTelemetry (OTel) collector の 3 つの中核コンポーネントを中心に構成されています。アプリケーション状態の保存には MongoDB インスタンスが使用されます。これらが連携することで、ログ、メトリクス、トレースに最適化された、高性能なオープンソースのオブザーバビリティスタックを実現します。

ClickHouse: データベースエンジン

ClickStack の中核にあるのは、大規模なリアルタイム分析向けに設計されたカラム指向データベース、ClickHouse です。ClickHouse はオブザーバビリティデータのインジェストとクエリを支え、次のことを可能にします。

テラバイト規模のイベントをサブ秒で検索
高いカーディナリティを持つ数十億件のレコードを 1 日あたり取り込む
オブザーバビリティデータに対して少なくとも 10 倍の高い圧縮率
半構造化 JSON データのネイティブサポートにより、スキーマの動的な進化が可能
数百もの組み込み分析関数を備えた強力な SQL エンジン

ClickHouse はオブザーバビリティデータを wide イベントとして扱うため、単一の統合構造内でログ、メトリクス、トレースをまたいだ詳細な相関分析が可能です。

OpenTelemetry collector: データのインジェスト

ClickStack には、オープンで標準化された方法でテレメトリーを取り込むために、事前設定済みの OpenTelemetry (OTel) collector が含まれています。次の方法で OTLP プロトコルを使用してデータを送信できます。

gRPC (ポート 4317)
HTTP (ポート 4318)

collector はテレメトリーを効率的なバッチ単位で ClickHouse にエクスポートします。データソースごとに最適化されたテーブルスキーマをサポートしており、あらゆるシグナルタイプでスケーラブルなパフォーマンスを確保します。

ClickStack UI (HyperDX): インターフェイス

ClickStack UI (HyperDX) は ClickStack のユーザーインターフェイスです。次の機能を提供します。

自然言語検索と Lucene スタイルの検索
リアルタイムデバッグのためのライブテーリング
ログ、メトリクス、トレースの統合ビュー
フロントエンドオブザーバビリティのための session replay
ダッシュボードの作成とアラートの設定
高度な分析のための SQL クエリインターフェイス

ClickHouse 向けに特化して設計された HyperDX は、強力な検索機能と直感的なワークフローを組み合わせることで、異常の発見、問題の調査、インサイトの迅速な取得を可能にします。

MongoDB: アプリケーション状態

ClickStack は MongoDB を使用して、次のようなアプリケーションレベルの状態を保存します。

ダッシュボード
アラート
ユーザープロファイル
保存済みの可視化

イベントデータと状態を分離することで、パフォーマンスとスケーラビリティを確保しつつ、バックアップと設定も簡素化できます。このモジュール型アーキテクチャにより、ClickStack は高速で柔軟性が高く、オープンソースですぐに利用できるオブザーバビリティプラットフォームを提供できます。

​アーキテクチャの概要

​ClickHouse Cloud: エンジン

​OpenTelemetry collector: データ インジェスト

​ClickStack UI (HyperDX) : インターフェイス

​ClickHouse: データベースエンジン

​OpenTelemetry collector: データのインジェスト

​ClickStack UI (HyperDX): インターフェイス

​MongoDB: アプリケーション状態