ClickStack — стек обсервабилити ClickHouse

Обзор ClickStack — стека обсервабилити ClickHouse

ClickStack — это платформа обсервабилити промышленного уровня, построенная на ClickHouse и объединяющая журналы, трассировки, метрики и сеансы в одном высокопроизводительном решении. Разработанный для мониторинга и отладки сложных систем, ClickStack позволяет разработчикам и SRE отслеживать проблемы по всей цепочке без переключения между инструментами и без необходимости вручную сопоставлять данные по временным меткам или идентификаторам корреляции.

В основе ClickStack лежит простая, но мощная идея: все данные обсервабилити должны поступать в виде широких, насыщенных событиями записей. Эти события хранятся в таблицах ClickHouse по типам данных — журналы, трассировки, метрики и сеансы, — но при этом остаются полностью доступны для запросов и перекрёстной корреляции на уровне базы данных.

ClickStack создан для эффективной работы с нагрузками с большим числом уникальных значений, используя ориентированную на столбцы архитектуру ClickHouse, гибкую схему для атрибутов с большим числом уникальных значений и полностью параллельный движок выполнения. Это обеспечивает выполнение запросов к огромным наборам данных за доли секунды, быстрые агрегации в широких временных диапазонах и детальный анализ отдельных трассировок.

​

Возможности

Стек включает несколько ключевых возможностей для отладки и анализа первопричин:

• Коррелируйте и ищите журналы, метрики, воспроизведения сеансов и трассировки в одном месте
• Не зависит от схемы и работает поверх существующей схемы ClickHouse
• Молниеносно быстрый поиск и визуализации, оптимизированные для ClickHouse
• Интуитивный полнотекстовый поиск и синтаксис поиска по свойствам (например, level:err), SQL не обязателен
• Анализируйте тренды аномалий с помощью Event deltas
• Настраивайте alerts всего за несколько кликов
• Создавайте панели мониторинга для событий с высокой мощностью без сложного языка запросов
• Нативные запросы к JSON-строкам
• Просматривайте журналы и трассировки в реальном времени, чтобы всегда видеть самые свежие события
• Поддержка OpenTelemetry (OTel) из коробки
• Отслеживайте состояние и производительность — от HTTP-запросов до запросов к БД (APM)
• Event deltas для выявления аномалий и регрессий производительности
• Распознавание шаблонов журналов

​

Компоненты

ClickStack состоит из трех основных компонентов:

1. Интерфейс ClickStack (HyperDX) – специально разработанный фронтенд для просмотра и визуализации данных обсервабилити
2. OpenTelemetry Collector – специально созданный, предварительно настроенный коллектор с заранее определенной схемой для журналов, трассировок и метрик
3. ClickHouse – высокопроизводительная аналитическая база данных в основе стека

Эти компоненты можно развернуть вместе в полностью самоуправляемом развертывании ClickStack с открытым исходным кодом или разделить между управляемыми и самоуправляемыми средами. В Управляемом ClickStack ClickHouse и интерфейс HyperDX размещаются и обслуживаются в ClickHouse Cloud, а пользователи запускают только OpenTelemetry Collector.

Также доступна браузерная версия интерфейса HyperDX, которая позволяет пользователям напрямую подключаться к существующим развертываниям ClickHouse без развертывания дополнительной инфраструктуры интерфейса.

Для начала ознакомьтесь с руководством Getting started, прежде чем загружать демонстрационный набор данных. Вы также можете ознакомиться с документацией по вариантам развертывания и рекомендациям для production-среды.

​

Принципы

ClickStack разработан на основе ключевых принципов, в которых на каждом уровне стека обсервабилити приоритет отдается простоте использования, производительности и гибкости:

​

Настройка за считаные минуты

ClickStack работает из коробки с любым экземпляром ClickHouse и любой схемой, требуя минимальной конфигурации. Начинаете ли вы с нуля или интегрируете его в существующую среду, запустить всё можно за считаные минуты.

​

Удобный и заточенный под задачи

Интерфейс HyperDX поддерживает как SQL, так и синтаксис в стиле Lucene, позволяя пользователям выбирать интерфейс запросов, который лучше всего соответствует их рабочему процессу. Разработанный специально для задач обсервабилити, интерфейс оптимизирован так, чтобы помогать командам быстро находить первопричины проблем и без лишних усилий ориентироваться в сложных данных.

​

Сквозная обсервабилити

ClickStack обеспечивает полную видимость всего стека — от пользовательских сеансов во фронтенде до метрик серверной инфраструктуры, журналов приложений и распределённых трассировок. Это единое представление позволяет выявлять глубокие корреляции и анализировать данные по всей системе.

​

Создано для ClickHouse

Каждый слой стека спроектирован так, чтобы в полной мере использовать возможности ClickHouse. Запросы оптимизированы с учетом аналитических функций и столбцового движка ClickHouse, что обеспечивает быстрый поиск и агрегацию в огромных объемах данных.

​

Нативная интеграция с OpenTelemetry

ClickStack нативно интегрирован с OpenTelemetry и выполняет приём всех данных через конечную точку OpenTelemetry Collector. Для опытных пользователей также поддерживается прямая ингестия в ClickHouse с использованием нативных форматов файлов, пользовательских конвейеров или сторонних инструментов, таких как Vector.

​

С открытым исходным кодом и полностью настраиваемый

ClickStack — полностью проект с открытым исходным кодом, который можно развернуть где угодно. Схема гибкая и может изменяться пользователем, а интерфейс можно настраивать под пользовательские схемы без доработок. Все компоненты, включая коллекторы, ClickHouse и интерфейс, можно масштабировать независимо друг от друга в зависимости от требований к ингестии, запросам или хранению.

​

Архитектурный обзор

Архитектура ClickStack различается в зависимости от способа развертывания. Между ClickStack с открытым исходным кодом, где все компоненты являются самоуправляемыми, и Управляемым ClickStack, где ClickHouse и интерфейс HyperDX размещаются и эксплуатируются в ClickHouse Cloud, есть важные архитектурные различия. Хотя основные компоненты в обеих моделях одинаковы, ответственность за размещение, масштабирование и защиту каждого компонента различается.

Управляемый ClickStack

Управляемый ClickStack полностью работает в ClickHouse Cloud, предоставляя полностью управляемый backend для обсервабилити и сохраняя ту же модель данных ClickStack и тот же пользовательский опыт.

В этой модели ClickHouse и интерфейс ClickStack (HyperDX) размещаются, эксплуатируются и защищаются в ClickHouse Cloud. Пользователи отвечают только за запуск OpenTelemetry Collector для отправки телеметрических данных в управляемый сервис.

Управляемый ClickStack состоит из следующих компонентов:

1. Интерфейс ClickStack (HyperDX) Интерфейс HyperDX полностью интегрирован в ClickHouse Cloud и управляется как часть сервиса. Он предоставляет поиск по журналам, исследование трассировок, панели мониторинга, оповещения и корреляцию между разными типами телеметрии, а также встроенные аутентификацию и управление доступом.

2. OpenTelemetry Collector (самоуправляемый) Пользователи запускают OpenTelemetry Collector, который принимает телеметрические данные от их приложений и инфраструктуры. Этот Collector пересылает данные по OTLP в ClickHouse Cloud. Хотя можно использовать любой OpenTelemetry Collector, соответствующий стандартам, мы настоятельно рекомендуем дистрибутив ClickStack, который предварительно настроен и оптимизирован для ингестии в ClickHouse и работает сразу со схемами ClickStack.

3. ClickHouse Cloud ClickHouse полностью управляется в ClickHouse Cloud и служит хранилищем и движком запросов для всех данных обсервабилити. Пользователям не нужно управлять кластерами, обновлениями или операционными аспектами.

Управляемый ClickStack предоставляет несколько ключевых преимуществ:

• Автоматическое масштабирование вычислительных ресурсов независимо от хранилища
• Недорогое и фактически неограниченное хранение на базе объектного хранилища
• Независимая изоляция чтения и записи с использованием хранилищ ClickHouse Cloud
• Встроенные аутентификация и управление доступом
• Автоматические резервные копии
• Возможности безопасности и соответствия требованиям
• Бесшовные обновления без операционных простоев

Эта модель развертывания позволяет командам полностью сосредоточиться на рабочих процессах обсервабилити и инструментировании, без накладных расходов на самостоятельную эксплуатацию ClickHouse или интерфейса ClickStack.

Для пользователей, развертывающих ClickStack в production, Управляемый ClickStack является рекомендуемым вариантом. Инструкции по развертыванию ClickStack с ClickHouse Cloud см. в руководстве Getting Started.

ClickStack с открытым исходным кодом

ClickStack с открытым исходным кодом состоит из трех основных компонентов:

1. Интерфейс ClickStack (HyperDX) Удобный интерфейс, созданный для обсервабилити. Он поддерживает как запросы в стиле Lucene, так и SQL-запросы, интерактивные панели мониторинга, оповещения, исследование трассировок и многое другое — все это оптимизировано для ClickHouse в качестве backend.

2. OpenTelemetry Collector Специально созданный Collector, настроенный с использованием предопределенной схемы, оптимизированной для ингестии в ClickHouse. Он принимает журналы, метрики и трассировки по протоколам OpenTelemetry и записывает их напрямую в ClickHouse с помощью эффективных батч-вставок.

3. ClickHouse Высокопроизводительная аналитическая база данных, которая служит центральным хранилищем данных для широких событий. ClickHouse обеспечивает быстрый поиск, фильтрацию и агрегацию в большом масштабе, используя свой столбцовый движок и встроенную поддержку JSON.

В дополнение к этим трем компонентам ClickStack использует экземпляр MongoDB для хранения состояния приложения, такого как панели мониторинга, учетные записи пользователей и параметры конфигурации.

Полную архитектурную схему и сведения о развертывании можно найти в разделе Architecture.

Пользователям, заинтересованным в развертывании ClickStack с открытым исходным кодом в production, мы рекомендуем ознакомиться с руководством “Production”.