Отправка OpenTelemetry в ClickStack через Bindplane

Направляйте телеметрию в ClickStack через Bindplane для централизованного управления коллекторами

Кратко

Это руководство показывает, как направлять телеметрию в ClickStack, используя встроенный пункт назначения ClickStack в Bindplane. Вы узнаете, как:

• Настроить ClickStack как пункт назначения в Bindplane
• Создать конфигурацию для обработки и маршрутизации телеметрии
• Удалённо развернуть конфигурации на OTel коллекторах и начать сбор данных
• Просматривать телеметрию в ClickStack

Эта интеграция объединяет высокопроизводительную ингестию ClickStack с централизованным управлением коллекторами в Bindplane, упрощая масштабирование обсервабилити без лишней операционной нагрузки.

Требуемое время: 10–15 минут

​

Что такое Bindplane?

Bindplane — это конвейер телеметрии на базе OpenTelemetry, который обеспечивает централизованное управление коллекторами OpenTelemetry. Он упрощает работу с крупными парками коллекторов, предоставляя визуальное редактирование конфигурации, безопасную поэтапную выкатку и аналитику конвейеров.

​

Почему Bindplane + ClickStack?

При работе в большом масштабе управление парком коллекторов OpenTelemetry становится операционным узким местом. ClickStack уже доказал, что способен справляться с экстремальными объёмами ингестии: клиенты принимают телеметрию со скоростью в гигабайты в секунду и хранят сотни PB. В результате фокус смещается с производительности запросов на надёжную эксплуатацию инфраструктуры коллекторов, передающей данные в ClickHouse.

Bindplane решает эту задачу, предоставляя:

• Централизованное управление коллекторами OpenTelemetry — от тысяч до более чем миллиона
• Визуальное редактирование конфигурации с безопасной выкаткой в один клик
• Автоматическое обнаружение ресурсов и обогащение, которые единообразно применяются до того, как данные попадут в ClickStack
• Маршрутизацию fan-out, чтобы одни и те же потоки телеметрии можно было одновременно отправлять в ClickStack и другие пункты назначения
• Полную прозрачность конвейера, включая состояние коллекторов, пропускную способность и сквозную производительность

Ключевые выводы

• ClickStack справляется с экстремальными объёмами ингестии, хранения и быстрыми аналитическими запросами
• Bindplane управляет конвейером ингестии и операционной сложностью управления парком коллекторов

​

Предварительные требования

• Запущенный экземпляр ClickStack (локально, на сервере или в ClickHouse Cloud)
• Учётная запись Bindplane (создайте учётную запись на app.bindplane.com)
• Установленный Bindplane OTel Collector (см. Install Your First Collector)
• Сетевая связность от коллекторов Bindplane до вашей конечной точки OTLP ClickStack
• ключ API для ингестии ClickStack (находится в ClickStack Team Settings > API Keys, см. документацию)
• Открыты необходимые сетевые порты (4318 для HTTP/s или 4317 для gRPC)

​

Интеграция ClickStack с Bindplane

1. ​

   Настройте ClickStack как пункт назначения

   1. Войдите в свою учетную запись Bindplane
   2. Перейдите в Library
   3. Нажмите Add Destination
   4. Выберите ClickStack из списка доступных пунктов назначения
   5. Настройте подключение:
      • Protocol: выберите HTTP или gRPC (по умолчанию: HTTP на порту 4318)
      • Hostname: введите имя хоста или IP-адрес конечной точки OTLP ClickStack
      • Port: введите порт (4318 для HTTP, 4317 для gRPC)
      • API Ingestion Key: введите ключ API для ингестии ClickStack
   6. Задайте имя пункту назначения (например, “ClickStack Production”)
   7. Нажмите Save, чтобы создать пункт назначения

   Главное

   Пункт назначения ClickStack поддерживает и HTTP, и gRPC. Для сценариев с большими объёмами данных для лучшей производительности рекомендуется gRPC со сжатием (gzip, zstd или snappy).

2. ​

   Создайте конфигурацию

   После настройки пункта назначения ClickStack создайте конфигурацию для обработки и маршрутизации телеметрии:

   1. Перейдите в Configurations → Create Configuration
   2. Задайте имя конфигурации (например, “ClickStack Pipeline”)
   3. Выберите Collector Type и Platform для своего развертывания
   4. Добавьте источники:
      • Нажмите Add Source, чтобы выбрать из более чем 80 доступных источников
      • Для тестирования можно добавить источник-генератор телеметрии, чтобы имитировать трафик
      • Для продакшн добавьте источники для вашей фактической телеметрии (логов, метрик, трасс)
   5. Добавьте пункт назначения ClickStack:
      • Нажмите Add Destination
      • Выберите пункт назначения ClickStack, созданный на предыдущем шаге
      • Выберите, какие типы телеметрии отправлять (Logs, Metrics, Traces или все)

   Главное

   Вы можете добавлять процессоры для фильтрации, сэмплирования, маскирования, обогащения, объединения в батчи и других задач, чтобы формировать телеметрию до её поступления в ClickStack. Это гарантирует, что в ClickHouse поступают согласованные и структурированные данные.

3. ​

   Добавьте процессоры (необязательно)

   Bindplane предоставляет аналитику конвейера и рекомендации по процессорам. Вы можете добавлять процессоры, чтобы:

   • Filter: уменьшить объём данных, исключив ненужную телеметрию
   • Sample: применять стратегии сэмплирования к трассам с большим объёмом данных
   • Enrich: добавлять атрибуты resource, labels или метаданные
   • Transform: изменять структуру или содержимое телеметрии
   • Batch: оптимизировать размеры батчей для эффективной передачи

   Эти процессоры последовательно применяются ко всему вашему парку коллекторов до того, как данные попадут в ClickStack.

4. ​

   Разверните коллекторы и запустите выкатку

   1. Добавьте коллектор (BDOT Collector) в свою конфигурацию:

      • Перейдите в Agents в Bindplane
      • Установите коллектор Bindplane в целевых системах, следуя инструкциям Bindplane по установке
      • После подключения коллектор появится в списке коллекторов

   2. Назначьте конфигурацию вашим коллекторам:

      • Выберите коллекторы, которые хотите использовать
      • Назначьте им свою конфигурацию ClickStack

   3. Запустите выкатку:

      • Нажмите Start Rollout, чтобы развернуть конфигурацию
      • Bindplane проверит конфигурацию перед выкаткой
      • Отслеживайте статус выкатки в интерфейсе Bindplane

   Главное

   Bindplane предоставляет безопасные выкатки в один клик с проверкой. Вы можете в реальном времени отслеживать состояние коллекторов, пропускную способность и любые ошибки через интерфейс Bindplane.

5. ​

   Проверьте телеметрию в ClickStack

   После выкатки конфигурации телеметрия начнёт поступать в ClickStack из вашего управляемого парка коллекторов:

   1. Войдите в свой экземпляр ClickStack (интерфейс HyperDX)
   2. Перейдите в разделы Logs, Metrics или Traces
   3. Вы должны увидеть телеметрические данные, поступающие от коллекторов под управлением Bindplane
   4. Данные, поступающие в ClickStack, уже обогащены и структурированы процессорами Bindplane

​

Расширенная конфигурация

​

Маршрутизация fan-out

Bindplane поддерживает маршрутизацию fan-out, позволяя одновременно отправлять одни и те же потоки телеметрии в несколько пунктов назначения. Вы можете:

• Отправлять журналы, метрики и трассировки в ClickStack для долгосрочного хранения и анализа
• Направлять те же данные в другие платформы обсервабилити для оповещений в реальном времени
• Пересылать определённые телеметрические данные в платформы SIEM для анализа безопасности

Это настраивается добавлением нескольких пунктов назначения в конфигурацию Bindplane.

​

Сжатие и производительность

Для сценариев с большими объёмами данных настройте сжатие в пункте назначения ClickStack:

• HTTP: Поддерживает gzip, deflate, snappy, zstd или none (по умолчанию: gzip)
• gRPC: Поддерживает gzip, snappy, zstd или none (по умолчанию: gzip)

Сжатие снижает расход пропускной способности при отправке телеметрии в ClickStack, что особенно важно при работе в большом масштабе.

​

Следующие шаги

Теперь, когда телеметрия поступает из Bindplane в ClickStack, вы можете:

• Создать панели мониторинга: Создавайте визуализации в ClickStack (HyperDX) для журналов, метрик и трейсов
• Настроить оповещения: Настройте оповещения в ClickStack для критических состояний
• Масштабировать развертывание: Добавляйте больше коллекторов и источников по мере роста ваших потребностей в обсервабилити
• Оптимизировать конвейер: Используйте возможности аналитики конвейера в Bindplane, чтобы находить возможности для оптимизации

​

Подробнее

• Документация Bindplane по интеграции с ClickStack