Este guia fornece às equipes corporativas que estão avaliando o ClickHouse de código aberto informações abrangentes sobre recursos de monitoramento e observabilidade para implantações em produção. Clientes empresariais frequentemente perguntam sobre recursos de monitoramento prontos para uso, integração com stacks de observabilidade existentes, incluindo ferramentas como Datadog e AWS CloudWatch, e como o monitoramento do ClickHouse se compara ao de implantações autogerenciadas.
Arquitetura de integração baseada em Prometheus
- Exposição completa de métricas: toda a gama de métricas disponíveis do ClickHouse, sem filtragem nativa
- Métricas em tempo real: geradas diretamente das tabelas de sistema quando coletadas
Acesso direto ao sistema
Consulta tabelas de sistema de produção, o que adiciona carga de monitoramento e impede estados ociosos que reduzem custos
A integração externa permite que as organizações mantenham fluxos de monitoramento já estabelecidos, aproveitem a experiência que as equipes já têm com ferramentas conhecidas e integrem o monitoramento do ClickHouse à observabilidade mais ampla da infraestrutura sem interromper os processos atuais nem exigir investimentos significativos em treinamento.
As equipes podem aplicar às métricas do ClickHouse regras de alerta e procedimentos de escalonamento já existentes, ao mesmo tempo em que correlacionam o desempenho do banco de dados com a saúde da aplicação e da infraestrutura em uma plataforma unificada de observabilidade. Essa abordagem maximiza o ROI das configurações atuais de monitoramento e acelera a solução de problemas por meio de painéis consolidados e ferramentas já conhecidas.
Monitoramento do Grafana Cloud
Observe que essa abordagem reativará serviços inativos, pois o HyperDX consulta diretamente as tabelas de sistema.
Opções de implantação do ClickStack
- Helm: Recomendado para ambientes de depuração baseados em Kubernetes. Permite configuração específica para cada ambiente, limites de recursos e escalonamento via
values.yaml.
- Docker Compose: Implanta cada componente (ClickHouse, HyperDX, OTel collector, MongoDB) individualmente.
- Somente HyperDX: Contêiner independente do HyperDX.
Para ver todas as opções de implantação e os detalhes da arquitetura, consulte a documentação do ClickStack e o guia de ingestão de dados.
O plugin de fonte de dados do ClickHouse para Grafana permite visualizar e explorar dados diretamente no ClickHouse usando tabelas de sistema. Essa abordagem funciona bem para monitorar o desempenho e criar dashboards personalizados para análises detalhadas do sistema.
Para detalhes sobre a instalação e a configuração do plugin, consulte o plugin de fonte de dados do ClickHouse. Para uma configuração completa de monitoramento usando o mix-in Prometheus-Grafana com dashboards pré-configurados e regras de alerta, consulte Monitor ClickHouse with the new Prometheus-Grafana mix-in.
O Datadog oferece um plugin de monitoramento do ClickHouse para seu agente, que consulta tabelas de sistema diretamente. Essa integração fornece monitoramento abrangente do banco de dados com reconhecimento do cluster por meio da funcionalidade clusterAllReplicas.
Essa integração não é recomendada para implantações no ClickHouse Cloud devido à incompatibilidade com o comportamento de inatividade usado para otimizar custos e às limitações operacionais da camada de proxy da Cloud.
Usando tabelas de sistema diretamente
system.query_log, e consultando-as diretamente. Usando o Console SQL ou o clickhouse client, as equipes podem identificar consultas lentas, analisar o uso de recursos e acompanhar padrões de uso em toda a organização.
Análise de desempenho de consultas
Você pode usar os logs de consulta da tabela de sistema para realizar uma análise de desempenho de consultas.
Consulta de exemplo: encontre as 5 consultas com maior tempo de execução em todas as réplicas do cluster:
SELECT
type,
event_time,
query_duration_ms,
query,
read_rows,
tables
FROM clusterAllReplicas(default, system.query_log)
WHERE event_time >= (now() - toIntervalMinute(60)) AND type='QueryFinish'
ORDER BY query_duration_ms DESC
LIMIT 5
FORMAT VERTICAL
Assim como outras abordagens de monitoramento direto do banco de dados, esta solução consulta diretamente as tabelas de sistema do ClickHouse, o que impede que as instâncias fiquem ociosas e afeta a otimização de custos.
