View normal
View parametrizada
Visão materializada
OR REPLACE e IF NOT EXISTS são mutuamente excludentes: usá-los em conjunto resulta em erro de sintaxe.
CREATE OR REPLACE MATERIALIZED VIEW
CREATE OR REPLACE MATERIALIZED VIEW substitui atomicamente uma visão materializada existente e sua tabela de armazenamento interna (se houver). A operação requer um motor de banco de dados Atomic ou Replicated.
- Sem a cláusula
TO: a tabela interna antiga é excluída e uma nova é criada. Os dados existentes na tabela interna são perdidos, a menos quePOPULATEseja especificado. - Com a cláusula
TO: apenas a definição da visão é substituída; a tabela de destino e seus dados permanecem inalterados. - Compatível com
REFRESH,ON CLUSTERe todas as opções de motor.POPULATEé suportado apenas em bancos de dadosAtomic— ele é rejeitado em bancos de dadosReplicated(veja a observação sobrePOPULATEabaixo). - Requer os privilégios
CREATE VIEWeDROP VIEW.
CREATE OR REPLACE MATERIALIZED VIEW é suportado apenas com os motores de banco de dados Atomic ou Replicated. Não é compatível com o motor de banco de dados Ordinary.TO [db].[table], você deve especificar ENGINE — o motor de tabela usado para armazenar os dados.
Ao criar uma visão materializada com TO [db].[table], você também não pode usar POPULATE.
Uma visão materializada é implementada da seguinte forma: ao inserir dados na tabela especificada em SELECT, parte dos dados inseridos é transformada por essa consulta SELECT, e o resultado é inserido na visão.
Visões materializadas no ClickHouse usam nomes de colunas em vez da ordem das colunas durante a inserção na tabela de destino. Se alguns nomes de colunas não estiverem presentes no resultado da consulta
SELECT, o ClickHouse usará um valor padrão, mesmo que a coluna não seja Nullable. Uma prática segura é adicionar aliases para cada coluna ao usar visões materializadas.Visões materializadas no ClickHouse são implementadas mais como gatilhos de inserção. Se houver alguma agregação na consulta da visão, ela será aplicada apenas ao lote de dados recém-inseridos. Quaisquer alterações nos dados existentes da tabela de origem (como update, delete, drop partition etc.) não alteram a visão materializada.Visões materializadas no ClickHouse não têm comportamento determinístico em caso de erros. Isso significa que os blocos que já foram gravados serão preservados na tabela de destino, mas todos os blocos após o erro não serão.Por padrão, se o envio para uma das visões falhar, a consulta INSERT também falhará, e alguns blocos podem não ser gravados na tabela de destino. Isso pode ser alterado usando a configuração materialized_views_ignore_errors (você deve defini-la para a consulta INSERT); se você definir materialized_views_ignore_errors=true, quaisquer erros durante o envio para as visões serão ignorados e todos os blocos serão gravados na tabela de destino.Observe também que materialized_views_ignore_errors é definido como true por padrão para tabelas system.*_log.POPULATE, os dados existentes da tabela serão inseridos na visão ao criá-la, como se fosse executado um CREATE TABLE ... AS SELECT .... Caso contrário, a consulta conterá apenas os dados inseridos na tabela após a criação da visão. Não recomendamos usar POPULATE, pois os dados inseridos na tabela durante a criação da visão não serão inseridos nela.
Como
POPULATE funciona como CREATE TABLE ... AS SELECT ..., ele tem algumas limitações:- Não é compatível com banco de dados Replicated
- Não é compatível com ClickHouse Cloud
INSERT ... SELECT separado.SELECT pode conter DISTINCT, GROUP BY, ORDER BY, LIMIT. Observe que as transformações correspondentes são realizadas de forma independente em cada bloco de dados inseridos. Por exemplo, se GROUP BY estiver definido, os dados serão agregados durante a inserção, mas apenas dentro de um único pacote de dados inseridos. Os dados não serão agregados posteriormente. A exceção é ao usar um ENGINE que realiza agregação de dados por conta própria, como SummingMergeTree.
Se a visão materializada usar a construção TO [db.]name, você pode fazer DETACH da visão, executar ALTER na tabela de destino e, em seguida, fazer ATTACH da visão previamente desanexada (DETACH).
Observe que a visão materializada é influenciada pela configuração optimize_on_insert. Os dados são mesclados antes de serem inseridos na visão.
As views têm a mesma aparência das tabelas normais. Por exemplo, elas são listadas no resultado da consulta SHOW TABLES.
Para excluir uma view, use DROP VIEW. Embora DROP TABLE também funcione para VIEWs.
Segurança SQL
DEFINER e SQL SECURITY permitem especificar qual usuário do ClickHouse deve ser usado ao executar a consulta subjacente da visão.
SQL SECURITY tem três valores válidos: DEFINER, INVOKER ou NONE. Você pode especificar qualquer usuário existente ou CURRENT_USER na cláusula DEFINER.
A tabela a seguir mostra quais permissões são necessárias para cada usuário ao consultar uma visão.
Observe que, independentemente da opção de segurança SQL, em todos os casos ainda é necessário ter GRANT SELECT ON <view> para poder lê-la.
| Opção de segurança SQL | Visão | Visão materializada |
|---|---|---|
DEFINER alice | alice deve ter o privilégio SELECT na tabela de origem da visão. | alice deve ter o privilégio SELECT na tabela de origem da visão e o privilégio INSERT na tabela de destino da visão. |
INVOKER | O usuário deve ter o privilégio SELECT na tabela de origem da visão. | SQL SECURITY INVOKER não pode ser especificado para visões materializadas. |
NONE | - | - |
SQL SECURITY NONE é uma opção obsoleta. Qualquer usuário com permissões para criar visões com SQL SECURITY NONE poderá executar qualquer consulta arbitrária.
Portanto, é necessário ter GRANT ALLOW SQL SECURITY NONE TO <user> para criar uma visão com essa opção.DEFINER/SQL SECURITY não forem especificados, os valores padrão serão usados:
SQL SECURITY:INVOKERpara views normais eDEFINERpara visões materializadas (configurável por configurações)DEFINER:CURRENT_USER(configurável por configurações)
DEFINER/SQL SECURITY especificados, o valor padrão será SQL SECURITY NONE para a visão materializada e SQL SECURITY INVOKER para a view normal.
Para alterar a segurança SQL de uma visão existente, use
Exemplos
Visualização em tempo real
visão materializada atualizável
interval é uma sequência de intervalos simples:
- Se
APPENDfor especificado, cada atualização insere linhas na tabela sem excluir as já existentes. A inserção não é atômica, assim como em uma consultaINSERT INTO ... SELECTcomum. - Caso contrário, cada atualização substitui atomicamente o conteúdo anterior da tabela.
- Não há gatilho de inserção. Quando novos dados são inseridos na tabela especificada em
SELECT, eles não são enviados automaticamente para a visão materializada atualizável. Em vez disso, a inserção de dados ocorre apenas durante execuções de atualização periódicas ou manuais. - Não há restrições para a consulta
SELECT. Funções de tabela (por exemplo,url()), views, UNION e JOIN são permitidos.
As configurações na parte
REFRESH ... SETTINGS da consulta são configurações de atualização (por exemplo, refresh_retries), distintas das configurações comuns (por exemplo, max_threads). As configurações comuns podem ser especificadas com SETTINGS no final da consulta.Programação de atualização
RANDOMIZE FOR ajusta aleatoriamente o momento de cada atualização, por exemplo:
REFRESH EVERY 1 MINUTE levar 2 minutos para ser atualizada, ela simplesmente passará a ser atualizada a cada 2 minutos. Se depois ficar mais rápida e passar a ser atualizada em 10 segundos, voltará a ser atualizada a cada minuto. (Em particular, ela não será atualizada a cada 10 segundos para compensar um acúmulo de atualizações perdidas — esse acúmulo não existe.)
Além disso, uma atualização é iniciada imediatamente após a criação da visão materializada, a menos que EMPTY seja especificado na consulta CREATE. Se EMPTY for especificado, a primeira atualização ocorrerá de acordo com o agendamento.
Em banco de dados Replicated
APPEND, a coordenação pode ser desativada com SETTINGS all_replicas = 1. Isso faz com que as réplicas executem as atualizações de forma independente. Nesse caso, o ReplicatedMergeTree não é necessário.
No modo sem APPEND, apenas a atualização coordenada é compatível. Para atualização não coordenada, use o banco de dados Atomic e a consulta CREATE ... ON CLUSTER para criar visões materializadas atualizáveis em todas as réplicas.
A coordenação é feita por meio do Keeper. O caminho do znode é determinado pela configuração do servidor default_replica_path.
Dependências de atualização
DEPENDS ON sincroniza as atualizações de diferentes tabelas. Por exemplo, suponha que haja uma cadeia de duas visões materializadas atualizáveis:
DEPENDS ON, ambas as views iniciarão a atualização à meia-noite, e destination normalmente verá em source os dados de ontem. Se adicionarmos uma dependência:
destination só começará depois que a atualização de source terminar nesse dia, de modo que destination se baseie em dados atualizados.
Como alternativa, o mesmo resultado pode ser obtido com:
1 HOUR pode ser qualquer duração menor que o período de refresh de source. A tabela dependente não será atualizada com mais frequência do que qualquer uma de suas dependências. Essa é uma forma válida de configurar uma cadeia de views atualizáveis sem especificar o período real de refresh mais de uma vez.
Mais alguns exemplos:
REFRESH EVERY 1 DAY OFFSET 10 MINUTE(destination) depende deREFRESH EVERY 1 DAY(source)
Se o refresh desourcelevar mais de 10 minutos,destinationesperará por ele.REFRESH EVERY 1 DAY OFFSET 1 HOURdepende deREFRESH EVERY 1 DAY OFFSET 23 HOUR
Semelhante ao caso acima, mesmo que os refreshes correspondentes ocorram em dias diferentes do calendário. O refresh dedestinationno diaX+1esperará pelo refresh desourceno diaX(se ele levar mais de 2 horas).REFRESH EVERY 2 HOURdepende deREFRESH EVERY 1 HOUR
O refresh de2 HOURocorre após o refresh de1 HOURa cada duas horas, por exemplo, após o refresh da meia-noite, depois após o refresh das 2h etc.REFRESH EVERY 1 MINUTEdepende deREFRESH EVERY 2 HOUR
destinationé atualizada uma vez após cada refresh desource, ou seja, a cada 2 horas. O1 MINUTEé efetivamente ignorado.REFRESH AFTER 1 HOURdepende deREFRESH AFTER 1 HOUR
Atualmente, isso não é recomendado.
DEPENDS ON só funciona entre visões materializadas atualizáveis. Listar uma tabela comum na lista DEPENDS ON impedirá que a view seja atualizada (as dependências podem ser removidas com ALTER; consulte Alterando os parâmetros de atualização).Configurações de atualização
refresh_retries- Quantas vezes tentar novamente se a consulta de atualização falhar com uma exceção. Se todas as tentativas falharem, a atualização será adiada para o próximo horário agendado. 0 significa nenhuma tentativa adicional; -1 significa tentativas infinitas. Padrão: 2.refresh_retry_initial_backoff_ms- Atraso antes da primeira tentativa de repetição, serefresh_retriesnão for zero. Cada nova tentativa dobra esse atraso, atérefresh_retry_max_backoff_ms. Padrão: 100 ms.refresh_retry_max_backoff_ms- Limite para o crescimento exponencial do atraso entre tentativas de atualização. Padrão: 60000 ms (1 minuto).all_replicas- Em um banco de dados Replicated comAPPEND, controla se todas as réplicas são atualizadas de forma independente ou se apenas uma réplica é atualizada em cada horário agendado. Não pode ser alterado após a criação da view. Padrão:false.prefer_dependency_replica- Quando a view temDEPENDS ON, a réplica que executou a atualização pai recebe prioridade para executar a atualização dependente; as outras réplicas adiam sua tentativa emprefer_dependency_replica_delay_ms. Útil comSharedMergeTreepara evitar que o atraso de replicação cause ausência de dados em cadeias de atualizações dependentes. Padrão:false.prefer_dependency_replica_delay_ms- Por quanto tempo réplicas não preferenciais aguardam antes de tentar executar uma atualização dependente quandoprefer_dependency_replicaestá habilitado. Padrão: 2000 ms.
Alterando os parâmetros de atualização
ALTER TABLE ... MODIFY REFRESH:
EVERY ou AFTER) é obrigatório: a instrução sempre substitui todos os parâmetros de atualização — agendamento, RANDOMIZE FOR, DEPENDS ON e configurações de atualização — pelos valores especificados. Tudo o que for omitido é redefinido para o valor padrão (configurações) ou removido (dependências, aleatorização).
-
Para alterar apenas as configurações de atualização (por exemplo,
refresh_retries), repita o agendamento atual: -
ALTER TABLE ... MODIFY SETTING refresh_retries = ...não tem suporte em visões materializadas; é preciso usarMODIFY REFRESH. -
Não há suporte para adicionar ou remover
APPEND. -
A configuração
all_replicasnão pode ser alterada após a criação.
Outras operações
system.view_refreshes. Ela contém, em particular, o progresso da atualização (se estiver em execução), os horários da última e da próxima atualização e a mensagem de exceção caso uma atualização falhe.
Para interromper, iniciar, disparar ou cancelar atualizações manualmente, use SYSTEM STOP|START|REFRESH|WAIT|CANCEL VIEW.
Para aguardar a conclusão de uma atualização, use SYSTEM WAIT VIEW. Isso é útil, em particular, para aguardar a atualização inicial após criar uma view.
Curiosidade: a consulta de atualização pode ler da view que está sendo atualizada, visualizando a versão dos dados anterior à atualização. Isso significa que você pode implementar o jogo da vida de Conway: https://pastila.nl/?00021a4b/d6156ff819c83d490ad2dcec05676865#O0LGWTO7maUQIA4AcGUtlA==
Window View
Este é um recurso experimental que pode mudar de forma incompatível com versões anteriores em versões futuras. Ative o uso de window views e da consulta
WATCH com a configuração allow_experimental_window_view. Digite o comando set allow_experimental_window_view = 1.MATERIALIZED VIEW. A window view precisa de um mecanismo de armazenamento interno para armazenar dados intermediários. O armazenamento interno pode ser especificado usando a cláusula INNER ENGINE; a window view usará AggregatingMergeTree como mecanismo interno padrão.
Ao criar uma window view sem TO [db].[table], você deve especificar ENGINE — o motor de tabela para armazenar dados.
Funções de janela de tempo
ATRIBUTOS DE TEMPO
time_attr da função de janela temporal como uma coluna da tabela ou usando a função now(). A consulta a seguir cria uma window view com tempo de processamento.
WATERMARK.
A window view fornece três estratégias de watermark:
STRICTLY_ASCENDING: Emite um watermark com o timestamp máximo observado até o momento. Linhas com timestamp menor que o timestamp máximo não são consideradas tardias.ASCENDING: Emite um watermark com o timestamp máximo observado até o momento menos 1. Linhas com timestamp igual ou menor que o timestamp máximo não são consideradas tardias.BOUNDED: WATERMARK=INTERVAL. Emite watermarks, que correspondem ao timestamp máximo observado menos o atraso especificado.
WATERMARK:
ALLOWED_LATENESS=INTERVAL. Um exemplo de tratamento de atraso é:
SELECT especificada na window view usando a instrução ALTER TABLE ... MODIFY QUERY. A estrutura de dados resultante da nova consulta SELECT deve ser a mesma da consulta SELECT original, com ou sem a cláusula TO [db.]name. Observe que os dados na janela atual serão perdidos, porque o estado intermediário não pode ser reutilizado.
Monitorando novas janelas
TO para enviar os resultados para uma tabela.
LIMIT para definir o número de atualizações a serem recebidas antes de encerrar a consulta. A cláusula EVENTS pode ser usada para obter uma forma abreviada da consulta WATCH, na qual, em vez do resultado da consulta, você receberá apenas o watermark mais recente da consulta.
Configurações
window_view_clean_interval: O intervalo de limpeza da window view, em segundos, para liberar dados obsoletos. O sistema manterá as janelas que ainda não tiverem sido totalmente acionadas, de acordo com o tempo do sistema ou com a configuração deWATERMARK, e os demais dados serão excluídos.window_view_heartbeat_interval: O intervalo de heartbeat, em segundos, para indicar que a consulta watch está ativa.wait_for_window_view_fire_signal_timeout: Tempo limite de espera pelo sinal de acionamento da window view no processamento de tempo de evento.
Exemplo
data, e que a estrutura da tabela seja:
WATCH para obter os resultados.
data,
WATCH deve exibir os resultados da seguinte forma:
TO.
*window_view*).
Uso de Window View
- Monitoramento: Agrega e calcula métricas a partir dos logs ao longo do tempo e envia os resultados para uma tabela de destino. O dashboard pode usar a tabela de destino como tabela de origem.
- Análise: Agrega e pré-processa automaticamente os dados em uma janela de tempo. Isso pode ser útil ao analisar um grande volume de logs. O pré-processamento elimina cálculos repetidos em várias consultas e reduz a latência das consultas.
- Blog: Trabalhando com dados de séries temporais no ClickHouse
- Blog: Criando uma solução de observabilidade com ClickHouse - Parte 2 - Traces
Views temporárias
- Duração da sessão Uma view temporária existe apenas durante a sessão atual. Ela é removida automaticamente quando a sessão termina.
- Sem banco de dados Você não pode qualificar uma view temporária com o nome de um banco de dados. Ela existe fora dos bancos de dados (espaço de nomes da sessão).
-
Não replicado / sem ON CLUSTER
Objetos temporários são locais à sessão e não podem ser criados com
ON CLUSTER. - Resolução de nomes Se um objeto temporário (tabela ou view) tiver o mesmo nome de um objeto persistente e uma consulta referenciar esse nome sem um banco de dados, o objeto temporário será usado.
-
Objeto lógico (sem armazenamento)
Uma view temporária armazena apenas o texto do seu
SELECT(usa internamente o armazenamentoView). Ela não persiste dados e não aceitaINSERT. -
Cláusula de engine
Você não precisa especificar
ENGINE; se ele for informado comoENGINE = View, será ignorado/tratado como a mesma view lógica. -
Segurança / privilégios
Criar uma view temporária exige o privilégio
CREATE TEMPORARY VIEW, que é concedido implicitamente porCREATE VIEW. -
SHOW CREATE
Use
SHOW CREATE TEMPORARY VIEW view_name;para exibir o DDL de uma view temporária.
Sintaxe
OR REPLACE não tem suporte para views temporárias (para manter a consistência com as tabelas temporárias). Se você precisar “substituir” uma view temporária, exclua-a e crie-a novamente.
Exemplos
Não permitidos / limitações
CREATE OR REPLACE TEMPORARY VIEW ...→ não permitido (useDROP+CREATE).CREATE TEMPORARY MATERIALIZED VIEW .../WINDOW VIEW→ não permitido.CREATE TEMPORARY VIEW db.view AS ...→ não permitido (sem qualificador de banco de dados).CREATE TEMPORARY VIEW view ON CLUSTER 'name' AS ...→ não permitido (objetos temporários são locais da sessão).POPULATE,REFRESH,TO [db.table], motores internos e todas as cláusulas específicas de MV → não se aplicam a visões temporárias.
Notas sobre consultas distribuídas
Memory), os dados delas podem ser enviados a servidores remotos durante a execução de consultas distribuídas, da mesma forma que acontece com as tabelas temporárias.