system.tokenizers

Tabla del sistema que muestra todos los tokenizadores disponibles.

Consultas en ClickHouse Cloud

Los datos de esta tabla del sistema se almacenan localmente en cada nodo de ClickHouse Cloud. Por lo tanto, para obtener una vista completa de todos los datos, es necesario usar la función clusterAllReplicas. Consulta aquí para más detalles.

​

Descripción

Muestra todos los tokenizadores disponibles. Se pueden usar en las funciones tokens, hasAllTokens, hasAnyTokens y en el índice de texto.

​

Columnas

• name (String) — Nombre del tokenizador

​

Ejemplo

SELECT * FROM system.tokenizers;

┌─name────────────┐
│ ngrams          │
│ splitByNonAlpha │
│ sparseGrams     │
│ tokenbf_v1      │
│ ngrambf_v1      │
│ array           │
│ splitByString   │
│ sparse_grams    │
│ asciiCJK        │
└─────────────────┘