Табличная функция paimonCluster

Расширение для табличной функции paimon, позволяющее параллельно обрабатывать файлы из Apache Paimon на множестве узлов указанного кластера.

Это расширение для табличной функции paimon.

Позволяет параллельно обрабатывать файлы из Apache Paimon на множестве узлов указанного кластера. На инициаторе создаётся соединение со всеми узлами кластера, после чего файлы динамически распределяются между ними. На узле-воркере у инициатора запрашивается следующая задача на обработку, и она выполняется. Это повторяется, пока не будут завершены все задачи.

​

Синтаксис

paimonS3Cluster(cluster_name, url [,aws_access_key_id, aws_secret_access_key] [,format] [,structure] [,compression] [,extra_credentials])

paimonAzureCluster(cluster_name, connection_string|storage_account_url, container_name, blobpath, [,account_name], [,account_key] [,format] [,compression_method])

paimonHDFSCluster(cluster_name, path_to_table, [,format] [,compression_method])

​

Аргументы

• cluster_name — имя кластера, которое используется для построения набора адресов и параметров подключения к удалённым и локальным серверам.
• Описание всех остальных аргументов совпадает с описанием аргументов в эквивалентной табличной функции paimon.
• Необязательный параметр extra_credentials можно использовать для передачи role_arn для role-based access в ClickHouse Cloud. Шаги по настройке см. в разделе Secure S3.

Возвращаемое значение

Таблица с указанной структурой для чтения данных из кластера в указанной таблице Paimon.

​

Виртуальные столбцы

• _path — Путь к файлу. Тип: LowCardinality(String).
• _file — Имя файла. Тип: LowCardinality(String).
• _size — Размер файла в байтах. Тип: Nullable(UInt64). Если размер файла неизвестен, значение равно NULL.
• _time — Время последнего изменения файла. Тип: Nullable(DateTime). Если время неизвестно, значение равно NULL.
• _etag — ETag файла. Тип: LowCardinality(String). Если ETag неизвестен, значение равно NULL.

См. также

• Табличная функция Paimon