Жизненный цикл ClickPipe для Postgres

Различные статусы пайпа и их значения

В этом документе описаны различные этапы ClickPipe для Postgres, возможные статусы и их значения.

​

Выделение ресурсов

Когда вы нажимаете кнопку Create ClickPipe, ClickPipe создаётся в состоянии Provisioning. На этапе выделения ресурсов мы разворачиваем базовую инфраструктуру для работы ClickPipes в сервисе, а также регистрируем исходные метаданные для пайпа. Поскольку вычислительные ресурсы для ClickPipes внутри сервиса общие, второй ClickPipe будет создан значительно быстрее первого, — инфраструктура уже будет готова.

​

Настройка

После создания пайпа он переходит в состояние Setup. В этом состоянии мы создаём таблицы ClickHouse в пункте назначения. Здесь же мы получаем и сохраняем определения ваших исходных таблиц.

​

Снимок

После завершения настройки мы переходим в состояние Snapshot (если только это не CDC-пайп, который перейдёт в состояние Running). Snapshot, Initial Snapshot и Initial Load (более распространённый вариант) — взаимозаменяемые термины. В этом состоянии создаётся снимок таблиц исходной базы данных и загружается в ClickHouse. Логическая репликация здесь не используется, но на этом шаге создаётся слот репликации, поэтому параметры max_slot_wal_keep_size и хранилища должны учитывать рост слота во время начальной загрузки. Подробнее о начальной загрузке см. в документации по параллельной начальной загрузке. Пайп также переходит в состояние Snapshot, когда запускается ресинхронизация или когда в существующий пайп добавляются новые таблицы.

​

Running

После завершения начальной загрузки пайп переходит в состояние Running (если только это не пайп только со снимком, который перейдёт в Completed). На этом этапе пайп начинает CDC (фиксация изменений данных). В этом состоянии мы запускаем логическую репликацию из исходной базы данных в ClickHouse. Подробнее об управлении CDC см. в документации по управлению CDC.

​

Приостановлено

Когда пайп находится в состоянии Running, его можно приостановить. Это остановит процесс CDC, и пайп перейдёт в состояние Paused. В этом состоянии новые данные из базы данных-источника не загружаются, но существующие данные в ClickHouse остаются без изменений. Затем работу пайпа можно возобновить.

​

Приостановка

Это состояние скоро станет доступно. Если вы используете наш OpenAPI, рекомендуем уже сейчас добавить его поддержку, чтобы ваша интеграция продолжала работать после выхода этой функции.

При нажатии кнопки Pause пайп переходит в состояние Pausing. Это временное состояние, в котором выполняется остановка процесса CDC. После полной остановки процесса CDC пайп перейдёт в состояние Paused.

​

Изменение

Это состояние скоро появится. Если вы используете наш OpenAPI, рекомендуем уже сейчас добавить его поддержку, чтобы ваша интеграция продолжала работать после выхода этой возможности.

Сейчас это означает, что пайп находится в процессе удаления таблиц.

​

Ресинхронизация

Это состояние скоро появится. Если вы используете наш OpenAPI, рекомендуем уже сейчас добавить его поддержку, чтобы ваша интеграция продолжала работать, когда оно станет доступно.

Это состояние означает, что пайп находится на этапе ресинхронизации, на котором выполняется атомарный обмен таблиц _resync с исходными таблицами. Подробнее о ресинхронизации см. в документации по ресинхронизации.

​

Завершено

Это состояние относится к пайпам, работающим только со снимком, и означает, что создание снимка завершено и больше ничего делать не нужно.

​

Failed

Если в пайпе возникнет неустранимая ошибка, он перейдёт в состояние Failed. Чтобы восстановить работу после этого, вы можете обратиться в службу поддержки или повторно синхронизировать свой пайп.