Руководство по настройке источника Postgres в Google Cloud SQL

Настройка экземпляра Postgres в Google Cloud SQL в качестве источника для ClickPipes

Если вы используете одного из поддерживаемых провайдеров (в боковой панели), см. руководство для соответствующего провайдера.

​

Поддерживаемые версии Postgres

Postgres 12 и новее

​

Включение логической репликации

Вам не нужно выполнять приведённые ниже шаги, если параметр cloudsql. logical_decoding включён. Этот параметр обычно уже предварительно настроен, если вы переходите с другого инструмента репликации данных.

1. Нажмите кнопку Edit на странице Overview.

2. Перейдите в раздел Flags и установите cloudsql.logical_decoding в значение on. Для применения этого изменения потребуется перезапустить сервер Postgres.

​

Создание пользователя ClickPipes и предоставление разрешений

Подключитесь к Cloud SQL Postgres под пользователем admin и выполните приведённые ниже команды:

1. Создайте отдельного пользователя для ClickPipes:

   CREATE USER clickpipes_user PASSWORD 'some-password';
   

2. Предоставьте пользователю, которого вы создали на предыдущем шаге, доступ к схеме в режиме только для чтения. В следующем примере показаны разрешения для схемы public. Повторите эти команды для каждой схемы, содержащей таблицы, которые вы хотите реплицировать:

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;
   

3. Выдайте пользователю права на репликацию:

   ALTER USER clickpipes_user WITH REPLICATION;
   

4. Создайте публикацию с таблицами, которые вы хотите реплицировать. Мы настоятельно рекомендуем включать в публикацию только необходимые таблицы, чтобы избежать лишней нагрузки на производительность.

Любая таблица, включённая в публикацию, должна либо иметь определённый первичный ключ, либо иметь для replica identity значение FULL. Рекомендации по выбору области охвата см. в FAQ по Postgres.

• Чтобы создать публикацию для определённых таблиц:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;
  

  • Чтобы создать публикацию для всех таблиц в определённой схеме:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";
    

Публикация clickpipes будет содержать набор событий изменений из указанных таблиц и позже будет использоваться для приёма потока репликации.

​

Добавьте IP-адреса ClickPipes в межсетевой экран

Выполните следующие действия, чтобы добавить IP-адреса ClickPipes в настройки сети.

Если вы используете SSH-туннелирование, добавьте IP-адреса ClickPipes в правила межсетевого экрана jump server/бастиона.

1. Перейдите в раздел Connections

2. Перейдите в подраздел Networking

3. Добавьте публичные IP-адреса ClickPipes

​

Что дальше?

Теперь вы можете создать свой ClickPipe и начать приём данных из вашего экземпляра Postgres в ClickHouse Cloud. Обязательно сохраните сведения о подключении, которые вы использовали при настройке экземпляра Postgres, — они понадобятся вам при создании ClickPipe.