Guía de configuración de PlanetScale para Postgres como fuente

Configura PlanetScale para Postgres como fuente para ClickPipes

PlanetScale para Postgres se encuentra actualmente en acceso temprano.

​

Versiones compatibles de Postgres

ClickPipes es compatible con Postgres 12 y versiones posteriores.

​

Habilitar la replicación lógica

1. Para habilitar la replicación en su instancia de Postgres, debemos asegurarnos de que estén configurados los siguientes parámetros:

   wal_level = logical
   

   Para comprobarlo, puede ejecutar el siguiente comando SQL:

   SHOW wal_level;
   

   La salida debería ser logical de forma predeterminada. Si no es así, inicie sesión en la consola de PlanetScale, vaya a Cluster configuration->Parameters y desplácese hacia abajo hasta Write-ahead log para cambiarlo.

Cambiar esto en la consola de PlanetScale ACTIVARÁ un reinicio.

2. Además, se recomienda aumentar el valor de max_slot_wal_keep_size respecto a su valor predeterminado de 4GB. Esto también se hace desde la consola de PlanetScale; vaya a Cluster configuration->Parameters y, a continuación, desplácese hacia abajo hasta Write-ahead log. Para ayudarle a determinar el nuevo valor, consulte aquí.

​

Crear un usuario con permisos y una publicación

Conéctese a su instancia de PlanetScale Postgres con el usuario predeterminado postgres.<...> y ejecute los siguientes comandos:

1. Cree un usuario específico para ClickPipes:

   CREATE USER clickpipes_user PASSWORD 'some-password';
   

2. Conceda acceso de solo lectura a nivel de esquema al usuario que creó en el paso anterior. El siguiente ejemplo muestra los permisos para el esquema public. Repita estos comandos para cada esquema que contenga tablas que quiera replicar:

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;
   

3. Conceda privilegios de replicación al usuario:

   ALTER USER clickpipes_user WITH REPLICATION;
   

4. Cree una publicación con las tablas que quiera replicar. Recomendamos encarecidamente incluir en la publicación solo las tablas que necesite para evitar una sobrecarga de rendimiento.

Cualquier tabla incluida en la publicación debe tener definida una clave primaria o tener configurada su identidad de réplica como FULL. Consulte las preguntas frecuentes de Postgres para obtener orientación sobre cómo delimitar el alcance.

• Para crear una publicación para tablas específicas:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;
  

  • Para crear una publicación para todas las tablas de un esquema específico:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";
    

La publicación clickpipes contendrá el conjunto de eventos de cambio generados a partir de las tablas especificadas, y más adelante se usará para ingestar el flujo de replicación.

​

Consideraciones

1. Para conectarse a PlanetScale Postgres, es necesario añadir la rama actual al nombre de usuario creado anteriormente. Por ejemplo, si el usuario creado se llama clickpipes_user, el usuario real que debe proporcionarse durante la creación de ClickPipe es clickpipes_user.branch, donde branch hace referencia al “id” de la rama actual de PlanetScale Postgres. Para identificarlo rápidamente, puede consultar el nombre de usuario del usuario postgres que utilizó antes para crear el usuario; la parte que aparece después del punto corresponde al id de la rama.
2. No utilice el puerto PSBouncer (actualmente 6432) para pipes de CDC que se conecten a PlanetScale Postgres; debe usarse el puerto estándar 5432. Cualquiera de los dos puertos puede usarse para pipes solo de carga inicial.
3. Asegúrese de conectarse únicamente a la instancia principal; la conexión a instancias de réplica no es compatible actualmente.

​

¿Qué sigue?

Ahora puedes crear tu ClickPipe y empezar a ingestar datos desde tu instancia de Postgres en ClickHouse Cloud. Asegúrate de anotar los datos de conexión que usaste al configurar tu instancia de Postgres, ya que los necesitarás durante el proceso de creación de ClickPipe.