Guía de configuración del origen RDS Postgres

Configura Amazon RDS Postgres como origen para ClickPipes

​

Versiones compatibles de Postgres

ClickPipes es compatible con Postgres 12 y versiones posteriores.

​

Habilitar la replicación lógica

Puedes omitir esta sección si tu instancia de RDS ya tiene configurada la siguiente opción:

• rds.logical_replication = 1

Esta opción suele venir preconfigurada si antes usaste otra herramienta de replicación de datos.

postgres=> SHOW rds.logical_replication ;
 rds.logical_replication
-------------------------
 on
(1 row)

Si aún no está configurado, sigue estos pasos:

1. Crea un nuevo grupo de parámetros para tu versión de Postgres con la configuración requerida:
   • Establece rds.logical_replication en 1

2. Aplica el nuevo grupo de parámetros a tu base de datos de RDS Postgres

3. Reinicia tu instancia de RDS para aplicar los cambios

​

Configurar el usuario de base de datos

Conéctese a su instancia de RDS Postgres como usuario administrador y ejecute los siguientes comandos:

1. Cree un usuario dedicado para ClickPipes:

   CREATE USER clickpipes_user PASSWORD 'some-password';
   

2. Conceda acceso de solo lectura a nivel de esquema al usuario que creó en el paso anterior. El siguiente ejemplo muestra los permisos para el esquema public. Repita estos comandos para cada esquema que contenga tablas que quiera replicar:

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;
   

3. Conceda privilegios de replicación al usuario:

   GRANT rds_replication TO clickpipes_user;
   

4. Cree una publicación con las tablas que quiera replicar. Recomendamos encarecidamente incluir en la publicación solo las tablas que necesite para evitar una sobrecarga de rendimiento.

Cualquier tabla incluida en la publicación debe tener una clave primaria definida o tener su identidad de réplica configurada como FULL. Consulte las Preguntas frecuentes de Postgres para obtener orientación sobre cómo delimitar el alcance.

• Para crear una publicación para tablas específicas:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;
  

  • Para crear una publicación para todas las tablas de un esquema específico:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";
    

La publicación clickpipes contendrá el conjunto de eventos de cambio generados a partir de las tablas especificadas y posteriormente se usará para ingestar el flujo de replicación.

​

Configurar el acceso de red

​

Control de acceso basado en IP

Si desea restringir el tráfico a su instancia de RDS, añada las IPs NAT estáticas documentadas a las reglas de entrada del grupo de seguridad de su RDS.

​

Acceso privado mediante AWS PrivateLink

Para conectarse a su instancia de RDS a través de una red privada, puede usar AWS PrivateLink. Siga nuestra guía de configuración de AWS PrivateLink para ClickPipes para establecer la conexión.

​

Soluciones alternativas para RDS Proxy

RDS Proxy no admite conexiones de replicación lógica. Si tienes direcciones IP dinámicas en RDS y no puedes usar un nombre DNS ni una función Lambda, aquí tienes algunas alternativas:

1. Con una tarea cron, resuelve periódicamente la IP del endpoint de RDS y actualiza el NLB si cambia.
2. Usando notificaciones de eventos de RDS con EventBridge/SNS: desencadena actualizaciones automáticamente mediante las notificaciones de eventos de AWS RDS.
3. EC2 fija: despliega una instancia de EC2 para que actúe como servicio de sondeo o proxy basado en IP.
4. Automatiza la gestión de direcciones IP con herramientas como Terraform o CloudFormation.

​

¿Qué sigue?

Ahora puedes crear tu ClickPipe y empezar a ingestar datos desde tu instancia de Postgres hacia ClickHouse Cloud. Asegúrate de anotar los datos de conexión que usaste al configurar tu instancia de Postgres, ya que los necesitarás durante el proceso de creación de ClickPipe.