Руководство по настройке источника Neon Postgres

Это руководство по настройке Neon Postgres, который вы можете использовать для репликации данных в ClickPipes. Для выполнения этой настройки убедитесь, что вы вошли в свою консоль Neon.

Создание пользователя с правами доступа

Давайте создадим нового пользователя для ClickPipes с необходимыми правами доступа для CDC, а также создадим публикацию, которую будем использовать для репликации.

Для этого перейдите на вкладку SQL Editor. Здесь мы можем выполнить следующие SQL команды:

  CREATE USER clickpipes_user PASSWORD 'clickpipes_password';
  GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
  GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
  ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;

-- Предоставить пользователю права на репликацию
  ALTER USER clickpipes_user REPLICATION;

-- Создать публикацию. Она будет использоваться при создании зеркала
  CREATE PUBLICATION clickpipes_publication FOR ALL TABLES;

Нажмите Run, чтобы создать пользователя и публикацию.

Включите логическую репликацию

В Neon вы можете включить логическую репликацию через интерфейс. Это необходимо для работы CDC (фиксации изменений данных) в ClickPipes, чтобы реплицировать данные. Перейдите на вкладку Settings, затем в раздел Logical Replication.

Нажмите Enable, чтобы завершить настройку. После включения вы должны увидеть сообщение об успешном выполнении, приведённое ниже.

Давайте проверим следующие настройки в вашем экземпляре Neon Postgres:

SHOW wal_level; -- должно быть logical
SHOW max_wal_senders; -- должно быть 10
SHOW max_replication_slots; -- должно быть 10

Разрешение IP-адресов (для тарифа Neon Enterprise)

Если вы используете тариф Neon Enterprise, вы можете разрешить IP-адреса ClickPipes, чтобы включить репликацию из ClickPipes в экземпляр Neon Postgres. Для этого откройте вкладку Settings и перейдите в раздел IP Allow.

Скопируйте данные подключения

Теперь, когда у нас создан пользователь, подготовлена публикация и включена репликация, мы можем скопировать данные подключения, чтобы создать новый ClickPipe. Перейдите в Dashboard и в текстовом поле, где отображается строка подключения, измените режим отображения на Parameters Only. Эти параметры понадобятся нам на следующем шаге.

Что дальше?

Теперь вы можете создать ClickPipe и начать приём данных из экземпляра Postgres в ClickHouse Cloud. Обязательно сохраните параметры подключения, которые вы использовали при настройке экземпляра Postgres, поскольку они понадобятся вам при создании ClickPipe.