Как вставлять данные из PostgreSQL

Рекомендуем ознакомиться с этим руководством, чтобы узнать рекомендации по вставке данных в ClickHouse и оптимизировать производительность вставок.

Для массовой загрузки данных из PostgreSQL пользователи могут использовать:

• ClickPipes — управляемый сервис интеграции для ClickHouse Cloud.
• PeerDB by ClickHouse — ETL-инструмент, специально разработанный для репликации базы данных PostgreSQL как в самостоятельно развернутый ClickHouse, так и в ClickHouse Cloud.
• Табличную функцию Postgres для непосредственного чтения данных. Обычно это подходит, если достаточно пакетной репликации на основе известной контрольной отметки (watermark), например временной метки, или при одноразовой миграции. Такой подход масштабируется до десятков миллионов строк. Пользователям, которые хотят мигрировать более крупные наборы данных, следует рассмотреть вариант с несколькими запросами, каждый из которых обрабатывает часть данных. Для каждой части могут использоваться промежуточные таблицы до переноса её партиций в конечную таблицу. Это позволяет повторно запускать неудачные запросы. Для получения дополнительной информации об этой стратегии массовой загрузки см. соответствующий раздел документации.
• Данные могут быть экспортированы из Postgres в формате CSV. После этого их можно вставить в ClickHouse либо из локальных файлов, либо через объектное хранилище с использованием табличных функций.