Интеграция Confluent Cloud с ClickHouse
Предварительные требования
Предполагается, что вы знакомы со следующим:
- ClickHouse Connector Sink
- Confluent Cloud
Официальный коннектор Kafka от ClickHouse для Confluent Cloud
Создание топика
Создать топик в Confluent Cloud довольно просто; подробные инструкции приведены здесь.
Важные замечания
- Имя топика Kafka должно совпадать с именем таблицы в ClickHouse. Настроить это соответствие можно с помощью трансформера (например,
ExtractTopic). - Большее число партиций не всегда означает более высокую производительность — следите за нашим будущим руководством с дополнительной информацией и рекомендациями по производительности.
Соберите параметры подключения
Чтобы подключиться к ClickHouse по HTTP(S), вам потребуется следующая информация:
| Параметр(ы) | Описание |
|---|---|
HOST и PORT | Обычно используется порт 8443 при использовании TLS или 8123 при отсутствии TLS. |
DATABASE NAME | По умолчанию существует база данных default; используйте имя базы данных, к которой вы хотите подключиться. |
USERNAME и PASSWORD | По умолчанию имя пользователя — default. Используйте имя пользователя, соответствующее вашему сценарию. |
Сведения о вашем сервисе ClickHouse Cloud доступны в консоли ClickHouse Cloud. Выберите сервис и нажмите Connect:
Выберите HTTPS. Параметры подключения отображаются в примере команды curl.
Если вы используете самостоятельное (self-managed) развертывание ClickHouse, параметры подключения задаются администратором ClickHouse.
Установка коннектора
Установите полностью управляемый ClickHouse Sink Connector в Confluent Cloud, следуя официальной документации.
Настройка коннектора
Во время настройки ClickHouse Sink Connector вам потребуется указать следующие параметры:
- имя хоста (hostname) сервера ClickHouse
- порт сервера ClickHouse (по умолчанию 8443)
- имя пользователя и пароль для сервера ClickHouse
- имя базы данных в ClickHouse, в которую будут записываться данные
- имя топика в Kafka, который будет использоваться для записи данных в ClickHouse
Интерфейс Confluent Cloud поддерживает расширенные параметры конфигурации для задания интервалов опроса, размеров пакетов и других параметров с целью оптимизации производительности.
