Создание первого Kafka ClickPipe

В этом руководстве описан процесс создания первого Kafka ClickPipe.

Перейдите к источникам данных

На панели слева нажмите кнопку Data Sources и выберите "Set up a ClickPipe".

Выберите источник данных

Выберите источник данных Kafka из списка.

Настройте источник данных

Заполните форму, указав для ClickPipe имя, при необходимости описание, ваши учетные данные и другие параметры подключения.

Настройте реестр схем (необязательно)

Для потоков Avro требуется корректная схема. См. раздел Schema registries для получения подробной информации о том, как настроить реестр схем.

Настройка обратной приватной конечной точки (необязательно)

Настройте обратную приватную конечную точку, чтобы ClickPipes могли подключаться к вашему кластеру Kafka через AWS PrivateLink. Дополнительную информацию см. в нашей документации по AWS PrivateLink.

Выберите топик

Выберите топик, и в интерфейсе отобразится пример документа из этого топика.

Настройте целевую таблицу

На следующем шаге вы можете выбрать, хотите ли вы настроить приём данных в новую таблицу ClickHouse или использовать существующую. Следуйте инструкциям на экране, чтобы изменить имя таблицы, схему и параметры. В верхней части экрана вы можете в реальном времени видеть предварительный просмотр изменений в образце таблицы.

Вы также можете настроить расширенные параметры с помощью доступных элементов управления.

Настройка прав доступа

ClickPipes создаёт отдельного пользователя для записи данных в целевую таблицу. Вы можете назначить этому внутреннему пользователю роль, выбрав пользовательскую или одну из предопределённых ролей:

• Full access: с полным доступом к кластеру. Эта роль может быть полезна, если вы используете материализованное представление или словарь Dictionary с целевой таблицей.
• Only destination table: с правом INSERT только для целевой таблицы.

Завершение настройки

Нажмите «Create ClickPipe», чтобы создать и запустить ваш ClickPipe. Он появится в разделе Data Sources.