Интеграция MySQL с ClickHouse

На этой странице рассматривается использование табличного движка MySQL для чтения данных из таблицы MySQL.

Примечание

В ClickHouse Cloud вы также можете использовать MySQL ClickPipe (в настоящее время в режиме публичного бета-тестирования), чтобы упростить перенос данных из ваших таблиц MySQL в ClickHouse.

Подключение ClickHouse к MySQL с использованием табличного движка MySQL

Табличный движок MySQL позволяет подключить ClickHouse к MySQL. Операторы SELECT и INSERT могут выполняться как из ClickHouse, так и непосредственно в таблице MySQL. В этой статье рассмотрены базовые способы использования табличного движка MySQL.

1. Настройка MySQL

1. Создайте базу данных в MySQL:

CREATE DATABASE db1;

2. Создайте таблицу:

CREATE TABLE db1.table1 (
  id INT,
  column1 VARCHAR(255)
);

3. Добавьте несколько строк‑примеров:

INSERT INTO db1.table1
  (id, column1)
VALUES
  (1, 'abc'),
  (2, 'def'),
  (3, 'ghi');

4. Создайте пользователя для подключения к ClickHouse:

CREATE USER 'mysql_clickhouse'@'%' IDENTIFIED BY 'Password123!';

5. Предоставьте необходимые привилегии. (В демонстрационных целях пользователю mysql_clickhouse предоставляются административные привилегии.)

GRANT ALL PRIVILEGES ON *.* TO 'mysql_clickhouse'@'%';

Примечание

Если вы используете эту возможность в ClickHouse Cloud, возможно, вам потребуется разрешить IP-адресам ClickHouse Cloud доступ к вашему экземпляру MySQL. Обратитесь к ClickHouse Cloud Endpoints API для получения сведений об исходящем трафике.

2. Определите таблицу в ClickHouse

1. Теперь давайте создадим таблицу ClickHouse, которая использует движок таблицы MySQL:

CREATE TABLE mysql_table1 (
  id UInt64,
  column1 String
)
ENGINE = MySQL('mysql-host.domain.com','db1','table1','mysql_clickhouse','Password123!')

Минимальный набор параметров:

parameter	Description	example
host	имя хоста или IP	mysql-host.domain.com
database	имя базы данных MySQL	db1
table	имя таблицы MySQL	table1
user	имя пользователя для подключения к MySQL	mysql_clickhouse
password	пароль для подключения к MySQL	Password123!

Примечание

См. страницу документации MySQL table engine для полного списка параметров.

3. Протестируйте интеграцию

1. В MySQL вставьте пример строки:

INSERT INTO db1.table1
  (id, column1)
VALUES
  (4, 'jkl');

2. Обратите внимание, что таблица ClickHouse теперь содержит существующие записи из таблицы MySQL, а также новую запись, которую вы только что добавили:

SELECT
    id,
    column1
FROM mysql_table1

Должны отобразиться 4 строки:

Query id: 6d590083-841e-4e95-8715-ef37d3e95197

┌─id─┬─column1─┐
│  1 │ abc     │
│  2 │ def     │
│  3 │ ghi     │
│  4 │ jkl     │
└────┴─────────┘

Получено 4 строк. Затрачено: 0,044 сек.

3. Добавим строку в таблицу ClickHouse:

INSERT INTO mysql_table1
  (id, column1)
VALUES
  (5,'mno')

4. Обратите внимание, что в MySQL появилась новая запись:

mysql> select id,column1 from db1.table1;

Теперь вы должны увидеть новую строку:

+------+---------+
| id   | column1 |
+------+---------+
|    1 | abc     |
|    2 | def     |
|    3 | ghi     |
|    4 | jkl     |
|    5 | mno     |
+------+---------+
5 rows in set (0.01 sec)

Итоги

Движок таблицы MySQL позволяет подключить ClickHouse к MySQL для двустороннего обмена данными. Подробности смотрите на странице документации по движку таблицы MySQL.