ClickPipes для потоковой передачи данных и объектного хранилища
В этом разделе рассматривается модель ценообразования ClickPipes для потоковой передачи данных и объектного хранилища.
Как устроена структура ценообразования ClickPipes?
Она включает два компонента:
- Вычислительные ресурсы (Compute): цена за единицу в час. Вычислительные ресурсы отражают стоимость работы репликационных подов ClickPipes, независимо от того, выполняют ли они активный приём данных или нет. Применяется ко всем типам ClickPipes.
- Принятые данные (Ingested data): цена за ГБ. Тариф на принятые данные применяется ко всем потоковым ClickPipes (Kafka, Confluent, Amazon MSK, Amazon Kinesis, Redpanda, WarpStream, Azure Event Hubs) для данных, передаваемых через репликационные поды. Объём принятых данных (ГБ) рассчитывается исходя из количества байт, полученных от источника (в несжатом или сжатом виде).
Что такое реплики ClickPipes?
ClickPipes выполняет приём данных из удалённых источников через специализированную инфраструктуру, которая работает и масштабируется независимо от сервиса ClickHouse Cloud. По этой причине используются выделенные вычислительные реплики.
Какое количество реплик используется по умолчанию и какого они размера?
Каждый ClickPipe по умолчанию использует 1 реплику, которой выделяется 512 MiB RAM и 0.125 vCPU (XS). Это соответствует 0.0625 вычислительной единицы ClickHouse (1 единица = 8 GiB RAM, 2 vCPU).
Каковы публичные цены ClickPipes?
- Вычислительные ресурсы: $0.20 за единицу в час ($0.0125 за реплику в час для размера реплики по умолчанию)
- Данные при приёме: $0.04 за ГБ
Стоимость по метрике «Вычислительные ресурсы» зависит от количества и размера реплик в ClickPipe. Размер реплики по умолчанию можно изменить с помощью вертикального масштабирования, при этом для каждого размера реплики действует следующая цена:
| Размер реплики | Compute Units | RAM | vCPU | Цена в час |
|---|---|---|---|---|
| Extra Small (XS) (по умолчанию) | 0.0625 | 512 MiB | 0.125 | $0.0125 |
| Small (S) | 0.125 | 1 GiB | 0.25 | $0.025 |
| Medium (M) | 0.25 | 2 GiB | 0.5 | $0.05 |
| Large (L) | 0.5 | 4 GiB | 1.0 | $0.10 |
| Extra Large (XL) | 1.0 | 8 GiB | 2.0 | $0.20 |
Как это выглядит на наглядном примере?
В следующих примерах по умолчанию предполагается одна реплика размера M, если явно не указано иное.
| 100 ГБ за 24 ч | 1 ТБ за 24 ч | 10 ТБ за 24 ч | |
|---|---|---|---|
| Стриминговый ClickPipe | (0.25 x 0.20 x 24) + (0.04 x 100) = $5.20 | (0.25 x 0.20 x 24) + (0.04 x 1000) = $41.20 | При 4 репликах: (0.25 x 0.20 x 24 x 4) + (0.04 x 10000) = $404.80 |
| ClickPipe для объектного хранилища | (0.25 x 0.20 x 24) = $1.20 | (0.25 x 0.20 x 24) = $1.20 | (0.25 x 0.20 x 24) = $1.20 |
Оплачиваются только вычисления ClickPipes для оркестрации; фактическую передачу данных обеспечивает базовый сервис ClickHouse
FAQ по ClickPipes для стриминга данных и объектного хранилища
Что такое реплики ClickPipes?
ClickPipes выполняет приём данных из удалённых источников через выделенную инфраструктуру, которая работает и масштабируется независимо от сервиса ClickHouse Cloud. По этой причине используются выделенные вычислительные реплики. Схемы ниже показывают упрощённую архитектуру.
Для потоковых ClickPipes реплики ClickPipes обращаются к удалённым источникам данных (например, к брокеру Kafka), забирают данные, обрабатывают их и выполняют приём в целевой сервис ClickHouse.
В случае ClickPipes для объектного хранилища реплика ClickPipes оркестрирует задачу загрузки данных (определяет файлы для копирования, поддерживает состояние и переносит партиции), в то время как данные забираются непосредственно из сервиса ClickHouse.
Какое значение по умолчанию для числа реплик и их размера?
Для каждого ClickPipe по умолчанию используется 1 реплика с 2 GiB RAM и 0.5 vCPU. Это соответствует 0.25 вычислительным единицам ClickHouse (1 единица = 8 GiB RAM, 2 vCPU).
Можно ли масштабировать реплики ClickPipes?
Да, потоковые ClickPipes можно масштабировать как горизонтально, так и вертикально. Горизонтальное масштабирование добавляет больше реплик для увеличения пропускной способности, а вертикальное масштабирование увеличивает ресурсы (CPU и RAM), выделенные каждой реплике, чтобы обрабатывать более интенсивные нагрузки. Это можно настроить при создании ClickPipe или в любое другое время в разделе Settings -> Advanced Settings -> Scaling.
Сколько реплик ClickPipes мне нужно?
Это зависит от требований к пропускной способности и задержке. Рекомендуется начать со значения по умолчанию — 1 реплика, измерить задержку и при необходимости добавить реплики. Имейте в виду, что для Kafka ClickPipes вам также нужно соответствующим образом масштабировать партиции брокера Kafka. Элементы управления масштабированием доступны в разделе «settings» для каждого потокового ClickPipe.
Как выглядит структура ценообразования ClickPipes?
Она состоит из двух составляющих:
- Compute: цена за единицу в час
Compute отражает стоимость работы подов-реплик ClickPipes, независимо от того, выполняют ли они приём данных или нет. Применяется ко всем типам ClickPipes. - Ingested data: цена за GB
Тариф на принятые данные применяется ко всем потоковым ClickPipes (Kafka, Confluent, Amazon MSK, Amazon Kinesis, Redpanda, WarpStream, Azure Event Hubs) для данных, передаваемых через поды-реплики. Объём принятых данных (GB) тарифицируется на основе байтов, полученных от источника (в несжатом или сжатом виде).
Каковы публичные цены ClickPipes?
- Compute: 0.05 за реплику в час)
- Ingested data: $0.04 за GB
Как это выглядит на наглядном примере?
Например, приём 1 TB данных за 24 часа с помощью коннектора Kafka при использовании одной реплики (0.25 вычислительной единицы) будет стоить:
(0.25 \times 0.20 \times 24) + (0.04 \times 1000) = $41.2Для коннекторов объектного хранилища (S3 и GCS) учитывается только стоимость вычислений ClickPipes, поскольку под ClickPipes не обрабатывает данные, а лишь оркестрирует передачу, которая выполняется базовым сервисом ClickHouse:
0.25 \times 0,20 \times 24 = $1.2Как ценообразование ClickPipes выглядит на фоне рынка?
Философия ценообразования ClickPipes заключается в том, чтобы покрывать операционные затраты платформы и при этом предлагать простой и надежный способ переноса данных в ClickHouse Cloud. С этой точки зрения наш анализ рынка показал, что наше ценовое предложение конкурентоспособно.
