Ингестия данных
ClickHouse интегрируется с рядом решений для интеграции и трансформации данных. Для получения дополнительной информации ознакомьтесь со страницами ниже:
| Инструмент ингестии данных | Описание |
|---|---|
| Airbyte | Платформа интеграции данных с открытым исходным кодом. Позволяет создавать ELT-конвейеры данных и поставляется с более чем 140 готовыми коннекторами. |
| Apache Spark | Многоязычный движок для выполнения задач дата-инжиниринга, data science и машинного обучения на одноузловых машинах или кластерах. |
| Apache Flink | Средство для потоковой ингестии и обработки данных в ClickHouse через API DataStream Flink с поддержкой пакетной записи. |
| Amazon Glue | Полностью управляемый бессерверный сервис интеграции данных от Amazon Web Services (AWS), упрощающий процессы обнаружения, подготовки и трансформации данных для аналитики, машинного обучения и разработки приложений. |
| Azure Synapse | Полностью управляемый облачный аналитический сервис от Microsoft Azure, объединяющий Big Data и хранилище данных и упрощающий интеграцию, трансформацию и аналитику данных в масштабе с использованием SQL, Apache Spark и конвейеров данных. |
| Azure Data Factory | Облачный сервис интеграции данных, который позволяет создавать, планировать и оркестрировать конвейеры обработки данных в масштабе. |
| Apache Beam | Унифицированная модель программирования с открытым исходным кодом, которая позволяет разработчикам задавать и выполнять конвейеры пакетной и потоковой (непрерывной) обработки данных. |
| BladePipe | Инструмент сквозной интеграции данных в режиме реального времени с задержкой менее секунды, обеспечивающий бесшовный обмен данными между платформами. |
| dbt | Позволяет аналитическим инженерам трансформировать данные в их хранилищах, просто записывая select-выражения. |
| dlt | Библиотека с открытым исходным кодом, которую можно добавить в Python-скрипты для загрузки данных из различных и часто «грязных» источников в хорошо структурированные, постоянно обновляемые датасеты. |
| Fivetran | Платформа автоматизированного перемещения данных, обеспечивающая перенос данных из, в и между вашими облачными платформами данных. |
| NiFi | Программное обеспечение управления рабочими процессами с открытым исходным кодом, предназначенное для автоматизации потоков данных между программными системами. |
| Vector | Высокопроизводительный конвейер данных наблюдаемости, который позволяет организациям контролировать свои данные наблюдаемости. |
