Жизненный цикл MongoDB ClickPipe
В этом документе описаны различные этапы работы MongoDB ClickPipe, возможные статусы и их значения.
Подготовка ресурсов
Когда вы нажимаете кнопку Create ClickPipe, ClickPipe создается в состоянии Provisioning. На этапе подготовки ресурсов мы разворачиваем базовую инфраструктуру для запуска ClickPipes в рамках сервиса, а также регистрируем начальные метаданные для этого ClickPipe. Поскольку вычислительные ресурсы, используемые ClickPipes в одном сервисе, являются общими, ваш второй ClickPipe будет создан значительно быстрее первого — инфраструктура уже развернута.
Настройка
После создания канала (pipe) он переходит в состояние Setup. В этом состоянии мы создаем целевые таблицы ClickHouse.
Снимок
После завершения настройки pipe переходит в состояние Snapshot (если это не pipe только для CDC, в этом случае он переходит в Running). Snapshot, Initial Snapshot и (чаще используемый) Initial Load — взаимозаменяемые термины. В этом состоянии мы создаём снимок исходных коллекций MongoDB и загружаем их в ClickHouse. Настройка ретенции журнала oplog должна учитывать время первоначальной загрузки. Pipe также перейдёт в состояние Snapshot, когда запускается повторная синхронизация (resync) или когда в существующий pipe добавляются новые таблицы.
Рабочий режим
После завершения начальной загрузки конвейер переходит в состояние Running (если это не конвейер только для создания снимка, который перейдёт в состояние Completed). На этом этапе конвейер начинает выполнять CDC (фиксацию изменений данных). В этом состоянии мы начинаем потоковую передачу изменений из исходного кластера MongoDB в ClickHouse. Информацию об управлении CDC см. в документе об управлении CDC.
Приостановлено
После перехода pipe в состояние Running вы можете приостановить его. Это остановит процесс CDC (фиксация изменений данных), и pipe перейдет в состояние Paused. В этом состоянии новые данные больше не считываются из исходной MongoDB, при этом существующие данные в ClickHouse остаются нетронутыми. Вы можете возобновить работу pipe из этого состояния.
Приостановка
Это состояние появится в ближайшее время. Если вы используете наш OpenAPI, рассмотрите возможность добавить поддержку этого состояния уже сейчас, чтобы ваша интеграция продолжила работать после его появления.
Когда вы нажимаете кнопку Pause, конвейер переходит в состояние Pausing. Это промежуточное состояние, в котором выполняется остановка процесса CDC. После полной остановки процесса CDC конвейер перейдёт в состояние Paused.
Изменение
Это состояние скоро появится. Если вы используете наш OpenAPI, рассмотрите возможность добавить поддержку этого состояния уже сейчас, чтобы ваша интеграция продолжала работать после его выхода.
В настоящее время это состояние означает, что конвейер находится в процессе удаления таблиц.
Повторная синхронизация
Это состояние появится в ближайшее время. Если вы используете наш OpenAPI, рассмотрите возможность добавить поддержку этого состояния уже сейчас, чтобы ваша интеграция продолжила корректно работать после его появления.
Это состояние указывает, что pipe находится на этапе повторной синхронизации, в ходе которого выполняется атомарная замена таблиц _resync на исходные таблицы. Дополнительную информацию о повторной синхронизации см. в документации по повторной синхронизации.
Завершено
Это состояние применяется к конвейерам только для снимков и означает, что создание снимка завершено и больше никаких действий не требуется.
Состояние Failed
Если в пайпе происходит необратимая ошибка, он переходит в состояние Failed. Вы можете обратиться в службу поддержки или повторно синхронизировать пайп, чтобы выйти из этого состояния.
