Табличная функция paimonCluster

Experimental feature. Learn more.

Это расширение табличной функции paimon.

Позволяет обрабатывать файлы из Apache Paimon параллельно на множестве узлов заданного кластера. На инициаторе создаётся подключение ко всем узлам кластера, и каждый файл динамически распределяется между ними. Рабочий узел запрашивает у инициатора следующую задачу для обработки и выполняет её. Это повторяется до тех пор, пока все задачи не будут выполнены.

Синтаксис

paimonS3Cluster(cluster_name, url [,aws_access_key_id, aws_secret_access_key] [,format] [,structure] [,compression])

paimonAzureCluster(cluster_name, connection_string|storage_account_url, container_name, blobpath, [,account_name], [,account_key] [,format] [,compression_method])

paimonHDFSCluster(cluster_name, path_to_table, [,format] [,compression_method])

Аргументы

• cluster_name — имя кластера, которое используется для построения набора адресов и параметров подключения к удалённым и локальным серверам.
• Описание всех остальных аргументов совпадает с описанием аргументов эквивалентной табличной функции paimon.

Возвращаемое значение

Таблица с указанной структурой для чтения данных из кластера из указанной таблицы Paimon.

Виртуальные столбцы

• _path — путь к файлу. Тип: LowCardinality(String).
• _file — имя файла. Тип: LowCardinality(String).
• _size — размер файла в байтах. Тип: Nullable(UInt64). Если размер файла неизвестен, значение — NULL.
• _time — время последнего изменения файла. Тип: Nullable(DateTime). Если время неизвестно, значение — NULL.
• _etag — ETag файла. Тип: LowCardinality(String). Если ETag неизвестен, значение — NULL.

См. также

• Табличная функция Paimon