Integrações — Delta Lake
Visão geral das integrações
O chart tdp-deltalake requer acesso ao armazenamento S3-compatível (Apache Ozone S3 Gateway, MinIO ou outro endpoint S3) e pode ser integrado às principais ferramentas de processamento e orquestração do TDP.
S3 / MinIO
Os CronJobs de manutenção requerem o Secret s3-credentials com as credenciais de acesso ao S3. Crie-o antes do deploy conforme descrito em Segurança — Delta Lake.
Configurar o endpoint S3
maintenance:
spark:
config:
"spark.hadoop.fs.s3a.endpoint": "http://<S3_ENDPOINT>.<NAMESPACE>.svc.cluster.local:9000"
"spark.hadoop.fs.s3a.path.style.access": "true"
Parâmetros S3
| Parâmetro | Descrição | Exemplo |
|---|---|---|
spark.hadoop.fs.s3a.endpoint | URL do endpoint S3 | http://ozone-s3g.<NAMESPACE>.svc.cluster.local:9000 |
spark.hadoop.fs.s3a.path.style.access | Forçar path-style (necessário para MinIO/Ozone) | "true" |
Trino
O Trino pode consultar tabelas Delta Lake via conector Delta. A configuração é realizada do lado do chart tdp-trino — consulte Configuração do Trino.
Spark
As tabelas Delta Lake podem ser processadas diretamente pelo Spark. A configuração é realizada do lado do chart tdp-spark — consulte Configuração do Spark.
Airflow
O Airflow pode orquestrar pipelines que leem e escrevem tabelas Delta Lake. A configuração de conexão é realizada do lado do chart tdp-airflow — consulte Integrações — Airflow.
Combinando arquivos de valores
helm upgrade --install <RELEASE_NAME> \
oci://registry.tecnisys.com.br/tdp/charts/tdp-deltalake \
-n <NAMESPACE> \
-f meu-values.yaml \
-f values-integracao.yaml