Segurança — Delta Lake
Chart
Compatibilidade
Suporte a recursos
O chart tdp-deltalake executa jobs de manutenção (VACUUM, OPTIMIZE) no armazenamento S3/MinIO. As credenciais de acesso ao bucket são fornecidas via Secret Kubernetes s3-credentials, lido pelos CronJobs via env.secretKeyRef.
Credenciais e Secrets
Crie o Secret no namespace antes do deploy:
kubectl -n <NAMESPACE> create secret generic s3-credentials \
--from-literal=access-key="<ACCESS_KEY>" \
--from-literal=secret-key="<SECRET_KEY>"
| Chave | Descrição |
|---|---|
access-key | Chave de acesso ao bucket S3/MinIO |
secret-key | Chave secreta para autenticação S3 |
O nome do Secret deve ser exatamente s3-credentials. Os CronJobs do chart referenciam esse nome diretamente.
Configuração do endpoint S3
O endpoint do S3/MinIO é configurado no bloco maintenance.spark.config:
maintenance:
spark:
config:
"spark.hadoop.fs.s3a.endpoint": "http://<S3_ENDPOINT>:<S3_PORT>"
"spark.hadoop.fs.s3a.path.style.access": "true"
Substitua <S3_ENDPOINT> pelo endereço interno do serviço S3 no cluster. Para o Ozone instalado junto ao TDP, o endereço padrão segue o padrão:
http://<RELEASE_NAME>-s3g-rest.<NAMESPACE>.svc.cluster.local:9878
Boas práticas
| Aspecto | Recomendação |
|---|---|
| Credenciais | Não versionar access-key e secret-key em repositório Git |
| Rotação | Recriar o Secret e aguardar o próximo ciclo de execução dos CronJobs |
| Acesso mínimo | Configurar credenciais com permissão apenas nos buckets usados pelos jobs de manutenção |
Solução de problemas
| Problema | Causa provável | Solução |
|---|---|---|
| CronJob falha com erro de autenticação | Secret ausente ou chaves com nome incorreto | Verificar Secret s3-credentials no namespace |
| Endpoint S3 inacessível | URL ou porta incorretos | Testar conectividade com kubectl exec dentro do namespace |
| Permissão negada no bucket | Credenciais sem acesso ao path configurado | Revisar permissões no MinIO/Ozone |
Para a lista completa de parâmetros, use helm show values na versão do chart que instalou.