Segurança — Iceberg

ChartVersion3.0.1TypeapplicationAppVersion1.10.0

CompatibilidadeKubernetes1.32+OpenShift4.19+Rancher2.10.x+

Suporte a recursosS3suportado

O chart tdp-iceberg executa jobs de manutenção de tabelas Iceberg (expiração de snapshots, remoção de ficheiros órfãos, reescrita de ficheiros). Estes jobs acedem ao armazenamento S3/MinIO via Spark e requerem o Secret Kubernetes s3-credentials com as credenciais de acesso ao bucket.

Credenciais e Secrets

Crie o Secret no namespace antes do deploy:

kubectl -n <NAMESPACE> create secret generic s3-credentials \
  --from-literal=access-key="<ACCESS_KEY>" \
  --from-literal=secret-key="<SECRET_KEY>"

Chave	Descrição
access-key	Chave de acesso ao bucket S3/MinIO
secret-key	Chave secreta para autenticação S3

O nome do Secret deve ser exactamente s3-credentials. Os CronJobs do chart referenciam este nome directamente via env.secretKeyRef.

Configuração do catálogo Iceberg

O acesso ao Hive Metastore (utilizado como catálogo Iceberg) e ao endpoint S3 é configurado em maintenance.spark.config:

maintenance:
  spark:
    config:
      "spark.sql.catalog.iceberg": "org.apache.iceberg.spark.SparkCatalog"
      "spark.sql.catalog.iceberg.type": "hive"
      "spark.sql.catalog.iceberg.uri": "thrift://<RELEASE_NAME>-metastore.<NAMESPACE>.svc.cluster.local:9083"
      "spark.hadoop.fs.s3a.endpoint": "http://<S3_ENDPOINT>:<S3_PORT>"
      "spark.hadoop.fs.s3a.path.style.access": "true"

Ajuste o endereço do Metastore (spark.sql.catalog.iceberg.uri) se o nome do release ou namespace do Hive Metastore diferirem dos valores por omissão.

Boas práticas

Aspecto	Recomendação
Credenciais	Não versionar access-key e secret-key em repositório Git
Rotação	Recriar o Secret e aguardar o próximo ciclo dos CronJobs
Acesso mínimo	Credenciais com permissão apenas nos buckets das tabelas Iceberg

Solução de problemas

Problema	Causa provável	Solução
CronJob falha com erro 403 no S3	Secret ausente ou chaves com nome incorrecto	Verificar Secret s3-credentials no namespace
Erro de conexão ao Metastore	URI do Hive Metastore incorrecto	Verificar endereço e porta 9083 acessíveis
Tabela não encontrada no catálogo	Namespace do catálogo Iceberg incorrecto na consulta	Verificar configuração de spark.sql.catalog.iceberg

Para a lista completa de parâmetros, utilize helm show values na versão do chart que instalou.