Configuração dos Componentes do TDP Kubernetes

Cada componente possui uma página de configuração com os parâmetros do chart Helm. Conforme o componente, existem também páginas de Segurança, Ingress e Integrações.

Antes de começar

Leia a Configuração Geral para entender os conceitos e padrões comuns a todos os componentes: como passar valores, resources, PVCs, Secrets, PostgreSQL externo e S3.

Configuração dos Componentes do TDP Kubernetes

Configuração Geral

Conceitos gerais de configuração dos componentes do TDP Kubernetes: namespaces, recursos, imagens e Secrets.

Airflow

Chart umbrella: Airflow com valores sob `tdp-airflow`; executor Kubernetes por padrão.

Configuração

Executor, PostgreSQL interno ou externo, PVCs de DAGs/logs, `TDPConfigurations.s3Connection`.

Segurança

LDAP opcional via `tdp-airflow.ldap` e `tdp-airflow.extraEnv` (Flask-AppBuilder).

Ingress

Exposição externa via Ingress com hostname e TLS opcionais.

Integrações

Helpers TDP: PostgreSQL externo (`externalDatabase`) e Secret de conexão S3.

ArgoCD

GitOps no cluster Kubernetes com sincronização automática de Applications.

Configuração

Parâmetros do chart, integração com Dex/LDAP e opções suportadas pelo chart.

Segurança

SSO/LDAP via Dex com mapeamento de grupos RBAC.

Ingress

Exposição externa via Ingress com TLS e hostname personalizado.

ClickHouse

Banco analítico colunar no Kubernetes com suporte a HA, S3 e consumo por outras ferramentas TDP.

Configuração

Instalação, parâmetros principais, persistência, recursos e exemplo de HA.

Segurança

Senhas, controle de acesso do usuário default, perfis adicionais e LDAP.

Ingress

Exposição da Play UI e Dashboard via Ingress com hostname dedicado.

Integrações

S3/MinIO, política de storage e consumo por CloudBeaver, Superset e Trino.

CloudBeaver

Administração web de bancos de dados no Kubernetes.

Configuração

Parâmetros do chart e configuração de datasources suportadas.

Segurança

Autenticação LDAP com bind DN e pesquisa de usuários.

Ingress

Exposição externa via Ingress com TLS e hostname personalizado.

Integrações

Datasources: ClickHouse, Trino, PostgreSQL e S3/MinIO.

Delta Lake

Configuração das rotinas de manutenção e parâmetros suportados pelo chart.

Hive Metastore

Parâmetros do chart e opções de PostgreSQL interno ou externo suportadas.

Iceberg

Jobs de manutenção Iceberg com runtime Spark e dependência de Hive Metastore e S3.

Configuração

Jobs de manutenção, parâmetros principais e imagem dos containers Spark.

Integrações

S3/MinIO, Hive Metastore e uso a partir de Spark, Jupyter, Trino e Airflow.

JupyterLab

Notebooks multiusuário no Kubernetes com Spark e StorageClass RWX.

Configuração

Parâmetros do chart para notebooks, storage e integração com Spark.

Segurança

Autenticação LDAP via LDAPAuthenticator.

Ingress

Exposição externa do JupyterHub via Ingress com hostname e TLS opcionais.

Integrações

Integração com Apache Spark para notebooks; uso de Iceberg acontece via Spark.

Kafka

Kafka no Kubernetes usando operador Strimzi com CRDs.

Configuração

Parâmetros do chart, listeners e componentes adicionais suportados.

Segurança

Autenticação SASL/LDAP para brokers Kafka via Strimzi.

Integrações

Debezium CDC: PostgreSQL, MySQL, SQL Server e Oracle.

NiFi

NiFi no Kubernetes com TLS gerenciado por Cert-Manager e integração com Ranger.

Configuração

Parâmetros do chart NiFi/NiFiKop suportados pelo pacote.

Ingress

Exposição externa via Ingress com TLS e hostname personalizado.

Integrações

Controle de acesso centralizado via Apache Ranger.

OpenMetadata

Governança de dados no Kubernetes com PostgreSQL e integração de serviços.

Configuração

Parâmetros do chart, banco de dados e integrações suportadas.

Segurança

Autenticação LDAP com atributos de usuário e servidor.

Ingress

Exposição externa via Ingress com TLS e hostname personalizado.

Integrações

Registro de datasources: Airflow, Trino, ClickHouse, Kafka, Superset.

Apache Ozone

Armazenamento de objetos S3-compatível para o TDP no Kubernetes.

Configuração

Parâmetros do chart para S3 Gateway, OM, SCM, Recon e autenticação S3.

Ingress

Exposição externa das 5 interfaces Ozone (OM, SCM, Recon, S3 REST, S3 Web UI) via Ingress.

Integrações

Uso do Ozone como storage S3 pelo Spark e Trino.

PostgreSQL

Parâmetros do chart PostgreSQL, persistência, recursos e métricas.

Ranger

Controle de acesso centralizado para Kafka, NiFi e Trino.

Configuração

Parâmetros do chart, banco de dados e integrações suportadas.

Ingress

Exposição da UI do Ranger via Ingress com hostname e TLS opcionais.

Integrações

Registro de plugins e políticas padrão para Kafka, NiFi e Trino.

Spark

Spark no Kubernetes com Spark Operator, Hive Metastore, Delta Lake e Apache Ozone.

Configuração

Parâmetros do chart, `hadoopConfig`, `customSparkConfig` e integrações suportadas.

Integrações

Delta Lake, Iceberg com S3/MinIO e integração com JupyterLab.

Superset

Dashboards analíticos no Kubernetes com Redis e PostgreSQL.

Configuração

Parâmetros do chart, segredos e base de dados suportados.

Segurança

Autenticação LDAP via Flask-AppBuilder.

Ingress

Exposição externa via Ingress com TLS e hostname personalizado.

Integrações

Datasources: Trino e ClickHouse com importação automática.

Trino

Queries distribuídas no Kubernetes com catálogos Hive, Iceberg e Delta.

Configuração

Parâmetros do chart, catálogos e opções de autenticação suportadas.

Segurança

Autenticação LDAP com certificados TLS para o coordinator.

Ingress

Exposição externa via Ingress com TLS e hostname personalizado.

Integrações

Connectors: ClickHouse, Iceberg, Kafka; controle de acesso via Ranger.