Configuração dos Componentes do TDP Kubernetes

Cada componente possui uma página de configuração com os parâmetros do chart Helm.
Conforme o componente, existem também páginas de Segurança, Exposição Externa e Integrações.

Antes de começar

Leia a Configuração Geral para entender os conceitos e padrões comuns a todos os componentes: como passar valores, resources, PVCs, Secrets, PostgreSQL externo e S3.

Configuração dos Componentes do TDP Kubernetes

Configuração Geral

Conceitos gerais de configuração dos componentes do TDP Kubernetes: namespaces, recursos, imagens e Secrets.

Airflow

Chart umbrella: Airflow com valores sob `tdp-airflow`; executor Kubernetes por padrão.

Configuração

Executor, PostgreSQL interno ou externo, PVCs de DAGs/logs, `TDP-Settings.s3Connection`.

Segurança

LDAP opcional via `tdp-airflow.ldap` e `tdp-airflow.extraEnv` (Flask-AppBuilder).

Exposição Externa

Exposição externa via Ingress ou Gateway API com hostname e TLS opcionais.

Integrações

Helpers TDP: PostgreSQL externo (`externalDatabase`) e Secret de conexão S3.

ArgoCD

GitOps no cluster Kubernetes com sincronização automática de Applications.

Configuração

Parâmetros do chart, integração com Dex/LDAP e opções suportadas pelo chart.

Segurança

SSO/LDAP via Dex com mapeamento de grupos RBAC.

Exposição Externa

Exposição externa via Ingress ou Gateway API com hostname e TLS opcionais.

ClickHouse

Banco analítico colunar no Kubernetes com suporte a HA, S3 e consumo por outras ferramentas TDP.

Configuração

Instalação, parâmetros principais, persistência, recursos e exemplo de HA.

Segurança

Palavras-passe, controle de acesso do usuário default, perfis adicionais e LDAP.

Exposição Externa

Exposição da Play UI e Dashboard via Ingress ou Gateway API com hostname dedicado.

Integrações

S3/MinIO, política de storage e consumo por CloudBeaver, Superset e Trino.

CloudBeaver

Administração web de bases de dados no Kubernetes.

Configuração

Parâmetros do chart e configuração de datasources suportadas.

Segurança

Autenticação LDAP com bind DN e pesquisa de usuários.

Exposição Externa

Exposição externa via Ingress ou Gateway API com hostname e TLS opcionais.

Integrações

Datasources: ClickHouse, Trino, PostgreSQL e S3/MinIO.

Delta Lake

Camada de armazenamento ACID sobre S3, com rotinas de manutenção gerenciadas pelo chart.

Configuração

Rotinas de manutenção, parâmetros do chart e configuração de S3.

Segurança

Credenciais S3 via Secret Kubernetes e configuração do endpoint S3.

Integrações

Consumo por Trino, Spark e Airflow como backend de tabelas Delta.

Hive Metastore

Catálogo de metadados de tabelas para Spark, Trino e Iceberg.

Configuração

Parâmetros do chart e opções de PostgreSQL interno ou externo.

Segurança

Credenciais PostgreSQL/S3, imagePullSecrets e contextos de segurança do pod/container.

Integrações

Endpoint do serviço, integração com Trino e Spark (catálogo Iceberg).

Iceberg

Jobs de manutenção Iceberg com runtime Spark e dependência de Hive Metastore e S3.

Configuração

Jobs de manutenção, parâmetros principais e imagem dos containers Spark.

Segurança

Secret de credenciais S3 e configuração do catálogo Iceberg com boas práticas.

Integrações

S3/MinIO, Hive Metastore e uso a partir de Spark, Jupyter, Trino e Airflow.

JupyterLab

Notebooks multiusuário no Kubernetes com Spark e StorageClass RWX.

Configuração

Parâmetros do chart para notebooks, storage e integração com Spark.

Segurança

Autenticação LDAP via LDAPAuthenticator.

Exposição Externa

Exposição externa do JupyterHub via Ingress ou Gateway API com hostname e TLS opcionais.

Integrações

Integração com Apache Spark para notebooks; uso de Iceberg acontece via Spark.

Kafka

Kafka no Kubernetes usando operador Strimzi com CRDs.

Configuração

Parâmetros do chart, listeners e componentes adicionais suportados.

Segurança

Autenticação SASL/LDAP para brokers Kafka via Strimzi.

Exposição Externa

Exposição da Kafka UI via Ingress ou Gateway API com hostname e TLS opcionais.

Integrações

Debezium CDC: PostgreSQL, MySQL, SQL Server e Oracle.

NiFi

NiFi no Kubernetes com TLS geredo por Cert-Manager e integração com Ranger.

Configuração

Parâmetros do chart NiFi/NiFiKop suportados pelo pacote.

Segurança

Modos de segurança TLS, autenticação LDAP e certificados gerenciados pelo cert-manager.

Exposição Externa

Exposição externa via Ingress ou Gateway API com hostname e TLS opcionais.

Integrações

Controle de acesso centralizado via Apache Ranger.

OpenMetadata

Governança de dados no Kubernetes com PostgreSQL e integração de serviços.

Configuração

Parâmetros do chart, base de dados e integrações suportadas.

Segurança

Autenticação LDAP com atributos de usuário e servidor.

Exposição Externa

Exposição externa via Ingress ou Gateway API com hostname e TLS opcionais.

Integrações

Registro de datasources: Airflow, Trino, ClickHouse, Kafka, Superset.

Apache Ozone

Armazenamento de objetos S3-compatível para o TDP no Kubernetes.

Configuração

Parâmetros do chart para S3 Gateway, OM, SCM e autenticação S3.

Segurança

AWS Signature v4 sem Kerberos, credenciais S3 e controle de acesso via ACLs.

Exposição Externa

Exposição externa das 4 interfaces Ozone (OM, SCM, S3 REST, S3 Web UI) via Ingress ou Gateway API.

Integrações

Uso do Ozone como storage S3 pelo Spark e Trino.

PostgreSQL

Parâmetros do chart PostgreSQL, persistência, recursos e métricas.

Configuração

Parâmetros do chart PostgreSQL, persistência, recursos e métricas.

Integrações

Como outros componentes TDP utilizam o PostgreSQL como base de dados de metadados ou fonte JDBC.

Ranger

Controle de acesso centralizado para Kafka, NiFi e Trino.

Configuração

Parâmetros do chart, base de dados e integrações suportadas.

Segurança

Autenticação administrativa, credenciais da base de dados e configuração LDAP/AD.

Exposição Externa

Exposição da UI do Ranger via Ingress ou Gateway API com hostname e TLS opcionais.

Integrações

Registro de plugins e políticas padrão para Kafka, NiFi e Trino.

Spark

Spark no Kubernetes com cluster master/worker, Hive Metastore, Delta Lake e armazenamento S3 (Ozone, MinIO ou outro endpoint).

Configuração

Parâmetros do chart, `hadoopConfig`, `customSparkConfig` e integrações suportadas.

Segurança

Credenciais S3/S3A via Secret Kubernetes e `core-site.xml` com `hadoopConfig`.

Integrações

Delta Lake, Iceberg com S3/MinIO e integração com JupyterLab.

Superset

Dashboards analíticos no Kubernetes com Redis e PostgreSQL.

Configuração

Parâmetros do chart, segredos e base de dados suportados.

Segurança

Autenticação LDAP via Flask-AppBuilder.

Exposição Externa

Exposição externa via Ingress ou Gateway API com hostname e TLS opcionais.

Integrações

Datasources: Trino e ClickHouse com importação automática.

Trino

Queries distribuídas no Kubernetes com catálogos Hive, Iceberg e Delta.

Configuração

Parâmetros do chart, catálogos e opções de autenticação suportadas.

Segurança

Autenticação LDAP com certificados TLS para o coordinator.

Exposição Externa

Exposição externa via Ingress ou Gateway API com hostname e TLS opcionais.

Integrações

Connectors: ClickHouse, Iceberg, Kafka; controle de acesso via Ranger.