Configuração dos Componentes do TDP Kubernetes

Cada componente possui uma página de configuração com os parâmetros do chart Helm. Conforme o componente, existem também páginas de Segurança, Ingress e Integrações.

Antes de começar

Leia a Configuração Geral para entender os conceitos e padrões comuns a todos os componentes: como passar valores, resources, PVCs, Secrets, PostgreSQL externo e S3.

Configuração dos Componentes do TDP Kubernetes

Configuração Geral

Conceitos gerais de configuração dos componentes do TDP Kubernetes: namespaces, recursos, imagens e Secrets.

Airflow

Chart umbrella: Airflow com valores sob `tdp-airflow`; executor Kubernetes por padrão.

Configuração

Executor, PostgreSQL interno ou externo, PVCs de DAGs/logs, `TDPConfigurations.s3Connection`.

Segurança

LDAP opcional via `tdp-airflow.ldap` e `tdp-airflow.extraEnv` (Flask-AppBuilder).

Integrações

Helpers TDP: PostgreSQL externo (`externalDatabase`) e Secret de conexão S3.

ArgoCD

GitOps no cluster Kubernetes com sincronização automática de Applications.

Configuração

Parâmetros do chart, integração com Dex/LDAP e opções suportadas pelo chart.

Segurança

SSO/LDAP via Dex com mapeamento de grupos RBAC.

Ingress

Exposição externa via Ingress com TLS e hostname personalizado.

ClickHouse

Configure o ClickHouse no Kubernetes com StatefulSets, PVCs e políticas de retenção.

CloudBeaver

Administração web de bancos de dados no Kubernetes.

Configuração

Parâmetros do chart e configuração de datasources suportadas.

Segurança

Autenticação LDAP com bind DN e pesquisa de usuários.

Ingress

Exposição externa via Ingress com TLS e hostname personalizado.

Integrações

Datasources: ClickHouse, Trino, PostgreSQL e S3/MinIO.

Delta Lake

Configuração das rotinas de manutenção e parâmetros suportados pelo chart.

Hive Metastore

Parâmetros do chart e opções de PostgreSQL interno ou externo suportadas.

Iceberg

Parâmetros do chart e jobs de manutenção suportados.

JupyterLab

Notebooks multiusuário no Kubernetes com Spark e StorageClass RWX.

Configuração

Parâmetros do chart para notebooks, storage e integração com Spark.

Segurança

Autenticação LDAP via LDAPAuthenticator.

Integrações

Integração com Apache Spark para notebooks com suporte a Iceberg.

Kafka

Kafka no Kubernetes usando operador Strimzi com CRDs.

Configuração

Parâmetros do chart, listeners e componentes adicionais suportados.

Segurança

Autenticação SASL/LDAP para brokers Kafka via Strimzi.

Integrações

Debezium CDC: PostgreSQL, MySQL, SQL Server e Oracle.

NiFi

NiFi no Kubernetes com TLS gerenciado por Cert-Manager e integração com Ranger.

Configuração

Parâmetros do chart NiFi/NiFiKop suportados pelo pacote.

Ingress

Exposição externa via Ingress com TLS e hostname personalizado.

Integrações

Controle de acesso centralizado via Apache Ranger.

OpenMetadata

Governança de dados no Kubernetes com PostgreSQL e integração de serviços.

Configuração

Parâmetros do chart, banco de dados e integrações suportadas.

Segurança

Autenticação LDAP com atributos de usuário e servidor.

Ingress

Exposição externa via Ingress com TLS e hostname personalizado.

Integrações

Registro de datasources: Airflow, Trino, ClickHouse, Kafka, Superset.

Apache Ozone

Armazenamento de objetos S3-compatível para o TDP no Kubernetes.

Configuração

Parâmetros do chart para S3 Gateway, OM, SCM, Recon e autenticação S3.

Ingress

Exposição externa dos 4 serviços Ozone via Ingress.

Integrações

Uso do Ozone como storage S3 pelo Spark e Trino.

PostgreSQL

Parâmetros do chart PostgreSQL, persistência, recursos e métricas.

Ranger

Controle de acesso centralizado para Kafka, NiFi e Trino.

Configuração

Parâmetros do chart, banco de dados e integrações suportadas.

Integrações

Registro de plugins e políticas padrão para Kafka, NiFi e Trino.

Spark

Spark no Kubernetes com Spark Operator, Hive Metastore, Delta Lake e Apache Ozone.

Configuração

Parâmetros do chart, `hadoopConfig`, `customSparkConfig` e integrações suportadas.

Integrações

Delta Lake, Iceberg com S3/MinIO e integração com JupyterLab.

Superset

Dashboards analíticos no Kubernetes com Redis e PostgreSQL.

Configuração

Parâmetros do chart, segredos e base de dados suportados.

Segurança

Autenticação LDAP via Flask-AppBuilder.

Integrações

Datasources: Trino e ClickHouse com importação automática.

Trino

Queries distribuídas no Kubernetes com catálogos Hive, Iceberg e Delta.

Configuração

Parâmetros do chart, catálogos e opções de autenticação suportadas.

Segurança

Autenticação LDAP com certificados TLS para o coordinator.

Ingress

Exposição externa via Ingress com TLS e hostname personalizado.

Integrações

Connectors: ClickHouse, Iceberg, Kafka; controle de acesso via Ranger.