Destaques — TDP Datacenter
Plataforma
| Versão | Destaques |
|---|---|
| TDP 3.0 | JupyterLab adicionado: ambiente interativo para análise de dados, notebooks e visualizações; suporte a múltiplas linguagens e extensões; interface moderna baseada em abas, integrando edição de código, execução e gráficos. |
| OpenMetadata adicionado: plataforma de governança e catálogo de dados; permite rastreabilidade (lineage), descoberta de dados e definição de qualidade; integração com diversos serviços do ecossistema (bancos, lakes, pipelines). |
Tabela A. Destaques da plataforma TDP Datacenter
Componentes
Veja os destaques dos componentes atualizados:
| Serviço | Versão | Categoria | Recurso/Destaque |
|---|---|---|---|
| Airflow | 2.10.5 | Orquestração | Tarefas de limpeza garantidas mesmo com falha ou sucesso manual — evita vazamento de recursos. |
| Resolução de diversos bugs, inclusive em trigger rules mapeadas, validação de IDs, XCom com "/", event logs e muito mais. | |||
| Atualização de imagens do Chart Helm com versões mais recentes para Airflow, PgBouncer e exporters. | |||
| Delta Lake | 3.3.0 | Formato de tabela otimizado | Identity Columns: geração automática de valores únicos para novas linhas (Python e Scala) — modos generatedAlwaysAs e generatedByDefaultAs. |
| VACUUM LITE: limpeza de arquivos obsoletos 5–10× mais rápida usando apenas o log transacional. | |||
| Row Tracking Backfill: habilita rastreamento de linha (row-level lineage) em tabelas existentes, incluindo metadados Row Id e Row Commit Version. | |||
| Version Checksums: somas de verificação por commit, reforçando consistência, performance e debugging. | |||
| UniForm ALTER: habilita o formato UniForm em tabelas existentes sem reescrever os dados. | |||
| Type Widening: suporte a alargamento de tipos em Delta Kernel (Java e Rust). | |||
| Druid | 32.0.0 | Análise em Tempo Real | Foco em estabilidade e performance: mais de 341 commits de 52 colaboradores (~30% a mais que versões anteriores). |
| Migração para SQL padrão (ANSI SQL compliance): configurações legadas de tratamento de null removidas — comportamento ANSI SQL fixo. | |||
| Nova funcionalidade Projection: pré-cômputo de agregações para melhora significativa de performance em consultas. | |||
| Great Expectations | 1.3.5 | Qualidade de Dados | Nova funcionalidade: CheckpointFactory.add_or_update e suporte a strict_min/strict_max em ExpectTableRowCountToBeBetween. |
Suporte a row_condition com datetimes em Pandas e Spark; agendamento de limpeza no BigQuery; parâmetro strict no tipo Window; garantia de run_id em ValidationDefinition.run. | |||
| HBase | 2.5.7 | Base de dados NoSQL | Switch para evitar reabertura de regiões ao editar tabelas — previne "storm" de RIT. |
Comando isolate_regions no RegionMover — isola e realoca regiões de forma precisa e controlada. | |||
| Hive | 4.0.0 | Exploração e Análise de Dados | Salto significativo: ~5 mil commits desde a versão 3.1.3. |
Integração com Apache Iceberg: suporte aprimorado, incluindo compaction via OPTIMIZE TABLE. | |||
| Transações ACID e locking aprimorados; compaction para tabelas ACID e Iceberg. | |||
| Suporte a Docker: imagens oficiais no Docker Hub. | |||
| Otimizações de execução: anti-join, branch pruning, histograma de colunas, HPL/SQL, scheduled queries, materialized views e Tez/LLAP. | |||
| Replicação aprimorada para tabelas externas e ACID; suporte ao Apache Ozone como armazenamento escalável. | |||
| Recursos avançados: GeoSpatial nativo, Iceberg compaction, autenticação JWT no Metastore, SAML 2 no HiveServer2. | |||
| Iceberg | 1.8.0 | Table Formats | Fim do suporte ao Spark 3.3 e Hive Runtime. |
| Deletion Vectors: nova spec, APIs e suporte na leitura/escrita. | |||
| Novos tipos: Variant e UnknownType. | |||
| Melhorias operacionais: fast append, remoção de specs não usados, procedures úteis no Spark. | |||
| Integração aprimorada com AWS/Azure; compatibilidade estendida com Spark, Flink e Hive. | |||
| Kafka | 3.4.1 | Streaming de Dados | Migração do ZooKeeper para KRaft (versão inicial; não recomendada para produção) — sem downtime. |
Novo campo generation no protocolo de consumo — auxilia gestão de reivindicações de partições. | |||
| Snapshots de metadata baseados em tempo (ex.: a cada hora); consumidores rack-aware para AZ local. | |||
| Kafka Streams (KIP-770 & KIP-837): atualização de configs e métricas; broadcast de registros de saída para todas as partições. | |||
| MirrorMaker2: lê todos os sincronizadores de offset ao iniciar; publica sincronizações durante commit; traduz offsets entre fluxos de replicação. | |||
| Corrigido vazamento de recurso em interceptadores. | |||
| NiFi | 1.28.1 | Gestão de Fluxos de Dados | Corrigido registro de valores sensíveis de parâmetros em log de sincronização — não expostos mesmo com debug habilitado (1.28.1). |
| Proteção contra XSS: descrições de parâmetros corretamente neutralizadas (1.28.0). | |||
| Fim do suporte para NiFi 1.x (encerrado em 08/12/2024) — recomendada migração para a série 2.x. | |||
| Ozone | 1.4.1 | Armazenamento de Objetos Escalável | Evita race condition no datanode ao criar VERSION — aumenta confiabilidade operacional. |
| Logs do SCM refinados — reduz ruído e falsos erros ao lidar com sequence ID em containers fechados. | |||
| Reforço de segurança no S3 Gateway — endpoint de segredos restrito a administradores. | |||
| Spark | 3.5.3 | Computação Distribuída | Terceira atualização de manutenção da série 3.5 — foco em segurança e correções de bugs. Recomendado para ambientes que já utilizam a série 3.5. |
| Superset | 4.1.2 | Visualização de Dados | Novos gráficos: Big Number com comparações temporais, Heatmap, Histograma e Sankey. |
| Catálogo dinâmico em bancos de dados conectados; UI de upload mais intuitiva com validações. | |||
| Filtros de tempo e macro Jinja para dinamismo em dashboards; melhorias de UX no SQL Lab e permissões. | |||
| Security fixes em 4.1.2: evita takeover de recursos e bypass de controle de acesso. | |||
| Apache Tez | 0.10.4 | Motor de Execução | ~28 correções e melhorias — observabilidade, estabilidade e segurança. |
| ZooKeeper | 3.8.4 | Coordenação Distribuída | Limite configurável de conexões/clientes por servidor. |
| zkCli: nova opção para aguardar conexão antes de executar comandos — evita falhas em ambientes instáveis. | |||
| Logs de inicialização com unidade de tempo; endereços de rede mais legíveis; mensagens de erro aprimoradas. |
Tabela B. Destaques dos componentes TDP Datacenter