Destaques — TDP Datacenter
Plataforma
| Versão | Destaques |
|---|---|
| TDP 3.0 | JupyterLab adicionado: ambiente interactivo para análise de dados, notebooks e visualizações; suporte a múltiplas linguagens e extensões; interface moderna baseada em separadores, integrando edição de código, execução e gráficos. |
| OpenMetadata adicionado: plataforma de governação e catálogo de dados; permite rastreabilidade (lineage), descoberta de dados e definição de qualidade; integração com diversos serviços do ecossistema (bases de dados, data lakes, pipelines). |
Tabela A. Destaques da plataforma TDP Datacenter
Componentes
Consulte os destaques dos componentes actualizados:
| Serviço | Versão | Categoria | Recurso/Destaque |
|---|---|---|---|
| Airflow | 2.10.5 | Orquestração | Tarefas de limpeza garantidas mesmo com falha ou sucesso manual — evita fuga de recursos. |
| Resolução de vários erros: trigger rules mapeadas, validação de IDs, XCom com "/", event logs e mais. | |||
| Actualização das imagens do Helm Chart com versões mais recentes para Airflow, PgBouncer e exporters. | |||
| Delta Lake | 3.3.0 | Formato de tabela optimizado | Identity Columns: geração automática de valores únicos para novas linhas (Python e Scala) — modos generatedAlwaysAs e generatedByDefaultAs. |
| VACUUM LITE: limpeza de ficheiros obsoletos 5–10× mais rápida utilizando apenas o registo transaccional. | |||
| Row Tracking Backfill: activa rastreamento de linha (row-level lineage) em tabelas existentes, incluindo metadados Row Id e Row Commit Version. | |||
| Version Checksums: somas de verificação por commit, reforçando consistência, desempenho e depuração. | |||
| UniForm ALTER: activa o formato UniForm em tabelas existentes sem reescrever os dados. | |||
| Type Widening: suporte a alargamento de tipos no Delta Kernel (Java e Rust). | |||
| Druid | 32.0.0 | Análise em Tempo Real | Foco em estabilidade e desempenho: mais de 341 commits de 52 colaboradores (~30% a mais que versões anteriores). |
| Migração para SQL padrão (ANSI SQL compliance): configurações legadas de tratamento de null removidas — comportamento ANSI SQL fixo. | |||
| Nova funcionalidade Projection: pré-cômputo de agregações para melhorar significativamente o desempenho de consultas. | |||
| Great Expectations | 1.3.5 | Qualidade de Dados | Nova funcionalidade: CheckpointFactory.add_or_update e suporte a strict_min/strict_max em ExpectTableRowCountToBeBetween. |
Suporte a row_condition com datetimes em Pandas e Spark; agendamento de limpeza no BigQuery; parâmetro strict no tipo Window; garantia de run_id em ValidationDefinition.run. | |||
| HBase | 2.5.7 | Base de dados NoSQL | Opção para evitar reabertura de regiões ao editar tabelas — previne "storm" de RIT. |
Comando isolate_regions no RegionMover — isola e realoca regiões de forma precisa e controlada. | |||
| Hive | 4.0.0 | Exploração e Análise de Dados | Salto significativo: ~5 mil commits desde a versão 3.1.3. |
Integração com Apache Iceberg: suporte melhorado, incluindo compaction via OPTIMIZE TABLE. | |||
| Transacções ACID e locking melhorados; compaction para tabelas ACID e Iceberg. | |||
| Suporte a Docker: imagens oficiais no Docker Hub. | |||
| Optimizações de execução: anti-join, branch pruning, histograma de colunas, HPL/SQL, scheduled queries, materialized views e Tez/LLAP. | |||
| Replicação melhorada para tabelas externas e ACID; suporte ao Apache Ozone como armazenamento escalável. | |||
| Funcionalidades avançadas: GeoSpatial nativo, Iceberg compaction, autenticação JWT no Metastore, SAML 2 no HiveServer2. | |||
| Iceberg | 1.8.0 | Table Formats | Fim do suporte ao Spark 3.3 e Hive Runtime. |
| Deletion Vectors: nova spec, APIs e suporte na leitura/escrita. | |||
| Novos tipos: Variant e UnknownType. | |||
| Melhorias operacionais: fast append, remoção de specs não utilizados, procedures úteis no Spark. | |||
| Integração melhorada com AWS/Azure; compatibilidade alargada com Spark, Flink e Hive. | |||
| Kafka | 3.4.1 | Streaming de Dados | Migração do ZooKeeper para KRaft (versão inicial; não recomendada para produção) — sem downtime. |
Novo campo generation no protocolo de consumo — auxilia a gestão de reivindicações de partições. | |||
| Snapshots de metadados baseados em tempo (ex.: a cada hora); consumidores rack-aware para AZ local. | |||
| Kafka Streams (KIP-770 & KIP-837): actualização de configurações e métricas; broadcast de registos de saída para todas as partições. | |||
| MirrorMaker2: lê todos os sincronizadores de offset ao iniciar; publica sincronizações durante commit; traduz offsets entre fluxos de replicação. | |||
| Corrigida fuga de recursos em interceptadores. | |||
| NiFi | 1.28.1 | Gestão de Fluxos de Dados | Corrigido registo de valores sensíveis de parâmetros em log de sincronização — não expostos mesmo com debug activo (1.28.1). |
| Protecção contra XSS: descrições de parâmetros correctamente neutralizadas (1.28.0). | |||
| Fim do suporte para NiFi 1.x (encerrado em 08/12/2024) — recomendada migração para a série 2.x. | |||
| Ozone | 1.4.1 | Armazenamento de Objectos Escalável | Evita race condition no datanode ao criar VERSION — aumenta a fiabilidade operacional. |
| Logs do SCM refinados — reduz ruído e falsos erros ao lidar com sequence ID em containers fechados. | |||
| Reforço de segurança no S3 Gateway — endpoint de segredos restrito a administradores. | |||
| Spark | 3.5.3 | Computação Distribuída | Terceira actualização de manutenção da série 3.5 — foco em segurança e correcção de erros. Recomendado para ambientes que já utilizam a série 3.5. |
| Superset | 4.1.2 | Visualização de Dados | Novos gráficos: Big Number com comparações temporais, Heatmap, Histograma e Sankey. |
| Catálogo dinâmico em bases de dados ligadas; interface de carregamento mais intuitiva com validações. | |||
| Filtros de tempo e macro Jinja para dinamismo em dashboards; melhorias de UX no SQL Lab e permissões. | |||
| Correcções de segurança em 4.1.2: evita takeover de recursos e bypass de controlo de acesso. | |||
| Apache Tez | 0.10.4 | Motor de Execução | ~28 correcções e melhorias — observabilidade, estabilidade e segurança. |
| ZooKeeper | 3.8.4 | Coordenação Distribuída | Limite configurável de ligações/clientes por servidor. |
| zkCli: nova opção para aguardar ligação antes de executar comandos — evita falhas em ambientes instáveis. | |||
| Logs de inicialização com unidade de tempo; endereços de rede mais legíveis; mensagens de erro melhoradas. |
Tabela B. Destaques dos componentes TDP Datacenter