Destaques
| Plataforma | Versão | Destaques |
|---|---|---|
| Tecnisys Data Platform | TDP 3.0.0 | Adição do JupyterLab: Ambiente interativo para análise de dados, notebooks e visualizações; Suporte a múltiplas linguagens e extensões; Interface moderna baseada em abas, integrando edição de código, execução e gráficos.. |
| Adição do OpenMetadata: Plataforma de governança e catálogo de dados;Permite rastreabilidade (lineage), descoberta de dados e definição de qualidade; Integração com diversos serviços do ecossistema (bancos, lakes, pipelines). |
Tabela A. Destaques da Plataforma Veja também os destaques dos componentes atualizados:
| Serviço | Versão | Categoria | Recurso/Destaque |
|---|---|---|---|
| Airflow | 2.10.5 | Orquestração | Tarefas de limpeza garantidas mesmo com falha ou sucesso manual — evita vazamento de recursos. |
| Resolução de diversos bugs, inclusive em trigger rules mapeadas, validação de IDs, XCom com “/”, event logs e muito mais. | |||
| Atualização de imagens do Chart Helm com versões mais recentes para Airflow, PgBouncer e exporters. | |||
| Delta Lake | 3.3.0 | Formato de tabela otimizado | Identity Columns: geração automática de valores únicos para novas linhas (em Python e Scala), suportando dois modos: generatedAlwaysAs (sempre gerado); generatedByDefaultAs (opcional, com fallback automático) |
| VACUUM LITE: limpeza de arquivos obsoletos mais rápida (5–10×) usando apenas o log transacional — mais eficiente que o VACUUM tradicional. | |||
| Row Tracking Backfill: permite habilitar rastreamento de linha (row-level lineage) em tabelas existentes, incluindo metadados como Row Id e Row Commit Version. | |||
| Version Checksums: adiciona somas de verificação (checksums) por commit, reforçando a consistência, performance e debugging, além de métricas detalhadas e validação em checkpoints | |||
| UniForm ALTER: permite habilitar o formato UniForm em tabelas existentes sem reescrever os dados. | |||
| Type Widening: suporte a alargamento de tipos (type widening) em Delta Kernel (Java e Rust). | |||
| Druid | 32.0.0 | Análise de Dados em Tempo Real | Foco em estabilidade e performance: Versão relevante com participação ativa da comunidade: mais de 341 commits de 52 colaboradores (~30% a mais que versões anteriores) |
| Migração para SQL padrão (ANSI SQL compliance):Configurações legadas de tratamento de null, como useDefaultValueForNull, useStrictBooleans, useThreeValueLogicForNativeFilters, foram removidas — agora o comportamento ANSI SQL é fixo e não configurável | |||
| introdução da funcionalidade de "Projection", que permite pré-computar agregações para melhorar significativamente a performance de consultas, um dos principais novos recursos da versão. | |||
| Great Expectations | 1.3.5 | Qualidade de Dados | Nova funcionalidade: CheckpointFactory.add_or_update e suporte a strict_min/strict_max em ExpectTableRowCountToBeBetween. |
| Manutenção & ajustes técnicos:Suporte a row_condition com datetimes em Pandas e Spark ; Agendamento de limpeza no BigQuery (“cleanup every 3 hours”) ; Adicionado parâmetro strict no tipo Window ; Geração de erro claro se cloud mode for solicitado sem variáveis de ambiente; e garantia de run_id em ValidationDefinition.run. | |||
| HBase | 2.5.7 | Base de dados NoSQL | Switch para evitar reabertura de regiões ao editar tabelas — melhora estabilidade operacional ao prevenir "storm" de RIT. |
| Comando isolate_regions no RegionMover — permite isolar e realocar regiões de forma precisa e controlada. | |||
| Hive | 4.0.0 | Exploração e Análise de Dados | Representa um salto significativo, com cerca de 5 mil commits desde a versão 3.1.3. |
| Integração com Apache Iceberg: suporte aprimorado a tabelas Iceberg, incluindo compaction via OPTIMIZE TABLE. | |||
| Melhorias no Metastore e transações:Transações e mecanismos de locking aprimorados para reforçar compliance ACID ; Compaction para tabelas ACID e Iceberg, melhorando desempenho e armazenamento. | |||
| Suporte a Docker: imagens oficiais do Hive no Docker Hub para facilitar deploy. | |||
| Otimizações de compilação e execução:Anti‑join, branch pruning, estatísticas de histograma de colunas, HPL/SQL, suporte a scheduled queries, e regras refinadas de CBO (otimizador de custo) ; Materialized views para acelerar consultas; Desempenho elevado com Tez e LLAP. | |||
| Replicação e compatibilidade:Recursos melhorados de replicação para tabelas externas e ACID;Suporte ao Apache Ozone como sistema de armazenamento escalável. | |||
| Recursos avançados extraídos do changelog (lista parcial):GeoSpatial nativo no Hive, suporte à Iceberg compaction, resumo de metadados no HMS, threads de descoberta via Zookeeper, autenticação JWT sobre HTTP para o Metastore, API otimizada do HMS e suporte a SAML 2 no HiveServer2. | |||
| Iceberg | 1.8.0 | Table Formats | Fim do suporte ao Spark 3.3 e Hive Runtime. |
| Deleção vetorial (Deletion Vectors): nova spec, APIs e suporte na leitura/escrita. | |||
| Tipo Variant e UnknownType: novos tipos suportados na spec e API. | |||
| Melhorias operacionais: fast append, remoção de specs não usados, procedures úteis no Spark. | |||
| Integração com AWS/Azure aprimorada e compatibilidade estendida com Spark, Flink, Hive. | |||
| Atualização importante de dependências para mais performance e segurança. | |||
| Kafka | 3.4.1 | Streaming de Dados | Migração do ZooKeeper para KRaft (versão inicial e não recomendada para produção) — permite mover metadados do cluster para o novo modo KRaft sem downtime |
| Novo campo generation no protocolo de consumo — ajuda a gerenciar reivindicações de partições e detectar consumidores mais recentes | |||
| Possibilidade de desabilitar o JMX Reporter — opção para desativar o JMXReporter em ambientes que não o utilizam. | |||
| Novas opções de configuração para console Producer/Consumer — parâmetros --reader-config e --formatter-config para melhor personalização. | |||
| Expiração de Producer IDs otimizada — separa controle de expiração de IDs de produtores e IDs de transação (novo timeout configurável) | |||
| Novas opções de configuração para console Producer/Consumer — parâmetros --reader-config e --formatter-config para melhor personalização. | |||
| Snapshots de metadata baseados em tempo — geração automática de snapshots com base no tempo (ex.: a cada hora) | |||
| Consumidores conscientes da rack (rack-aware) — melhora a distribuição e permite consumir de réplicas próximas geograficamente (AZ local). | |||
| Kafka Streams (KIP-770 & KIP-837): Atualização de configs e métricas de cache interno; Capacidade de transmitir (broadcast) registros de saída para todas as partições ou descartá-los. | |||
| Kafka Connect / MirrorMaker2 (KIP-787): Permite executar MirrorMaker2 com implementações customizadas de gerenciador de recursos — facilita integração em infraestrutura personalizada. | |||
| Remoção de nó de quota no ZooKeeper quando configurações estão vazias — limpa configurações antigas. | |||
| Corrigido vazamento de recurso em interceptadores (Interceptor resource leak). | |||
| MirrorMaker2 agora lê todos os sincronizadores de offset ao iniciar (startup) — aumenta consistência ao inicializar | |||
| MirrorMaker2 publica sincronizações de offset também durante commit de tarefas — melhora rastreabilidade do offset. | |||
| MM2 agora traduz offsets de grupos de consumo através do fluxo de replicação — sincronização mais precisa. | |||
| NiFi | 1.28.1 | Gestão e Automação de Fluxos de Dados | Segurança e estabilidade: Corrigido registro de valores sensíveis de parâmetros em log de synchronização de fluxo. Mesmo com debug habilitado, esses valores agora não são mais expostos — disponível em 1.28.1; Proteção contra vulnerabilidade de cross-site scripting (XSS): descrições de parâmetros passaram a ser corretamente neutralizadas em 1.28.0 |
| fim do suporte para NiFi 1.x (suporte encerrado em 8 de dezembro de 2024). A equipe Apache recomenda fortemente a migração para a série 2.x. | |||
| Ozone | 1.4.1 | Armazenamento de Objetos Escalável | Evita race condition no datanode ao criar VERSION — aumenta confiabilidade operacional. |
| Logs do SCM refinados — reduz ruído e evita falsos erros ao lidar com sequence ID em containers fechados. | |||
| Reforço de segurança no S3 Gateway — endpoint de manipulação de segredos agora restrito apenas a admins. | |||
| Spark | 3.5.3 | Plataforma de Computação Distribuída | Terceira atualização de manutenção da série 3.5, também com foco em segurança e correções de bugs. Recomendado para adoção em ambientes que já utilizam 3.5 |
| Superset | 4.1.2 | Visualização de Dados | Novos gráficos e visualizações: Big Number e comparações temporais, Heatmap, Histograma e Sankey. |
| Catálogo dinâmico em bancos de dados conectados. | |||
| UI de upload mais intuitiva com validações. | |||
| Integração com Slack mais visual. | |||
| Filtros de tempo e macro Jinja para dinamismo em dashboards. | |||
| Melhorias de UX nos dashboards, SQL Lab e permissões. | |||
| Security fixes importantes em 4.1.2: evita takeover de recursos e bypass de controle de acesso. | |||
| Apache Tez | 0.10.4 | ~28 correções e melhorias no total, focadas em observabilidade, estabilidade e segurança. | |
| Apache ZooKeeper | 3.8.4 | Coordenação de Serviços Distribuídos | Suporte para limitar o número máximo de conexões/clientes a um servidor ZooKeeper. |
| Melhor experiência no zkCli: nova opção para esperar a conexão antes de executar comandos (evita falhas imediatas em ambientes instáveis). | |||
| Mensagens de log aprimoradas:Inclusão consistente de unidade de tempo nos logs de inicialização do servidor, Endereços de rede agora aparecem de forma mais clara quando as portas de listeners são ligadas, Mensagens de erro mais precisas (menos enganosas).a. | |||
| Limpeza e otimização do código: remoção de trechos inúteis em componentes internos (melhora manutenção e reduz ruído). | |||
| Documentação e site: várias correções de formatação, erros de digitação e clareza em manuais e páginas de administração. |
Tabela B. Destaques dos componentes*/}