Destaques

Tecnisys Data Platform

2.2.0

Suporte à sistemas operacionais Enterprise Linux 8 e 9 (Rocky Linux, AlmaLinux, Red Hat, entre outros).

Apache Ambari com amplo suporte ao Python 3.

Inclusão do HBase REST API.

Melhorias no mecanismo de autenticação do Hive com LDAP.

Uso do OpenJDK8 como JDK padrão do Ambari.

Correção de problemas com a biblioteca Pydruid para autenticação com Kerberos.

Kafka-UI como interface gráfica para gerenciamento de clusters Kafka.

Correção do jaas_conf do Spark para ambientes Kerberizados.

Adicionada a propriedade hive.server2.leader.zookeeper.namespace ao Hive.

Inclusão da opção de Rolling Upgrade para novas versões da stack TDP.

Melhorias na integração de diversos componentes com SSL/TLS ativado.

Melhorias na integração dos componentes Flink, Iceberg e Zeppelin.

Adição do ResourceManager UI na topologia do Knox.

Integração do Flink com Avro, JDBC, ORC, Parquet, CSV, Hive, Kafka e Iceberg.

Integração do Spark 3.3.4 com Delta 2, Elastic, Iceberg, Kafka, PostgreSQL, Phoenix (HBase) e Solr.

Melhorias nos gráficos do Ambari Metrics.

Atualização dos componentes Delta, Iceberg, Grafana (integrado ao Ambari Metrics), Phoenix e Zeppelin.

Apache Ambari

3.0.0.0

Administração

Modernização da interface, tornando-a mais intuitiva e moderna.

Melhorias e correções de problemas no Ambari Metrics.

Operação com Python 3 em sistemas operacionais EL 8 e 9.

Apache Iceberg

1.5.0

Analytics

Solucionado problema no FileIO no qual uma requisição extra de cabeçalho era feita ao ler manifests.

Marcados como retryable os códigos de status HTTP 502 e 504 no REST Client.

Correções e melhorias no JDBC Catalog.

Apache Phoenix

5.1.3

Analytics

Melhorias na estabilidade e correções de problemas conhecidos com o cliente JDBC.

Correções relacionadas à gestão de transações para garantir maior consistência e integridade dos dados.

Melhoria na execução de consultas, especialmente para cenários de grande volume de dados, reduzindo o tempo de resposta e otimizando o uso de recursos.

Melhorias na manipulação e uso de índices secundários para acelerar as operações de leitura.

tualizações para suportar melhor a integração com o Apache Spark, permitindo o uso de Phoenix como camada de consulta SQL para dados em HBase dentro de pipelines Spark.

Maior compatibilidade com versões recentes do HBase.

Apache Spark

3.3.4

Analytics, Ciência de Dados, Graph e Streaming

Ajustes no comportamento de diversas funções SQL, como percentile_disc e percentile_approx(), para lidar corretamente com valores NULL.

Melhoria no comportamento das funções de SQL, incluindo to_number, try_to_number e tratamento de colunas com GROUPING SETS.

Correções no comportamento de pushdown de expressões em DataSource V2 e em funções de comparação binária.

Melhoria no gerenciamento de threads e na integridade estrutural do CoarseGrainedExecutorBackend.

Correções em problemas de desempenho relacionados ao TransportClientFactory e ao uso de await().

Ajustes para melhorar a compatibilidade com ambientes Kubernetes e YARN, garantindo que a alocação de recursos e a renovação de tokens sejam manejadas corretamente.

Atualizações nas dependências, incluindo a versão do ORC para 1.7.10.

Apache Zeppelin

0.11.0

Notebook

Suporte à JDK 11 por padrão, o que melhora a compatibilidade e o desempenho em relação às versões anteriores.

Suporte para as versões mais recentes do Apache Spark (3.5.0) e Apache Flink (1.17).

Python 3.9 é agora a versão padrão para o interpretador Python, garantindo melhor suporte e desempenho para scripts Python

Criação dinâmica de formulários dentro dos notebooks para facilitar a interação do usuário com os dados.

Melhorias nas funcionalidades de visualização de dados, incluindo gráficos pivot e outras ferramentas interativas para análise de dados.

Resoluções de bugs e melhorias na segurança.