Destaques
| Plataforma | Versão | Destaques |
|---|---|---|
| Tecnisys Data Platform | TDP 2.2.0 | - Suporte à sistemas operacionals Enterprise Linux 8 e 9 (Rocky Linux, AlmaLinux, Red Hat, entre outros). - Adição do Apache Ozone para armazenamento escalável e flexível de objetos.. - Adição do Great Expectations (Core) para análise da qualidade de dados. - Adição do serviço do HBase Rest API. Inclusão de novos módulos para o Apache Airflow. Adição do plugin do Debezium para CDC (Change Data Capture) do PostgreSQL. Atualização dos componentes Airflow, Ambari, Atlas, Druid, Hadoop, HBase, Knox, Livy, NiFi, Phoenix, Ranger, Ranger KMS, Superset, Tez, Zeppelin e ZooKeeper. - Correção do jaas_conf do Spark para ambientes Kerberizados. - Adicionada a propriedade hive.server2.leader.zookeeper.namespace ao Hive. - Inclusão da opção de Rolling Upgrade para novas versões da stack TDP. - Melhorias na integração de diversos componentes com SSL/TLS ativado. - Melhorias na integração dos componentes Flink, Iceberg e Zeppelin. - Adição do ResourceManager UI na topologia do Knox. - Integração do Flink com Avro, JDBC, ORC, Parquet, CSV, Hive, Kafka e Iceberg. - Integração do Spark 3.3.4 com Delta 2, Elastic, Iceberg, Kafka, PostgreSQL, Phoenix (HBase) e Solr. - Melhorias nos gráficos do Ambari Metrics. - Atualização dos componentes Delta, Iceberg, Grafana (integrado ao Ambari Metrics), Phoenix e Zeppelin. |
Tabela A. Destaques da Plataforma
Destaques dos Componentes
Veja também os destaques dos componentes atualizados:
| Serviço | Versão | Categoria | Destaques |
|---|---|---|---|
| Apache Ambari | Ambari 3.0.0.0 | Administração | - Modernização da interface, tornando-a mais intuitiva e moderna. - Melhorias e correções de problemas no Ambari Metrics. - Operação com Python 3 em sistemas operacionals EL 8 e 9. |
| Apache Iceberg | Iceberg 1.5.0 | Analytics | - Solucionado problema no FileIO no qual uma requisição extra de cabeçalho era feita ao ler manifests. - Marcados como retryable os códigos de status HTTP 502 e 504 no REST Client. - Correções e melhorias no JDBC Catalog. |
| Apache Phoenix | Phoenix 5.1.3 | Analytics | - Melhorias na estabilidade e correções de problemas conhecidos com o cliente JDBC. - Correções relacionadas à gestão de transações para garantir maior consistência e integridade dos dados. - Melhoria na execução de consultas, especialmente para cenários de grande volume de dados, reduzindo o tempo de resposta e otimizando o uso de recursos. - Melhorias na manipulação e uso de índices secundários para acelerar as operações de leitura. - Atualizações para suportar melhor a integração com o Apache Spark, permitindo o uso de Phoenix como camada de consulta SQL para dados em HBase dentro de pipelines Spark. - Maior compatibilidade com versões recentes do HBase. |
| Apache Spark | Spark 3.3.4 | Analytics, Ciência de Dados, Graph, Streaming | - Ajustes no comportamento de diversas funções SQL, como percentile_disc e percentile_approx(), para lidar corretamente com valores NULL. - Melhoria no comportamento das funções de SQL, incluindo to_number, try_to_number e tratamento de colunas com GROUPING SETS. - Correções no comportamento de pushdown de expressões em DataSource V2 e em funções de comparação binária. - Melhoria no gerenciamento de threads e na integridade estrutural do CoarseGrainedExecutorBackend. - Correções em problemas de desempenho relacionados ao TransportClientFactory e ao uso de await(). - Ajustes para melhorar a compatibilidade com ambientes Kubernetes e YARN, garantindo que a alocação de recursos e a renovação de tokens sejam manejadas corretamente. - Atualizações nas dependências, incluindo a versão do ORC para 1.7.10. |
| Apache Zeppelin | Zeppelin 0.11.0 | Notebook | - Suporte à JDK 11 por padrão, o que melhora a compatibilidade e o desempenho em relação às versões anteriores. - Suporte para as versões mais recentes do Apache Spark (3.5.0) e Apache Flink (1.17). - Python 3.9 é agora a versão padrão para o interpretador Python, garantindo melhor suporte e desempenho para scripts Python. - Criação dinâmica de formulários dentro dos notebooks para facilitar a interação do usuário com os dados. - Melhorias nas funcionalidades de visualização de dados, incluindo gráficos pivot e outras ferramentas interativas para análise de dados. - Resoluções de bugs e melhorias na segurança. |
Tabela B. Destaques dos componentes