Saltar para o conteúdo principal
Versão 3.0

TDP Datacenter 3.0.0

Confira todas as funcionalidades, melhorias e correções implementadas no TDP Datacenter 3.0.0:

Novos Componentes e Funcionalidades​

  • JupyterLab 4.4.5 — Ambiente interativo para análise de dados, notebooks e visualizações; suporte a múltiplas linguagens e extensões; interface moderna baseada em abas, integrando edição de código, execução e gráficos.
  • OpenMetadata 1.9.1 — Plataforma de governança e catálogo de dados; permite rastreabilidade (lineage), descoberta de dados e definição de qualidade; integração com diversos serviços do ecossistema (bancos, lakes, pipelines).

Melhorias​

ComponenteVersão AnteriorVersão Atual
Apache Airflow2.9.32.10.5
Apache Ambari3.0.0.33.0.0.4
Ambari Infra Solr3.0.03.0.0
Ambari Metrics3.1.03.1.0
Apache Atlas2.3.02.3.0
Delta Lake2.3.03.3.0
Apache Druid30.0.032.0.0
Apache Flink1.17.21.17.2
Grafana11.5.211.5.2
Great Expectations1.2.11.3.5
Apache Hadoop3.3.63.3.6
Apache HBase2.5.62.5.7
Apache Hive3.1.34.0.0
Apache Hive LLAP—4.0.0
Apache Hive Metastore3.1.34.0.0
Apache Iceberg1.5.01.8.0
Apache Kafka2.8.23.4.1
Apache Knox2.0.02.0.0
Apache Livy0.8.00.8.0
Apache NiFi1.27.01.28.1
Apache NiFi Registry1.27.01.28.1
Apache Ozone1.4.01.4.1
Apache Phoenix5.2.05.2.0
Apache Ranger2.4.02.4.0
Apache Ranger KMS2.4.02.4.0
Apache Solr8.11.18.11.1
Apache Spark3.3.43.5.3
Apache Sqoop1.4.71.4.7
Apache Superset4.0.24.1.2
Apache Tez0.10.20.10.4
Trino467467
Apache Yarn3.3.63.3.6
Apache Zeppelin0.11.20.11.2
Apache ZooKeeper3.7.23.8.4

Issues Resolvidas​

Novos Componentes:

  • STACK-8616 Adição do JupyterLab versão 4.4.5
  • STACK-8615 Adição do OpenMetadata versão 1.9.1

Atualizações:

  • BIGTOP-8615 Atualização do Airflow para a versão 2.10.5
  • BIGTOP-8615 Atualização do Atlas para a versão 2.3.0
  • BIGTOP-8615 Atualização do Ambari para a versão 3.0.0.4
  • BIGTOP-8615 Atualização do Ambari Infra Solr para a versão 3.0.0.4
  • BIGTOP-8615 Atualização do Ambari Metrics para a versão 3.1.0
  • BIGTOP-8615 Atualização do Delta Lake para a versão 3.3.0
  • BIGTOP-8615 Atualização do Druid para a versão 32.0.0
  • BIGTOP-8615 Atualização do Flink para a versão 1.17.2
  • BIGTOP-8615 Atualização do Grafana para a versão 11.5.2
  • BIGTOP-8615 Atualização do Great Expectations para a versão 1.3.5
  • BIGTOP-8615 Atualização do Hadoop para a versão 3.3.6
  • BIGTOP-8615 Atualização do HBase para a versão 2.5.7
  • BIGTOP-8615 Atualização do HDFS para a versão 3.3.6
  • BIGTOP-8615 Atualização do Hive para a versão 4.0.0
  • BIGTOP-8615 Atualização do Hive LLAP para a versão 4.0.0
  • BIGTOP-8615 Atualização do Hive Metastore para a versão 4.0.0
  • BIGTOP-8615 Atualização do Iceberg para a versão 1.8.0
  • BIGTOP-8615 Atualização do Ambari Infra Solr para a versão 3.0.0
  • BIGTOP-8615 Atualização do Kafka para a versão 3.4.1
  • BIGTOP-8615 Atualização do Kerberos para a versão 1.10.3-30
  • BIGTOP-8615 Atualização do Knox para a versão 2.0.0
  • BIGTOP-8615 Atualização do Livy para a versão 0.8.0
  • BIGTOP-8615 Atualização do NiFi para a versão 1.28.1
  • BIGTOP-8615 Atualização do NiFi Registry para a versão 1.28.1
  • BIGTOP-8615 Atualização do Ozone para a versão 1.4.1
  • BIGTOP-8615 Atualização do Phoenix para a versão 5.2.0
  • BIGTOP-8615 Atualização do Ranger para a versão 2.4.0
  • BIGTOP-8615 Atualização do Ranger KMS para a versão 2.4.0
  • BIGTOP-8615 Atualização do Solr para a versão 8.11.1
  • BIGTOP-8615 Atualização do Sqoop para a versão 1.4.7 (componente obsoleto — remoção prevista no TDP 3.1.0)
  • BIGTOP-8615 Atualização do Spark para a versão 3.5.3
  • BIGTOP-8615 Atualização do Superset para a versão 4.1.2
  • BIGTOP-8615 Atualização do Tez para a versão 0.10.4
  • BIGTOP-8615 Atualização do Trino para a versão 467
  • BIGTOP-8615 Atualização do Yarn para a versão 3.3.6
  • BIGTOP-8615 Atualização do Zeppelin para a versão 0.11.2
  • BIGTOP-8615 Atualização do ZooKeeper para a versão 3.8.4

Correções:

  • STACK-8897 Interpretação de propriedades booleanas (props) no Airflow
  • BIGTOP-8573 Problema com CLIs na instalação padrão do Airflow
  • AMBARI-6468 Falha no Namenode ao identificar underline no hostname
  • AMBARI-9530 Falha na compilação (build) do Ambari via Jenkins (Files View)
  • STACK-9346 Erro referente ao tipo de certificado no Ambari Infra Solr com SSL habilitado
  • BIGTOP-9560 Erro no script de pós-instalação (after-INSTALL) do Ambari ao tentar configurar a versão do Atlas Server
  • BIGTOP-9156 Falha no script 'import-hive'
  • STACK-8282 Erro ao salvar no Iceberg usando Stream em tabela particionada
  • AMBARI-METRICS-9218 Erro no método KafkaTimelineMetricsReporter presente no Ambari Metrics
  • STACK-8724 Novo padrão para logs (Log4j2) no Knox
  • BIGTOP-9549 Erro na inicialização da sessão Livy
  • TDP-PATCHES-9290 Erro ao gravar protocolo OFS no Ozone
  • STACK-9155 Funcionamento em HTTPS Solr (configuração das Keystores e Truststores)
  • STACK-6314 Erro de sintaxe no Parâmetro DEFAULT_FEATURE_FLAGS do Superset ao carregar superset_config.py
  • BIGTOP-8884 Erro na instalação do Trino devido à exigência do Python já instalada
  • STACK-5655 Exception de Filesystem Closed ao iniciar o YARN RM
  • AMBARI-9529 Ausência da biblioteca postgresql14-contrib no server de metadados

Melhorias:

  • AMBARI-9312 Upgrade do Grafana e do Ambari Metrics
  • STACK-8458 HBase Thrift Server como serviço
  • STACK-8615 Rolling e Express Upgrade para o TDP 3.0.0