Mais Informações — TDP Datacenter
Informações adicionais sobre os componentes da edição TDP Datacenter na versão 3.0.0.
Componentes Atualizados
A tabela abaixo apresenta os componentes que foram atualizados nesta versão do TDP Datacenter:
| Componente | Versão Anterior | Versão Atual |
|---|---|---|
| Apache Airflow | 2.9.3 | 2.10.5 |
| Apache Ambari | 3.0.0.3 | 3.0.0.4 |
| Delta Lake | 2.3.0 | 3.3.0 |
| Apache Druid | 30.0.0 | 32.0.0 |
| Great Expectations | 1.2.1 | 1.3.5 |
| Apache HBase | 2.5.6 | 2.5.7 |
| Apache Hive | 3.1.3 | 4.0.0 |
| Apache Iceberg | 1.5.0 | 1.8.0 |
| Apache Kafka | 2.8.2 | 3.4.1 |
| Apache NiFi | 1.27.0 | 1.28.1 |
| Apache Spark | 3.3.4 | 3.5.3 |
| Apache Superset | 4.0.2 | 4.1.2 |
| Apache Tez | 0.10.2 | 0.10.4 |
| Apache Zookeeper | 3.7.2 | 3.8.4 |
Características da Edição Datacenter
A edição TDP Datacenter destina-se à implantação em datacenters on-premise, utilizando:
- Apache Ambari para gerenciamento e monitoramento do cluster
- Implantação em bare-metal ou máquinas virtuais
- Sistemas operacionais: CentOS, Red Hat, Rocky Linux, AlmaLinux (8.x e 9.x)
- Arquitetura x86-64
Para a matriz completa de componentes, consulte a página Componentes TDP Datacenter.
Resumo de Issues — TDP Datacenter 3.0.0
Seguem as issues resolvidas nesta versão:
Novos Componentes:
- STACK-8616 Adição do JupyterLab versão 4.4.5
- STACK-8615 Adição do OpenMetadata versão 1.9.1
Atualizações:
- BIGTOP-8615 Atualização do Airflow para a versão 2.10.5
- BIGTOP-8615 Atualização do Atlas para a versão 2.3.0
- BIGTOP-8615 Atualização do Ambari para a versão 3.0.0.4
- BIGTOP-8615 Atualização do Ambari Infra Solr para a versão 3.0.0.4
- BIGTOP-8615 Atualização do Ambari Metrics para a versão 3.1.0
- BIGTOP-8615 Atualização do Delta Lake para a versão 3.3.0
- BIGTOP-8615 Atualização do Druid para a versão 32.0.0
- BIGTOP-8615 Atualização do Flink para a versão 1.17.2
- BIGTOP-8615 Atualização do Grafana para a versão 11.5.2
- BIGTOP-8615 Atualização do Great Expectations para a versão 1.3.5
- BIGTOP-8615 Atualização do Hadoop para a versão 3.3.6
- BIGTOP-8615 Atualização do HBase para a versão 2.5.7
- BIGTOP-8615 Atualização do HDFS para a versão 3.3.6
- BIGTOP-8615 Atualização do Hive para a versão 4.0.0
- BIGTOP-8615 Atualização do Hive LLAP para a versão 4.0.0
- BIGTOP-8615 Atualização do Hive Metastore para a versão 4.0.0
- BIGTOP-8615 Atualização do Iceberg para a versão 1.8.0
- BIGTOP-8615 Atualização do infra Solr para a versão 3.0.0
- BIGTOP-8615 Atualização do KafKa para a versão 3.4.1
- BIGTOP-8615 Atualização do Kerberos para a versão 1.10.3-30
- BIGTOP-8615 Atualização do Knox para a versão 2.0.0
- BIGTOP-8615 Atualização do Livy para a versão 0.8.0
- BIGTOP-8615 Atualização do NiFi para a versão 1.28.1
- BIGTOP-8615 Atualização do NiFi Registry para a versão 1.28.1
- BIGTOP-8615 Atualização do Ozone para a versão 1.4.1
- BIGTOP-8615 Atualização do Phoenix para a versão 5.2.0
- BIGTOP-8615 Atualização do Ranger para a versão 2.4.0
- BIGTOP-8615 Atualização do Ranger KMS para a versão 2.4.0
- BIGTOP-8615 Atualização do Solr para a versão 8.11.1
- BIGTOP-8615 Atualização do Sqoop para a versão 1.4.7 (componente obsoleto — ver nota)
- BIGTOP-8615 Atualização do Spark para a versão 3.5.3
- BIGTOP-8615 Atualização do Superset para a versão 4.1.2
- BIGTOP-8615 Atualização do Tez para a versão 0.10.4
- BIGTOP-8615 Atualização do Trino para a versão 467
- BIGTOP-8615 Atualização do Yarn para a versão 3.3.6
- BIGTOP-8615 Atualização do Zeppelin para a versão 0.11.2
- BIGTOP-8615 Atualização do ZooKeeper para a versão 3.8.4
Correções:
- STACK-8897 Interpretação de propriedades booleanas (props) no Airflow
- BIGTOP-8573 Problema com CLIs na instalação padrão do Airflow
- AMBARI-6468 Falha no Namenode ao identificar underline no hostname
- AMBARI-9530 Falha na compilação (build) do Ambari via Jenkins (Files View)
- STACK-9346 Erro referente ao tipo de certificado no Ambari Infra Solr com SSL habilitado
- BIGTOP-9560 Erro no script de pós-instalação (after-INSTALL) do Ambari ao tentar configurar a versão do Atlas Server
- BIGTOP-9156 Falha no script 'import-hive'
- STACK-8282 Erro ao gravar no Iceberg usando Stream em tabela particionada
- AMBARI-METRICS-9218 Erro no método KafkaTimelineMetricsReporter presente no Ambari Metrics
- STACK-8724 Novo padrão para logs (Log4j2) no Knox
- BIGTOP-9549 Erro na inicialização da sessão Livy
- TDP-PATCHES-9290 Erro ao gravar protocolo OFS no Ozone
- STACK-9155 Funcionamento em HTTPS Solr (configuração das Keystores e Truststores)
- STACK-6314 Erro de sintaxe no Parâmetro DEFAULT_FEATURE_FLAGS do Superset ao carregar superset_config.py
- BIGTOP-8884 Erro na instalação do Trino devido à exigência do Python já instalada
- STACK-5655 Exception de Filesystem Closed ao iniciar o YARN RM
- AMBARI-9529 Ausência da biblioteca postgresql14-contrib no servidor de metadados
Melhorias:
- AMBARI-9312 Upgrade do Grafana e do Ambari Metrics
- STACK-8458 HBase Thrift Server como serviço
- STACK-8615 Rolling e Express Upgrade para o TDP 3.0.0
Documentação e Comunidades Upstream
Ligações para as notas técnicas, Jira e repositórios dos projetos que compõem o TDP Datacenter.
Apache Airflow 2.10.5
Apache Ambari 3.0.0.4
Apache Atlas 2.3.0
Delta Lake 3.3.0
Apache Druid 32.0.0
Apache Flink 1.17.2
Grafana 11.5.2
Great Expectations 1.3.5
Apache Hadoop 3.3.6
Apache HBase 2.5.7
Apache Hive 4.0.0
Apache Iceberg 1.8.0
JupyterLab 4.4.5
Apache Kafka 3.4.1
Apache Kerberos 1.10.3-30
Apache Knox 2.0.0
Apache Livy 0.8.0
Apache NiFi 1.28.1
OpenMetadata 1.9.1
Apache Ozone 1.4.1
Apache Phoenix 5.2.0
Apache Ranger 2.4.0
Apache Solr 8.11.1
Apache Spark 3.5.3
Apache Sqoop 1.4.7
Componente obsoleto — remoção prevista no TDP 3.1.0
O Apache Sqoop foi descontinuado pela Apache Software Foundation e movido para o Apache Attic. Já não recebe atualizações, correções de segurança ou suporte da comunidade. A última versão estável é a 1.4.7 (2017). A partir do TDP 3.1.0, este componente será removido da plataforma.