Saltar para o conteúdo principal

TDP Datacenter

Pré-Requisitos
  • Sistema Operativo: Windows 10 ou superior, ou Linux com VirtualBox 7 ou superior
  • Processador: 4 vCPUs disponíveis
  • Memória RAM: 10 GB disponíveis
  • Espaço disponível em disco: Inicialmente, 100 GB, podendo chegar a 140 GB
  • VirtualBox instalado e configurado

O que é a Sandbox do TDP Datacenter?​

A Sandbox do TDP Datacenter é uma máquina virtual pré-configurada que emula um cluster TDP Datacenter com apenas um nó. Permite explorar, de forma rápida e simplificada — principalmente para estudo ou testes — funcionalidades como:

  • Ingestão e transformação de dados.
  • Execução de pipeline de dados.
  • Testes de integrações com ferramentas analíticas.

Esta solução é ideal para programadores, analistas de dados e administradores que desejem experimentar ou testar algumas das funcionalidades avançadas de transformação, processamento e análise de dados antes de implementá-las em produção, sem a complexidade de uma instalação completa.

Este guia irá auxiliá-lo na importação, configuração, acesso e utilização da Sandbox do TDP Datacenter.

Importação da Sandbox​

Siga as instruções abaixo para importar e iniciar a Sandbox:

  1. Faça o download da Sandbox (ficheiro .ova), utilizando o Repositório Público de Pacotes da Tecnisys.

    No Repositório Público de Pacotes da Tecnisys, os ficheiros da Sandbox estão disponíveis no diretório /sandbox/tdp/.

    Figura 1 - Repositório Público de Pacotes da Tecnisys
    Figura 1 - Repositório Público de Pacotes da Tecnisys
    nota

    os ficheiros .ova seguem o padrão => sandbox-tdp-xxx-nnn-ova, sendo:

    • xxx - Versão do TDP (exemplo: 230)
    • nnn - numero sequencial (ex: 001)

  2. Importe a imagem da Sandbox:

    2.1. Abra o VirtualBox. 2.2. No menu superior, clique em Ficheiro → Importar Appliance.

    Figura 2 - Importação do ficheiro .ova
    Figura 2 - Importação do ficheiro .ova

    2.3. Na janela que se abre, selecione o ficheiro .ova da Sandbox que transferiu. 2.4. Clique em Finalizar para iniciar a importação da imagem da máquina virtual (VM).

    Figura 3 - Importação do ficheiro .ova
    Figura 3 - Importação do ficheiro .ova

    2.5. Aceite a licença de utilização, clicando em Concordo.

    Figura 4 - Aceite dos termos e condições da licença de utilização
    Figura 4 - Aceite dos termos e condições da licença de utilização

    2.6. Aguarde que a importação da imagem da VM seja concluída.

    2.7. Inicie a VM importada.

    Figura 5 - Inicialização da Máquina Virtual
    Figura 5 - Inicialização da Máquina Virtual

    2.8. Aguarde que a VM inicie e exiba o ecrã inicial personalizado.

    2.9. A Sandbox está pronta a utilizar!

    Figura 6 - SandBox pronta a utilizar
    Figura 6 - SandBox pronta a utilizar

  3. Configure a resolução de nomes da Sandbox:

    Ao utilizar uma VM local para testes e estudos, é recomendável mapear o domínio da VM localmente. Esta configuração facilita o acesso ao ambiente, permite o reencaminhamento de portas e simula de forma mais realista um ambiente de produção, eliminando a dependência de servidores DNS externos.

    3.1. Configure o ficheiro de hosts no host local (Windows ou Linux), associando o IP 127.0.0.1 ao hostname (FQDN) da Sandbox (sandbox-tdp<MAJOR VERSION><MINOR VERSION>.tecnisys.com.br). Por exemplo: sandbox-tdp23.tecnisys.com.br.

    nota

    O ficheiro de hosts é um ficheiro de configuração local presente em sistemas operativos como Windows (C:/Windows/System32/drivers/etc/hosts) e Linux (/etc/hosts). Serve para resolver nomes de domínio para IPs, eliminando a necessidade de consultar um servidor de DNS externo.

    3.1.a. Configuração do ficheiro de hosts no Linux.

    3.1.a.1. Abra o ficheiro de hosts com um editor de texto à sua escolha. Neste tutorial, usamos o vi:

    Terminal input
        sudo vi /etc/hosts

    3.1.a.2. Adicione ao final do ficheiro uma nova linha (no vi, prima G para ir ao final do ficheiro e i para inserir uma nova linha) com a resolução do IP 127.0.0.1 para o hostname da Sandbox. Note que após o IP deve ser indicado o hostname com o domínio (FQDN), seguido de um espaço, e o hostname apenas. Veja o exemplo abaixo para a Sandbox do TDP 2.3:

    Terminal input
        127.0.0.1 sandbox-tdp23.tecnisys.com.br sandbox-tdp23

    3.1.a.3. Guarde e feche o ficheiro (no vi, prima ESC e digite :wq).

    3.1.b. Configuração do ficheiro de hosts no Windows.

    3.1.b.1. Abra o Bloco de Notas como Administrador.

    dica

    Clique com o botão direito no ícone do Bloco de Notas e selecione Executar como Administrador.

    3.1.b.2. No Bloco de Notas, abra o ficheiro C:/Windows/System32/drivers/etc/hosts.

    3.1.b.3. Adicione ao final do ficheiro uma nova linha com a resolução do IP 127.0.0.1 para o hostname da Sandbox. Note que após o IP deve ser indicado o hostname com o domínio (FQDN), seguido de um espaço, e o hostname apenas. Veja o exemplo abaixo para a Sandbox do TDP 2.3:

    Terminal input
        127.0.0.1 sandbox-tdp23.tecnisys.com.br sandbox-tdp23

    3.1.b.4. Guarde o ficheiro.

    Figura 7 - Alteração do ficheiro de hosts no Windows
    Figura 7 - Alteração do ficheiro de hosts no Windows

Acesso ao Cluster TDP​

Uma vez que a VM esteja em execução, utilize o navegador ou o terminal para aceder e interagir com os serviços do cluster TDP na Sandbox.

Página de Início da Sandbox​

  1. Abra o seu navegador e aceda à página de Início da Sandbox através do seguinte URL:

    http://localhost:42080

    Caso tenha sido adicionado localmente uma resolução de nomes para a VM da Sandbox, utilize o hostname definido no ficheiro de hosts. Por exemplo, para a Sandbox do TDP 2.3:

    http://sandbox-tdp23.tecnisys.com.br:42080

  2. Na página de Início da Sandbox temos a área de Quick Links para acesso rápido às interfaces web de componentes do Cluster TDP. Selecione o cartão do componente desejado para visualizar o URL de acesso e as credenciais de acesso.

    Figura 8 - Página de Início da Sandbox
    Figura 8 - Página de Início da Sandbox

Inicialização de Serviços do Cluster TDP​

Através da página de Início da Sandbox, aceda à interface web do Apache Ambari, o componente de administração centralizada da plataforma TDP, para iniciar os serviços do Cluster TDP, como Apache Kafka, Apache NiFi, Trino, entre outros.

aviso

Evite iniciar muitos serviços ao mesmo tempo, pois isso pode levar a problemas de desempenho e instabilidade numa VM local com recursos computacionais limitados.

  1. No ecrã de login do Apache Ambari, introduza as credenciais abaixo para realizar o acesso:

    • Username: admin
    • Password: admin

  2. Selecione o serviço de interesse no menu lateral esquerdo.

  3. Inicie todos os componentes do serviço clicando no botão Actions → Restart All localizado no lado superior direito.

    Figura 9 - Iniciar serviço
    Figura 9 - Iniciar serviço

Acesso à Sandbox via SSH​

Através de um terminal, é possível aceder à Sandbox realizando uma conexão SSH na porta 2122 da VM:

Terminal input
    ssh -p 2122 devopstdp@localhost

Credenciais de Acesso​

Seguem as credenciais de acesso dos utilizadores previamente criados na VM da Sandbox:

UtilizadorPalavra-passe
roottecnisystdp23
sandboxtecnisystdp23
devopstdptecnisystdp23

A seguir, são listadas as principais credenciais dos utilizadores de serviços do Cluster TDP na Sandbox:

ServiçoUtilizadorPalavra-passe
Airflowadmintecnisystdp23
Ambariadminadmin
Druid Database Userdruiddruid
Grafanaadmintecnisystdp23
Hive Database Userhivehive
Kafka UIkafka-uitecnisystdp23
Rangeradmintecnisystdp23
Ranger Admin Credentials for Ambariamb_ranger_admintecnisystdp23
Ranger Database Userrangerranger

Por último, seguem os valores de propriedades sensíveis do Cluster TDP na Sandbox:

ServiçoPropriedadeValor
KnoxMaster Secrettecnisystdp23
NiFiCA Tokentecnisystdp23
NiFiEncryption Passwordtecnisystdp23
NiFiRegistry Encryption Passwordtecnisystdp23
NiFiSensitive property values encryption passwordtecnisystdp23
RangerUsersync User's Passwordtecnisystdp23
RangerTagsync User's Passwordtecnisystdp23
SupersetSECRET_KEYtecnisystdp23
SupersetSuperset Admin Emailadmin@tecnisys.com.br
SupersetSuperset Admin Firstnameadmin
SupersetSuperset Admin Lastnametecnisys
SupersetSuperset Admin Passwordtecnisystdp23

Portas de Comunicação​

A tabela abaixo lista os serviços e as respetivas portas de comunicação utilizadas na Sandbox. Esta configuração permite o acesso aos serviços alojados na máquina virtual.

AplicaçãoPorta
Ambari8080
Apache42080
Datanode50075
Atlas21000
Grafana3000
Druid Router8888
Druid Coordinator8081
HBaseMaster16010
HBaseRegion16030
HDFS8020
HiveJDBCJar10002
HostSSH2122
HostSSH2200
JobHistory19888
Kafka8079
Knox8443
NiFi9090
NiFi Registry61080
NodeManager8042
Nodemanager8040
ResourceManager8032
Infra Solr8886
Solr Admin8983
SparkHistoryServer18082
WebHBase60080
Ranger50070
Ranger6080
YARN8088
YarnATS8188
Zeppelin9995
Superset9088
AirflowUI18080
CeleryFlowerUI5555
Trino5555

Utilize esta tabela para aceder e configurar os serviços conforme necessário.

aviso

Caso a sua máquina local já esteja a utilizar alguma das portas configuradas para a Sandbox, a VM não será inicializada, e o VirtualBox apresentará um erro durante o processo, abortando a execução.