Saltar para o conteúdo principal

Sandbox TDP

Pré-Requisitos
  • Sistema Operativo: Windows 10 ou superior, ou Linux com VirtualBox 7 ou superior
  • Processador: 4 vCPUs disponíveis
  • Memória RAM: 10 GB disponíveis
  • Espaço disponível em disco: Inicialmente, 100 GB, podendo chegar a 140 GB
  • VirtualBox instalado e configurado

O que é a Sandbox TDP?​

A Sandbox TDP é uma máquina virtual pré-configurada que emula um cluster TDP com apenas um nó. Permite explorar, de forma limitada, funcionalidades como:

  • Ingestão e transformação de dados.
  • Execução de pipeline de dados.
  • Testes de integrações com ferramentas analíticas.

Esta solução é ideal para programadores, analistas de dados e administradores que desejem experimentar ou testar algumas das funcionalidades avançadas de transformação, processamento e análise de dados antes de implementá-las em produção.

Este guia irá auxiliá-lo na importação, configuração, acesso e utilização da Sandbox TDP.

Importação da Sandbox TDP​

Siga as instruções abaixo para importar e iniciar a Sandbox TDP:

  1. Faça o download da sandbox (ficheiro .ova), utilizando o Repositório Público de Pacotes da Tecnisys.

    No Repositório Público de Pacotes da Tecnisys, os ficheiros da sandbox estão disponíveis no diretório /sandbox/tdp/.

    Figura 1 - Repositório Público de Pacotes da Tecnisys
    Figura 1 - Repositório Público de Pacotes da Tecnisys

  2. Importe a imagem da sandbox do TDP:

    2.1. Abra o VirtualBox. 2.2. No menu superior, clique em Ficheiro → Importar Appliance (ou use o atalho Ctrl + I).

    Figura 2 - Importação do ficheiro .ova
    Figura 2 - Importação do ficheiro .ova

    2.3. Na janela que se abre, selecione o ficheiro .ova da sandbox do TDP que transferiu. 2.4. Clique em Finalizar para iniciar a importação da imagem da máquina virtual (VM).

    Figura 3 - Importação do ficheiro .ova
    Figura 3 - Importação do ficheiro .ova

    2.5. Aceite a licença de utilização da Sandbox TDP, clicando em Concordo.

    Figura 4 - Aceite dos termos e condições da licença de utilização
    Figura 4 - Aceite dos termos e condições da licença de utilização

    2.6. Aguarde que a importação da imagem da VM seja concluída.

    2.7. Inicie a VM importada.

    Figura 5 - Inicialização da Máquina Virtual
    Figura 5 - Inicialização da Máquina Virtual

    2.8. Aguarde que a VM inicie e exiba o ecrã inicial personalizado.

    2.9. A Sandbox TDP está pronta a utilizar!

    Figura 6 - SandBox pronta a utilizar
    Figura 6 - SandBox pronta a utilizar

  3. Configure a resolução de nomes da Sandbox TDP:

    Ao utilizar uma VM local para testes e estudos, é recomendável mapear o domínio da VM localmente. Esta configuração facilita o acesso ao ambiente, permite o reencaminhamento de portas e simula de forma mais realista um ambiente de produção, eliminando a dependência de servidores DNS externos.

    3.1. Configure o ficheiro de hosts no host local (Windows ou Linux), associando o IP 127.0.0.1 ao hostname (FQDN) da sandbox (sandbox-tdp<MAJOR VERSION><MINOR VERSION>.tecnisys.com.br). Por exemplo: sandbox-tdp23.tecnisys.com.br.

    note

    O ficheiro de hosts é um ficheiro de configuração local presente em sistemas operativos como Windows (C:/Windows/System32/drivers/etc/hosts) e Linux (/etc/hosts). Serve para resolver nomes de domínio para IPs, eliminando a necessidade de consultar um servidor de DNS externo.

    3.1.a. Configuração do ficheiro de hosts no Linux.

    3.1.a.1. Abra o ficheiro de hosts com um editor de texto à sua escolha. Neste tutorial, usamos o vi:

    Terminal input
        sudo vi /etc/hosts

    3.1.a.2. Adicione ao final do ficheiro uma nova linha (no vi, prima G para ir ao final do ficheiro e i para inserir uma nova linha) com a resolução do IP 127.0.0.1 para o hostname da sandbox. Note que após o IP deve ser indicado o hostname com o domínio (FQDN), seguido de um espaço, e o hostname apenas. Veja o exemplo abaixo para a Sandbox do TDP 2.3:

    Terminal input
        127.0.0.1 sandbox-tdp23.tecnisys.com.br sandbox-tdp23

    3.1.a.3. Guarde e feche o ficheiro (no vi, prima ESC e digite :wq).

    3.1.b. Configuração do ficheiro de hosts no Windows.

    3.1.b.1. Abra o Bloco de Notas como Administrador.

    tip

    Clique com o botão direito no ícone do Bloco de Notas e selecione Executar como Administrador.

    3.1.b.2. No Bloco de Notas, abra o ficheiro C:/Windows/System32/drivers/etc/hosts.

    3.1.b.3. Adicione ao final do ficheiro uma nova linha com a resolução do IP 127.0.0.1 para o hostname da sandbox. Note que após o IP deve ser indicado o hostname com o domínio (FQDN), seguido de um espaço, e o hostname apenas. Veja o exemplo abaixo para a Sandbox do TDP 2.3:

    Terminal input
        127.0.0.1 sandbox-tdp23.tecnisys.com.br sandbox-tdp23

    3.1.b.4. Guarde o ficheiro.

    Figura 7 - Alteração do ficheiro de hosts no Windows
    Figura 7 - Alteração do ficheiro de hosts no Windows

Acesso ao Cluster TDP​

Uma vez que a VM esteja em execução, utilize o navegador ou o terminal para aceder e interagir com os serviços da Sandbox TDP.

Página de Início da Sandbox​

  1. Abra o seu navegador e aceda à página de Início da Sandbox TDP através do seguinte URL:

    http://localhost:42080

    Caso tenha sido adicionado localmente uma resolução de nomes para a VM da Sandbox TDP, utilize o hostname definido no ficheiro de hosts. Por exemplo, para a Sandbox do TDP 2.3:

    http://sandbox-tdp23.tecnisys.com.br:42080

  2. Na página de Início da Sandbox temos a área de Quick Links para acesso rápido às interfaces web de componentes do Cluster TDP. Selecione o cartão do componente desejado para visualizar o URL de acesso e as credenciais de acesso.

    Figura 8 - Página de Início da Sandbox TDP
    Figura 8 - Página de Início da Sandbox TDP

Inicialização de Serviços do Cluster TDP​

Através da página de Início da Sandbox TDP, aceda à interface web do Apache Ambari, o componente de administração centralizada da plataforma TDP, para iniciar os serviços do Cluster TDP, como Apache Kafka, Apache NiFi, Trino, entre outros.

warning

Evite iniciar muitos serviços ao mesmo tempo, pois isso pode levar a problemas de desempenho e instabilidade numa VM local com recursos computacionais limitados.

  1. No ecrã de login do Apache Ambari, introduza as credenciais abaixo para realizar o acesso:

    • Username: admin
    • Password: admin

  2. Selecione o serviço de interesse no menu lateral esquerdo.

  3. Inicie todos os componentes do serviço clicando no botão Actions → Restart All localizado no lado superior direito.

    Figura 9 - Iniciar serviço
    Figura 9 - Iniciar serviço

Acesso à Sandbox via SSH​

Através de um terminal, é possível aceder à Sandbox TDP realizando uma conexão SSH na porta 2122 da VM:

Terminal input
    ssh -p 2122 devopstdp@localhost

Credenciais de Acesso​

Seguem as credenciais de acesso dos utilizadores previamente criados na VM da Sandbox TDP:

UtilizadorPalavra-passe
roottecnisystdp23
sandboxtecnisystdp23
devopstdptecnisystdp23

A seguir, são listadas as principais credenciais dos utilizadores de serviços do Cluster TDP da Sandbox:

ServiçoUtilizadorPalavra-passe
Airflowadmintecnisystdp23
Ambariadminadmin
Druid Database Userdruiddruid
Grafanaadmintecnisystdp23
Hive Database Userhivehive
Kafka UIkafka-uitecnisystdp23
Rangeradmintecnisystdp23
Ranger Admin Credentials for Ambariamb_ranger_admintecnisystdp23
Ranger Database Userrangerranger

Por último, seguem os valores de propriedades sensíveis do Cluster TDP da Sandbox:

ServiçoPropriedadeValor
KnoxMaster Secrettecnisystdp23
NiFiCA Tokentecnisystdp23
NiFiEncryption Passwordtecnisystdp23
NiFiRegistry Encryption Passwordtecnisystdp23
NiFiSensitive property values encryption passwordtecnisystdp23
RangerUsersync User's Passwordtecnisystdp23
RangerTagsync User's Passwordtecnisystdp23
SupersetSECRET_KEYtecnisystdp23
SupersetSuperset Admin Emailadmin@tecnisys.com.br
SupersetSuperset Admin Firstnameadmin
SupersetSuperset Admin Lastnametecnisys
SupersetSuperset Admin Passwordtecnisystdp23

Portas de Comunicação​

A tabela abaixo lista os serviços e as respetivas portas de comunicação utilizadas na Sandbox TDP. Esta configuração permite o acesso aos serviços alojados na máquina virtual.

AplicaçãoPorta
Ambari8080
Apache42080
Datanode50075
Atlas21000
Grafana3000
Druid Router8888
Druid Coordinator8081
HBaseMaster16010
HBaseRegion16030
HDFS8020
HiveJDBCJar10002
HostSSH2122
HostSSH2200
JobHistory19888
Kafka8079
Knox8443
NiFi9090
NiFi Registry61080
NodeManager8042
Nodemanager8040
ResourceManager8032
Infra Solr8886
Solr Admin8983
SparkHistoryServer18082
WebHBase60080
Ranger50070
Ranger6080
YARN8088
YarnATS8188
Zeppelin9995
Superset9088
AirflowUI18080
CeleryFlowerUI5555
Trino5555

Utilize esta tabela para aceder e configurar os serviços conforme necessário.

warning

Caso a sua máquina local já esteja a utilizar alguma das portas configuradas para a Sandbox, a VM não será inicializada, e o VirtualBox apresentará um erro durante o processo, abortando a execução.