Saltar para o conteúdo principal

Sandbox TDP

Pré-Requisitos
  • Sistema Operacional: Windows 10 ou superior, ou Linux com VirtualBox 7 ou superior
  • Processador: 4 vCPUs disponíveis
  • Memória RAM: 10 GB disponíveis
  • Espaço disponível em disco: Inicialmente, 100 GB, podendo chegar a 140 GB
  • VirtualBox instalado e configurado

O que é a Sandbox TDP?​

A Sandbox TDP é uma máquina virtual pré-configurada que emula um cluster TDP com apenas um nó. Ela permite explorar, de forma limitada, funcionalidades como:

  • Ingestão e transformação de dados.
  • Execução de pipeline de dados.
  • Testes de integrações com ferramentas analíticas.

Esta solução é ideal para desenvolvedores, analistas de dados e administradores que desejam experimentar ou testar algumas das funcionalidades avançadas de transformação, processamento e análise de dados antes de implementá-las em produção.

Esta guia o auxiliará na importação, configuração, acesso e uso da Sandbox TDP.

Importação da Sandbox TDP​

Siga as instruções abaixo para importar e iniciar a Sandbox TDP:

  1. Faça o download da sandbox (arquivo .ova), utilizando o Repositório Público de Pacotes da Tecnisys.

    No Repositório Público de Pacotes da Tecnisys, os arquivos da sandbox estão disponíveis no diretório /sandbox/tdp/.

    Figura 1 - Repositório Público de Pacotes da Tecnisys
    Figura 1 - Repositório Público de Pacotes da Tecnisys

  2. Importe a imagem da sandbox do TDP:

    2.1. Abra o VirtualBox. 2.2. No menu superior, clique em Arquivo → Importar Appliance (ou use o atalho Ctrl + I).

    Figura 2 - Importação do arquivo .ova
    Figura 2 - Importação do arquivo .ova

    2.3. Na janela que se abre, selecione o arquivo .ova da sandbox do TDP que você baixou. 2.4. Clique em Finalizarpara iniciar a importação da imagem da máquina virtual (VM).

    Figura 3 - Importação do arquivo .ova
    Figura 3 - Importação do arquivo .ova

    2.5. Aceite a licença de uso da Sandbox TDP, clicando em Concordo.

    Figura 4 - Aceite dos termos e condições da licença de uso
    Figura 4 - Aceite dos termos e condições da licença de uso

    2.6. Aguarde a importação da imagem da VM ser concluída.

    2.7. Inicie a VM importada.

    Figura 5 - Inicialização da Máquina Virtual
    Figura 5 - Inicialização da Máquina Virtual

    2.8. Aguarde a VM iniciar e exibir a tela inicial customizada.

    2.9. A Sandbox TDP está pronta para uso!

    Figura 6 - SandBox pronta para uso
    Figura 6 - SandBox pronta para uso

  3. Configure a resolução de nomes da Sandbox TDP:

    Ao utilizar uma VM local para testes e estudos, é recomendável mapear o domínio da VM localmente. Essa configuração facilita o acesso ao ambiente, permite o redirecionamento de portas e simula de forma mais realista um ambiente de produção, eliminando a dependência de servidores DNS externos.

    3.1. Configure o arquivo de hosts no host local (Windows ou Linux), associando o IP 127.0.0.1 ao hostname (FQDN) da sandbox (sandbox-tdp<MAJOR VERSION><MINOR VERSION>.tecnisys.com.br). Por exemplo: sandbox-tdp23.tecnisys.com.br.

    note

    O arquivo de hosts é um arquivo de configuração local presente em sistemas operacionais como Windows (C:/Windows/System32/drivers/etc/hosts) e Linux (/etc/hosts). Ele serve para resolver nomes de domínio para IPs, eliminando a necessidade de consultar um servidor de DNS externo.

    3.1.a. Configuração do arquivo de hosts no Linux.

    3.1.a.1. Abra o arquivo de hosts com um editor de texto de sua escolha. Neste tutorial, usamos o vi:

    Terminal input
        sudo vi /etc/hosts

    3.1.a.2. Adicione ao final do arquivo uma nova linha (no vi, tecle G para ir ao final do arquivo e i para inserir uma nova linha) com a resolução do IP 127.0.0.1 para o hostname da sandbox. Note que após o IP deve ser informado o hostname com o domínio (FQDN), seguido de um espaço, e o hostname apenas. Veja o exemplo abaixo para a Sandbox do TDP 2.3:

    Terminal input
        127.0.0.1 sandbox-tdp23.tecnisys.com.br sandbox-tdp23

    3.1.a.3. Salve e feche o arquivo (no vi, tecle ESC e digite :wq).

    3.1.b. Configuração do arquivo de hosts no Windows.

    3.1.b.1. Abra o Bloco de Notas como Administrador.

    tip

    Clique com o botão direito no ícone do Bloco de Notas e selecione Executar como Administrador.

    3.1.b.2. No Bloco de Notas, abra o arquivo C:/Windows/System32/drivers/etc/hosts.

    3.1.b.3. Adicione ao final do arquivo uma nova linha com a resolução do IP 127.0.0.1 para o hostname da sandbox. Note que após o IP deve ser informado o hostname com o domínio (FQDN), seguido de um espaço, e o hostname apenas. Veja o exemplo abaixo para a Sandbox do TDP 2.3:

    Terminal input
        127.0.0.1 sandbox-tdp23.tecnisys.com.br sandbox-tdp23

    3.1.b.4. Salve o arquivo.

    Figura 7 - Alteração do arquivo de hosts no Windows
    Figura 7 - Alteração do arquivo de hosts no Windows

Acesso ao Cluster TDP​

Uma vez que a VM esteja em execução, utilize o navegador ou o terminal para acessar e interagir com os serviços da Sandbox TDP.

Página de Início da Sandbox​

  1. Abra o seu navegador e acesse a página de Início da Sandbox TDP através da seguinte URL:

    http://localhost:42080

    Caso tenha sido adicionado localmente uma resolução de nomes para a VM da Sandbox TDP, utilize o hostname definido no arquivo de hosts. Por exemplo, para a Sandbox do TDP 2.3:

    http://sandbox-tdp23.tecnisys.com.br:42080

  2. Na página de Início da Sandbox temos a área de Quick Links para acesso rápido às interfaces web de componentes do Cluster TDP. Selecione o card do componente desejado para visualizar a URL de acesso e as credenciais de acesso.

    Figura 8 - Página de Início da Sandbox TDP
    Figura 8 - Página de Início da Sandbox TDP

Inicialização de Serviços do Cluster TDP​

Através da página de Início da Sandbox TDP, acesse a interface web do Apache Ambari, o componente de administração centralizada da plataforma TDP, para iniciar os serviços do Cluster TDP, como Apache Kafka, Apache NiFi, Trino, entre outros.

warning

Evite iniciar muitos serviços ao mesmo tempo, pois isso pode levar a problemas de desempenho e instabilidade em uma VM local com recursos computacionais limitados.

  1. Na tela de login do Apache Ambari, insira as credenciais abaixo para realizar o acesso:

    • Username: admin
    • Password: admin

  2. Selecione o serviço de interesse no menu lateral esquerdo.

  3. Inicie todos os componentes do serviço clicando no botão Actions → Restart All localizado no lado superior direito.

    Figura 9 - Iniciar serviço
    Figura 9 - Iniciar serviço

Acesso à Sandbox via SSH​

Através de um terminal, é possível acessar a Sandbox TDP realizando uma conexão SSH na porta 2122 da VM:

Terminal input
    ssh -p 2122 devopstdp@localhost

Credenciais de Acesso​

Seguem as credenciais de acesso dos usuários previamente criados na VM da Sandbox TDP:

UsuárioSenha
roottecnisystdp23
sandboxtecnisystdp23
devopstdptecnisystdp23

A seguir, são listadas as principais credenciais dos usuários de serviços do Cluster TDP da Sandbox:

ServiçoUsuárioSenha
Airflowadmintecnisystdp23
Ambariadminadmin
Druid Database Userdruiddruid
Grafanaadmintecnisystdp23
Hive Database Userhivehive
Kafka UIkafka-uitecnisystdp23
Rangeradmintecnisystdp23
Ranger Admin Credentials for Ambariamb_ranger_admintecnisystdp23
Ranger Database Userrangerranger

Por último, seguem os valores de propriedades sensíveis do Cluster TDP da Sandbox:

ServiçoPropriedadeValor
KnoxMaster Secrettecnisystdp23
NiFiCA Tokentecnisystdp23
NiFiEncryption Passwordtecnisystdp23
NiFiRegistry Encryption Passwordtecnisystdp23
NiFiSensitive property values encryption passwordtecnisystdp23
RangerUsersync User's Passwordtecnisystdp23
RangerTagsync User's Passwordtecnisystdp23
SupersetSECRET_KEYtecnisystdp23
SupersetSuperset Admin Emailadmin@tecnisys.com.br
SupersetSuperset Admin Firstnameadmin
SupersetSuperset Admin Lastnametecnisys
SupersetSuperset Admin Passwordtecnisystdp23

Portas de Comunicação​

A tabela abaixo lista os serviços e as respectivas portas de comunicação utilizadas na Sandbox TDP. Esta configuração permite o acesso aos serviços hospedados na máquina virtual.

AplicaçãoPorta
Ambari8080
Apache42080
Datanode50075
Atlas21000
Grafana3000
Druid Router8888
Druid Coordinator8081
HBaseMaster16010
HBaseRegion16030
HDFS8020
HiveJDBCJar10002
HostSSH2122
HostSSH2200
JobHistory19888
Kafka8079
Knox8443
NiFi9090
NiFi Registry61080
NodeManager8042
Nodemanager8040
ResourceManager8032
Infra Solr8886
Solr Admin8983
SparkHistoryServer18082
WebHBase60080
Ranger50070
Ranger6080
YARN8088
YarnATS8188
Zeppelin9995
Superset9088
AirflowUI18080
CeleryFlowerUI5555
Trino5555

Utilize essa tabela para acessar e configurar os serviços conforme necessário.

warning

Caso a sua máquina local já esteja utilizando alguma das portas configuradas para a Sandbox, a VM não será inicializada, e o VirtualBox apresentará um erro durante o processo, abortando a execução.