Saltar para o conteúdo principal
Versão Next

Criação do Cluster e Instalação dos Componentes

Após a instalação do serviço do Apache Ambari, o próximo passo é a criação do Cluster de Big Data, incluindo a instalação dos demais serviços/componentes desejados.

Vamos Começar!​

  1. Utilize um browser para aceder a interface web do Ambari disponível no IP/hostname da máquina do Ambari Server, porta 8080. Por exemplo:

    http://192.168.56.100:8080
    Figura 1 - Página de login do Ambari
    Figura 1 - Página de login do Ambari
    nota

    Por padrão, o usuário / palavra-passe de acesso são, respectivamente, admin / admin.

  1. No primeiro acesso será exibida uma página inicial de boas-vindas. Para iniciar o processo de implantação do Cluster, clique no botão LAUNCH INSTALL WIZARD:

    Figura 2 - Página de Boas Vindas do Ambari
    Figura 2 - Página de Boas Vindas do Ambari

  2. Informe um nome para o Cluster e clique em NEXT:

    Figura 3 - Nome do Cluster
    Figura 3 - Nome do Cluster

Seleção da Versão​

  1. Selecione a versão do TDP desejada:

    Figura 4 - Versão do TDP
    Figura 4 - Versão do TDP

  2. Selecione o tipo do repositório de pacotes (Public ou Local) e informe a URL para Components (TDP-3.0) e Utils (TDP-UTILS-3.0):

    Figura 5 - Repositórios de pacotes
    Figura 5 - Repositórios de pacotes

  3. Na sequência, clique em NEXT.

    important

    Caso opte pela utilização do Repositório Público de Pacotes da Tecnisys, as credenciais de acesso (usuário e palavra-passe) devem ser informadas diretamente na URL, conforme demonstrado na imagem acima.

Opções de Instalação​

  1. Em Target Hosts, informe o Fully Qualified Domain Name (FQDN) dos hosts (máquinas) que irão compor o Cluster.

    O Ambari Server precisa ter acesso às máquinas informadas. Certifique-se de que a resolução do FQDN das máquinas ocorra corretamente, seja através de um Servidor de DNS (recomendado) ou localmente (ficheiro /etc/hosts).

    Figura 6 - Informação dos hosts do Cluster
    Figura 6 - Informação dos hosts do Cluster
    dica

    Em Target Hosts, é possível informar as máquinas usando Expressões (Pattern Expressions). O exemplo apresentado na figura acima ficaria assim: big-tdp[1-7].dev-geep.local.

  2. Em Hosts Registration Information, selecione como as máquinas do Cluster serão registradas.

    • Caso opte por fornecer a chave SSH privada da máquina do Ambari Server para o registro automático das máquinas do Cluster, cole o seu conteúdo no campo de texto abaixo ou faça o upload de seu ficheiro. Na sequência, confirme o usuário e a porta SSH a serem utilizados. Além disso, certifique-se de que a Relação de Confiança (a troca das chaves SSH) tenha sido realizada corretamente, sendo possível, a partir da máquina do Ambari Server, aceder todas as máquinas via SSH sem a informação da palavra-passe do usuário do daemon do Ambari Server (por padrão, root).

      Figura 7 - Registro dos hosts
      Figura 7 - Registro dos hosts

    • Caso opte por realizar o registro manual das máquinas, faça você mesmo a instalação do Ambari Agent em todas as máquinas antes de prosseguir.

      dica

      A chave SSH privada do tipo RSA pode ser obtida executando o seguinte comando:

      Terminal input
      cat ~/.ssh/id_rsa
      nota

      Para instalar manualmente o Ambari Agent:

      Terminal input
      yum install ambari-agent

  3. Na sequência, clique em REGISTER AND CONFIRM.

Configuração da Relação de Confiança​

  1. Na máquina do Ambari Server, gere uma chave SSH privada:

    Terminal input
    ssh-keygen

  2. Copie a chave SSH para TODAS as máquinas do Cluster. Por exemplo:

    Terminal input
    ssh-copy-id tdp-mn01.tecnisys.com.br

  3. Teste o acesso via SSH à TODAS as máquinas do Cluster sem a informação da palavra-passe do usuário. Por exemplo:

    Terminal input
    ssh root@tdp-mn01.tecnisys.com.br

Confirmação dos Hosts​

Após a instalação do Ambari Agent em todas as máquinas informadas na etapa anterior, o Ambari realiza uma série de verificações para garantir que os pré-requisitos foram atendidos (JDK, Firewall, THP, entre outros).

Figura 8 - Confirmação dos hosts
Figura 8 - Confirmação dos hosts

Eventuais erros precisam ser corrigidos e a verificação reexecutada para prosseguir.

Clique em NEXT para avançar.

nota

Alertas do tipo Package Issues, referentes aos pacotes do PostgreSQL já instalados, podem ser desconsiderados.

Seleção dos Serviços​

  1. Selecione o serviço responsável pela camada de armazenamento do Cluster.

    Figura 9 - Seleção do serviço da camada de armazenamento
    Figura 9 - Seleção do serviço da camada de armazenamento

  2. Selecione os demais serviços do Cluster.

    Figura 10 - Seleção dos demais serviços do Cluster
    Figura 10 - Seleção dos demais serviços do Cluster
    dica

    Recomendamos, inicialmente, a seleção dos serviços básicos, como YARN + MapReduce2, Tez, Zookeeper, Infra Solr e Ambari Metrics. Os demais serviços, caso necessário, podem ser adicionados após a criação do Cluster. Assim é mais fácil lidar com possíveis problemas na instalação dos componentes.

    nota

    O Cluster requer determinados serviços para operar plenamente, como por exemplo, o Apache Ranger para a camada de segurança e o Apache Atlas para a camada de governança de dados. Logo, o Ambari apresentará alertas caso alguma funcionalidade venha a ser limitada pela não instalação de um serviço específico. Ignore o alerta (clique no botão PROCEED ANYWAY) caso o serviço em questão venha a ser instalado futuramente, ou caso esteja ciente de tal limitação.

  3. Na sequência, clique em NEXT.

Atribuição dos Componentes Masters​

  1. Indique a máquina de cada um dos componentes Masters (em geral, componentes de gerenciamento e coordenação) dos serviços selecionados. Observe que à direita da página é apresentada a organização dos componentes por máquina.

    Figura 11 - Atribuição dos componentes Masters
    Figura 11 - Atribuição dos componentes Masters
    nota

    A organização deve ser feita considerando as necessidades de cada componente e os recursos disponíveis em cada máquina. Algumas recomendações podem ser observadas:

    • Evite instalar na máquina do Ambari Server serviços que não sejam de Edge ou Gateway. Se possível, deixe uma máquina dedicada para o Ambari Server.
    • Componentes responsáveis pela alta disponibilidade de serviços devem ser instalados em máquinas distintas. Por exemplo, NameNode e Secondary NameNode (SNameNode).
    • Instale o Zookeper em número ímpar de máquinas, maior que um (01). Ou seja, inicialmente, em pelo menos 3 máquinas.

  2. Na sequência, clique em NEXT.

Atribuição dos Componentes Slaves e Clients​

  1. Indique em quais máquinas serão instalados os componentes Slaves (em geral, componentes de armazenamento e processamento) e Clients.

    Figura 12 - Atribuição dos componentes Slaves e Clients
    Figura 12 - Atribuição dos componentes Slaves e Clients
    nota

    Sempre que possível, evite instalar componentes Slaves em máquinas de componentes Masters.

  2. Na sequência, clique em NEXT.

Customização dos Serviços​

Nessa etapa devem ser definidas as credenciais de acesso, dados de conexão a bases de dados, diretórios, usuários, entre outras informações próprias de cada serviço e necessárias para a instalação.

Resolva as pendências de todas as seções dessa etapa e clique em NEXT para avançar.

Credenciais​

Ilustrando essa seção, temos o Grafana, componente do Ambari Metrics, que requer a definição do usuário e palavra-passe de administração da ferramenta:

Figura 13 - Definição das credenciais de administração do Grafana
Figura 13 - Definição das credenciais de administração do Grafana

Bancos de Dados​

Ilustrando essa seção, temos o Hive, o qual requer um base de dados para persistência de metadados. Nesse exemplo, informamos os dados de conexão para uma instância PostgreSQL existente:

Figura 14 - Definição dos dados de conexão do base de dados do Hive
Figura 14 - Definição dos dados de conexão do base de dados do Hive
nota

Clique no botão TEST CONNECTION para testar a conexão com o base de dados informado.

Diretórios​

Nesta seção é possível customizar os diretórios dos serviços, como por exemplo, os diretórios de dados dos DataNodes, os diretórios da namespace do NameNode, diretórios de log, etc.

Figura 15 - Definição dos diretórios dos serviços
Figura 15 - Definição dos diretórios dos serviços
aviso

Se possível, use dispositivos de armazenamento (discos, SSD, entre outros), volumes e diretórios exclusivos para os ficheiros dos DataNodes, NameNodes, JournalNodes, NodeManagers, Timeline Services e Zookeeper.

Usuários dos Serviços​

Nesta seção é possível customizar os usuários de sistema operacional que serão criados para cada serviço.

Figura 16 - Definição dos usuários dos serviços
Figura 16 - Definição dos usuários dos serviços

Todas as Configurações​

Esta última seção dá acesso a todas as configurações dos serviços a serem instalados. Aproveite para conferir e ajustar o que for necessário.

Figura 17 - Todas as configurações dos serviços
Figura 17 - Todas as configurações dos serviços

Caso tenha esquecido alguma configuração, não se preocupe. Após a instalação, todas essas configurações também estarão disponíveis para alteração via Ambari.

Revisão das Configurações​

Nessa etapa, a última antes da criação do Cluster, é apresentada uma revisão das configurações definidas. Verifique cuidadosamente todas as informações e, sendo necessário alterar alguma configuração, utilize a área de navegação lateral esquerda para retornar na etapa desejada.

Figura 18 - Revisão da configuração antes da instalação
Figura 18 - Revisão da configuração antes da instalação
dica

Utilize o botão PRINT para gerar um relatório da instalação e o botão GENERATE BLUEPRINT para gerar um ficheiro XML com todas as configurações definidas e que, futuramente, pode ser utilizado para recriar o Cluster via Ambari REST API.

Para iniciar a implantação do Cluster, clique no botão DEPLOY.

Instalação, Iniciação e Teste dos Serviços​

Nessa etapa, os serviços serão instalados, iniciados e testados, respeitando as dependências e integrações de cada um.

Figura 19 - Instalação dos serviços
Figura 19 - Instalação dos serviços
nota

Clique no link do texto da coluna Message para visualizar as tarefas programadas para cada máquina.

Na ocorrência de falhas, o Ambari pode interromper a implantação, sendo possível retomá-la após a correção do problema clicando no botão RETRY.

No entanto, de acordo com o progresso já realizado, o Ambari pode concluir a implantação e disponibilizar o Cluster como ele está, mesmo que nem todos os componentes de um determinado serviço tenham sido instalados, iniciados ou testados com sucesso. Nesse caso, após criado o Cluster, é possível, pelo próprio Ambari, alterar as configurações ou remover e instalar novamente apenas o serviço problemático.

Finalizada a implantação, clique em NEXT.

Figura 20 - Instalação, Iniciação e Testes finalizados
Figura 20 - Instalação, Iniciação e Testes finalizados

Sumário​

Na última etapa do processo é apresentado um resumo da implementação.

Clique no botão COMPLETE para finalizar a operação e aceder a área de administração do Cluster criado.

Figura 21 - Área de administração do Cluster
Figura 21 - Área de administração do Cluster