Pré-Requisitos

A seguir apresentamos os pré-requisitos mínimos para a atualização de um Cluster TDP, podendo haver outros de acordo com os serviços desejados ou as necessidades técnicas e organizacionais de cada ambiente.

Caso necessite, solicite apoio na Área de Suporte.

Espaço em Disco

A atualização requer a instalação de novos pacotes, os quais demandam de espaço em disco adicional, seja no repositório de pacotes ou nos diretórios das máquinas do Cluster destinados à binários, arquivos de configuração e bibliotecas. Para uma atualização segura, sem intercorrências, recomendamos um mínimo de 100 GB de espaço livre em disco.

Antes da instalação dos pacotes da nova versão, verifique o espaço em disco disponível, evitando assim a corrupção de arquivos, reinício da operação, entre outros problemas.

Rede de Comunicação

A comunicação entre as máquinas do Cluster e o repositório de pacotes deve ser garantida, seja por meio de uma rede local ou pela internet. A velocidade e estabilidade da rede influencia diretamente no tempo de execução e integridade da operação.

Serviços Funcionais

Certifique-se que todos os serviços instalados, e, consequentemente, seus componentes, estejam funcionais antes de se iniciar a atualização. Para isso, siga os passos a seguir:

  1. Utilize um browser para acessar a interface web do Ambari, disponível no IP/hostname da máquina do Ambari Server, porta 8080. Por exemplo:

    http://192.168.56.100:8080
    Página de login do Ambari
    Figure 1. Página de login do Ambari

  2. No Ambari, selecione o serviço desejado e acione a opção "Run Service Check" na lista de seleção ACTIONS.

    Acione a verificação do serviço
    Figure 2. Acione a verificação do serviço

  3. Confirme a operação.

    Confirme a verificação do serviço
    Figure 3. Confirme a verificação do serviço

  4. Acompanhe o progresso da verificação.

    Progresso da verificação dos serviços
    Figure 4. Progresso da verificação dos serviços

    Repita a operação para todos os serviços instalados no Cluster.

Início Automático dos Serviços Desativado

Antes de iniciar atualização dos componentes é importante desativar a função de Início Automático (Auto Start) dos serviços no Ambari. Para isso, siga os passos a seguir:

  1. Selecione no menu lateral do Ambari a opção "Service Auto-Start".

  2. Mude a chave para "Disabled" na opção "Auto Start Settings".

    Desativando o _Auto Start_
    Figure 5. Desativando a função Auto Start

  3. Clique em "Save" para salvar a alteração e confirme a operação.

    Concluída a atualização, a função Auto Start pode ser habilitada novamente.

Cargas de Trabalho Finalizadas

Recomendamos que as principais cargas de trabalho sejam finalizadas antes da atualização. Isso evita a interrupção de processos em execução, garantindo a integridade dos dados e a continuidade das operações.

Serviços em Alta Disponibilidade

A atualização do tipo "Rolling Upgrade" é um processo que permite a atualização de um serviço sem interromper o funcionamento do Cluster. Para isso, é necessário que os serviços estejam configurados para alta disponibilidade, garantindo a continuidade das operações.

Backup dos Bancos de Metadados

Vários componentes da plataforma TDP utilizam bancos de metadados para armazenar informações sobre configurações, operações, entre outros.

Antes de iniciar a atualização, é recomendado realizar um backup dos bancos de metadados, garantindo assim a possibilidade de restauração em caso de falhas.

Configurações Adicionais no Apache Ambari para Grandes Clusters

Em um Cluster de grande porte, com dezenas ou centenas de máquinas, algumas configurações adicionais no Apache Ambari podem ser necessárias para garantir o sucesso da atualização.

Ajuste do Timeout para a Instalação de Pacotes

Em um grande Cluster, a instalação de pacotes através do Ambari pode requerer bastante tempo. Logo, para evitar problemas de timeout aumente o valor do parâmetro agent.package.install.task.timeout, localizado no arquivo de configuração /etc/ambari-server/conf/ambari.properties da máquina do Ambari Server. Para isso, siga os passos a seguir:

  1. Abra o arquivo de configurações do Ambari Server com um editor de texto:

    vim /etc/ambari-server/conf/ambari.properties

  2. Ajuste a valor da propriedade agent.package.install.task.timeout. Por exemplo, para 1 hora (3600 segundos):

    agent.package.install.task.timeout=3600

  3. Salve a alteração e feche o arquivo de configuração do Ambari Server.

  4. Reinicie o serviço do Ambari Server:

    ambari-server restart

Ajuste do Tempo de Reinício do NameNode

Em um grande Cluster, o processo de inicialização do NameNode pode demorar significativamente. O tempo de inicialização depende não apenas dos recursos computacionais disponíveis, mas também do volume de dados e parâmetros de rede.

Para garantir que as solicitações do Ambari para iniciar o NameNode não excedam o tempo limite durante uma atualização, configure o parâmetro de tempo limite de reinício do NameNode no Ambari, upgrade.parameter.nn-restart.timeout, no arquivo /etc/ambari-server/conf/ambari.properties da máquina do Ambari Server.

Caso o parâmetro upgrade.parameter.nn-restart.timeout não exista no arquivo de configuração, adicione-o.

Inicialmente, adicione 10% ao tempo (em segundos) normalmente demanando para reiniciar o NameNode. Embora não haja um método padrão para determinar um valor apropriado, a seguinte orientação pode ser utilizada. Por exemplo, 660 segundos (11 minutos) se o tempo normal de reinicialização for de 600 segundos (10 minutos). Para isso, siga os passos a seguir:

  1. Abra o arquivo de configurações do Ambari Server com um editor de texto:

    vim /etc/ambari-server/conf/ambari.properties

  2. Ajuste a valor da propriedade upgrade.parameter.nn-restart.timeout:

    upgrade.parameter.nn-restart.timeout=660

  3. Salve a alteração e feche o arquivo de configuração do Ambari Server.

  4. Reinicie o serviço do Ambari Server:

    ambari-server restart