Pré-Requisitos para Atualização
A seguir apresentamos os pré-requisitos mínimos para a atualização dum Cluster TDP, podendo haver outros de acordo com os serviços desejados ou as necessidades técnicas e organizacionais de cada ambiente.
Caso necessite, solicite apoio na Área de Suporte.
Espaço em Disco
A atualização requer a instalação de novos pacotes, os quais demandam de espaço em disco adicional, seja no repositório de pacotes ou nos diretórios das máquinas do Cluster destinados à binários, ficheiros de configuração e bibliotecas. Para uma atualização segura, sem intercorrências, recomendamos um mínimo de 100 GB de espaço livre em disco.
Antes da instalação dos pacotes da nova versão, verifique o espaço em disco disponível, evitando assim a corrupção de ficheiros, reinício da operação, entre outros problemas.
Rede de Comunicação
A comunicação entre as máquinas do Cluster e o repositório de pacotes deve ser garantida, seja por meio de uma rede local ou pela internet. A velocidade e estabilidade da rede influencia diretamente no tempo de execução e integridade da operação.
Função "Auto Start" Desativada
Antes de iniciar atualização dos componentes é importante desativar a função de Início Automático (Auto Start) dos serviços no Ambari. Para isso, siga os passos a seguir:
- Instruções
- Vídeo
-
Selecione no menu lateral do Ambari a opção
Service Auto-Start
. -
Mude a chave para
Disabled
na opçãoAuto Start Settings
.Figura 5 - Desativando o _Auto Start_ -
Clique em
Save
para salvar a alteração e confirme a operação.noteConcluída a atualização, a função Auto Start pode ser habilitada novamente.
Cargas de Trabalho Finalizadas
Recomendamos que as principais cargas de trabalho sejam finalizadas antes da atualização. Isso evita a interrupção de processos em execução, garantindo a integridade dos dados e a continuidade das operações.
Serviços em Alta Disponibilidade
A atualização do tipo Rolling Upgrade
é um processo que permite a atualização dum serviço sem interromper o funcionamento do Cluster. Para isso, é necessário que os serviços estejam configurados para alta disponibilidade, garantindo a continuidade das operações.
Backup dos Bancos de Metadados
Vários componentes da plataforma TDP utilizam bancos de metadados para armazenar informações sobre configurações, operações, entre outros.
Antes de iniciar a atualização, é recomendado realizar um backup dos bancos de metadados, garantindo assim a possibilidade de restauração em caso de falhas.
Configurações Adicionais no Apache Ambari para Clusters Grandes
Em um Cluster de grande porte, com dezenas ou centenas de máquinas, algumas configurações adicionais no Apache Ambari podem ser necessárias para garantir o sucesso da atualização.
Ajuste do Timeout para a Instalação de Pacotes
Em um grande Cluster, a instalação de pacotes através do Ambari pode requerer bastante tempo. Logo, para evitar problemas de timeout, aumente o valor do parâmetro agent.package.install.task.timeout
, localizado no ficheiro de configuração /etc/ambari-server/conf/ambari.properties
da máquina do Ambari Server. Para isso, siga os passos a seguir:
- Instruções
- Vídeo
-
Abra o ficheiro de configurações do Ambari Server com um editor de texto:
Terminal inputvim /etc/ambari-server/conf/ambari.properties
1.1. Ajuste o valor da propriedade
agent.package.install.task.timeout
. Por exemplo, para 1 hora (3600 segundos):Terminal inputagent.package.install.task.timeout=3600
1.2. Salve a alteração e feche o ficheiro de configuração do Ambari Server.
Figura 6 - Ajuste timeout -
Reinicie o serviço do Ambari Server:
Terminal inputambari-server restart
Figura 6 - Ajuste timeout
Ajuste do Tempo de Reinício do NameNode
Em um grande Cluster, o processo de inicialização do NameNode pode demorar significativamente. O tempo de inicialização depende não apenas dos recursos computacionais disponíveis, mas também do volume de dados e parâmetros de rede.
Para garantir que as solicitações do Ambari para iniciar o NameNode não excedam o tempo limite durante uma atualização, configure o parâmetro de tempo limite de reinício do NameNode no Ambari, upgrade.parameter.nn-restart.timeout
, no ficheiro /etc/ambari-server/conf/ambari.properties
da máquina do Ambari Server.
Caso o parâmetro upgrade.parameter.nn-restart.timeout
não exista no ficheiro de configuração, adicione-o.
- Instruções
- Vídeo
Inicialmente, adicione 10% ao tempo (em segundos) normalmente demandado para reiniciar o NameNode. Embora não haja um método padrão para determinar um valor apropriado, a seguinte orientação pode ser utilizada. Por exemplo, 660 segundos (11 minutos) se o tempo normal de reinicialização for de 600 segundos (10 minutos). Para isso, siga os passos a seguir:
-
Abra o ficheiro de configurações do Ambari Server com um editor de texto:
Terminal inputvim /etc/ambari-server/conf/ambari.properties
1.1 Ajuste o valor da propriedade upgrade.parameter.nn-restart.timeout:
Terminal inputupgrade.parameter.nn-restart.timeout=660
1.2. Salve a alteração e feche o ficheiro de configuração do Ambari Server.
-
Reinicie o serviço do Ambari Server:
Terminal inputambari-server restart
Figura 6 - Ajuste namenode