Integrações — OpenMetadata

Visão geral das integrações

O chart tdp-openmetadata pode executar um Job pós-install/upgrade que registra serviços externos no OpenMetadata quando datasourcesIntegration.enabled=true.

Além disso, o OpenMetadata pode executar pipelines de ingestão em dois modos: por Kubernetes Jobs (padrão) ou por Airflow.

Visão geral

1. Implantar o OpenMetadata.
2. O Job aguarda o OpenMetadata ficar pronto, autentica na API e registra os serviços habilitados.

Habilitar o Job

datasourcesIntegration:
  enabled: true

Acesso à API do OpenMetadata em datasourcesIntegration.openmetadata.*. Se datasourcesIntegration.openmetadata.auth.passwordSecret.enabled=true, informe o nome do Secret e a chave da senha no arquivo de valores.

Configuração por serviço

Cada integração possui enabled e um bloco connection sob datasourcesIntegration.*.

Exemplo (Trino + ClickHouse)

datasourcesIntegration:
  enabled: true
  openmetadata:
    apiEndpoint: "http://<openmetadata-service>.<namespace>.svc.cluster.local:8585/api"
    auth:
      provider: "basic"
      username: "admin@open-metadata.org"
      passwordSecret:
        enabled: true
        name: "<openmetadata-admin-secret>"
        key: "<password-key>"

  trino:
    enabled: true
    connection:
      host: "<trino-service>.<namespace>.svc.cluster.local"
      port: 8080
      username: "<username>"
      scheme: "http"

  clickhouse:
    enabled: true
    connection:
      host: "<clickhouse-service>.<namespace>.svc.cluster.local"
      port: 8123
      username: "<username>"
      passwordSecret:
        name: "<clickhouse-secret>"
        key: "password"
      scheme: "http"

Airflow, Superset e Kafka

Airflow, Superset e Kafka são tipos suportados pelo Job (Pipeline, Dashboard, Messaging): habilite o bloco correspondente e preencha connection e credenciais no arquivo de valores (veja helm show values).

Instalação típica com valores extras (exemplo genérico):

Terminal input

helm upgrade --install <release> \
  oci://registry.tecnisys.com.br/tdp/charts/tdp-openmetadata \
  -n <namespace> \
  -f <arquivo-base>.yaml \
  -f <arquivo-integracoes>.yaml

Use arquivos de valores do seu pacote Helm ou um único -f com todo o conteúdo necessário.

Execução de pipelines: Airflow ou K8S

O OpenMetadata pode executar pipelines de ingestão usando dois modos:

• Kubernetes Jobs (k8s): modo padrão, no qual os pipelines rodam como Jobs nativos no cluster, sem dependência de Airflow
• Airflow (airflow): modo em que os pipelines são executados por integração REST com o serviço Airflow

O modo de execução é controlado pelo campo pipelineServiceClientConfig.type, que aceita os valores k8s ou airflow.

Modo Kubernetes Jobs (type: k8s)

Quando o modo k8s está ativo, os pipelines são submetidos como Jobs Kubernetes. Os parâmetros mais comuns nesse cenário são:

• imagem utilizada na execução
• namespace onde os Jobs serão criados
• service account
• recursos de CPU e memória
• TTL e política de backoff
• nodeSelector, annotations e securityContext

Modo Airflow (type: airflow)

Quando o modo airflow está ativo, o OpenMetadata delega a execução dos pipelines ao serviço Airflow. Os parâmetros mais comuns nesse cenário são:

• endpoint do Airflow
• usuário
• senha via Secret
• verificação SSL

Como alternar

• altere apenas o valor de pipelineServiceClientConfig.type para trocar o modo de execução
• mantenha os parâmetros específicos alinhados ao modo escolhido
• o modo airflow exige que o serviço Airflow esteja habilitado e acessível nas dependências do chart

Verificação

Após o Job concluir, os serviços devem aparecer na UI do OpenMetadata em Settings → Services.

Resolução de Problemas

Terminal input

kubectl -n <namespace> get jobs
kubectl -n <namespace> logs job/<release>-register-datasources