360Dialog - Reports of messages & notifications not arriving for Cloud API numbers – Detalhes do incidente

Todos os sistemas operacionais

Reports of messages & notifications not arriving for Cloud API numbers

Resolvido
Desempenho degradado
Começou em há mais de 2 anosDurou 3 horas 15 minutos

Afetado

Metainfraestrutura

Desempenho degradado de 5:10 PM para 7:25 PM, Operacional de 7:25 PM para 8:25 PM

API da nuvem do WhatsApp (entrega de mensagens)

Desempenho degradado de 5:10 PM para 7:25 PM, Operacional de 7:25 PM para 8:25 PM

Atualizações
  • Resolvido
    UTC
    Resolvido

    O problema agora está resolvido.

    ---

    Pós-morte:

    Descrição e impacto do problema:

    Em 14/03/2024, aproximadamente às 16h30, recebemos relatórios de alguns clientes da API Cloud informando que mensagens e webhooks de status não estavam chegando.

    Causa do problema:

    Identificamos a causa do problema como uma implantação recente de um novo recurso Meta (webhook de número de telefone) que não estava funcionando conforme descrito.

    Etapas/Resumo da Mitigação:

    Revertemos a implantação, revertendo todos os números para um estado funcional. Esta reversão foi concluída por volta das 18h40

    Prevenção de recorrência e sugestões:

    Concluímos uma revisão interna com as equipes relevantes e

    fizemos alterações/melhorias na forma como testamos e implantamos novos recursos do Meta.

  • Monitoramento
    UTC
    Monitoramento
    A mitigation to restore functionality has been deployed. We are continuing to monitor the situation.
  • Identificado
    UTC
    Identificado
    Our engineering team have identified the issue and work is in progress to mitigate it. Note: the issue only affects a small % of Cloud API numbers that are currently using '/waba_webhook' (webhook per WABA) to receive inbound notifications.
  • Investigando
    UTC
    Investigando
    We are currently investigating reports about messages & notification delivery issues on Cloud API. Our engineering team is currently investigating it. We do not currently have a resolution ETA but we'll update again as soon as possible.