360dialog - Reports of messages & notifications not arriving for Cloud API numbers – Detalles del incidente

Sistemas funcionando con normalidad

Reports of messages & notifications not arriving for Cloud API numbers

Resuelto
Rendimiento degradado
Iniciado el hace más de 2 añosDuró alrededor de 3 horas

Afectado

Metainfraestructura

Rendimiento degradado de 5:10 PM a 7:25 PM, En funcionamiento de 7:25 PM a 8:25 PM

API de nube de WhatsApp (entrega de mensajes)

Rendimiento degradado de 5:10 PM a 7:25 PM, En funcionamiento de 7:25 PM a 8:25 PM

Actualizaciones
  • Resuelto
    UTC
    Resuelto

    El problema ya está resuelto.

    ---

    Post mortem:

    Descripción del problema e impacto:

    El 14.03.2024 a las 16:30 aproximadamente, recibimos informes de algunos clientes de Cloud API de que no llegaban mensajes ni webhooks de estado.

    Causa del problema:

    Identificamos la causa del problema como una implementación reciente de una nueva función Meta (webhook de número de teléfono) que no funcionaba como se describe.

    Pasos de mitigación/resumen:

    Revertimos la implementación y todos los números volvieron a funcionar. Esta reversión se completó aproximadamente a las 18:40

    Prevención de recurrencia y sugerencias:

    Hemos completado una revisión interna con los equipos relevantes y

    Realizamos cambios/mejoras en la forma en que probamos e implementamos nuevas funciones de Meta.

  • Supervisando
    UTC
    Supervisando
    A mitigation to restore functionality has been deployed. We are continuing to monitor the situation.
  • Identificado
    UTC
    Identificado
    Our engineering team have identified the issue and work is in progress to mitigate it. Note: the issue only affects a small % of Cloud API numbers that are currently using '/waba_webhook' (webhook per WABA) to receive inbound notifications.
  • Investigando
    UTC
    Investigando
    We are currently investigating reports about messages & notification delivery issues on Cloud API. Our engineering team is currently investigating it. We do not currently have a resolution ETA but we'll update again as soon as possible.