360dialog - Reports of messages & notifications not arriving for Cloud API numbers – Детали инцидента

Все системы работают

Reports of messages & notifications not arriving for Cloud API numbers

Решено
Производительность снижена
Началось больше 2 лет назаддлился около 3 часов

Затронутые

Мета-инфраструктура

Производительность снижена от 5:10 PM до 7:25 PM, Работает от 7:25 PM до 8:25 PM

Облачный API WhatsApp (доставка сообщений)

Производительность снижена от 5:10 PM до 7:25 PM, Работает от 7:25 PM до 8:25 PM

Обновления
  • Решено
    UTC
    Решено

    Теперь проблема решена.

    ---

    Посмертное исследование:

    Описание проблемы и последствия:

    14.03.2024 в ~16:30 мы получили сообщения от некоторых клиентов Cloud API о том, что сообщения и веб-перехватчики статуса не приходят.

    Причина проблемы:

    Мы определили причину проблемы как недавнее развертывание новой мета-функции (веб-перехватчик телефонных номеров), которая не работала так, как описано.

    Шаги по смягчению последствий / Резюме:

    Мы откатили развертывание, вернув все номера в рабочее состояние. Этот откат был завершен примерно к 18:40.

    Профилактика рецидивов и предложения:

    Мы завершили внутреннюю проверку с соответствующими командами и

    внесли изменения/улучшения в то, как мы тестируем и развертываем новые функции Meta.

  • Мониторинг
    UTC
    Мониторинг
    A mitigation to restore functionality has been deployed. We are continuing to monitor the situation.
  • Определено
    UTC
    Определено
    Our engineering team have identified the issue and work is in progress to mitigate it. Note: the issue only affects a small % of Cloud API numbers that are currently using '/waba_webhook' (webhook per WABA) to receive inbound notifications.
  • Изучается
    UTC
    Изучается
    We are currently investigating reports about messages & notification delivery issues on Cloud API. Our engineering team is currently investigating it. We do not currently have a resolution ETA but we'll update again as soon as possible.