360dialog - Reports of messages & notifications not arriving for Cloud API numbers – Details zu Vorfällen

Alle Systeme funktionieren

Reports of messages & notifications not arriving for Cloud API numbers

Gelöst
Beeinträchtigte Leistung
Aufgetreten am vor mehr als 2 JahrenDauerte etwa 3 Stunden

Betroffen

Meta-Infrastruktur

Beeinträchtigte Leistung aus 5:10 PM zu 7:25 PM, Funktionsfähig aus 7:25 PM zu 8:25 PM

WhatsApp Cloud API (Nachrichtenübermittlung)

Beeinträchtigte Leistung aus 5:10 PM zu 7:25 PM, Funktionsfähig aus 7:25 PM zu 8:25 PM

Aktualisierung
  • Gelöst
    UTC
    Gelöst

    Das Problem ist jetzt behoben.

    ---

    Post Mortem:

    Problembeschreibung und Auswirkungen:

    Am 14.03.2024 um ca. 16:30 Uhr erhielten wir Berichte von einigen Cloud API-Kunden, dass Nachrichten und Status-Webhooks nicht ankamen.

    Ursache des Problems:

    Wir haben die Ursache des Problems in der kürzlichen Bereitstellung einer neuen Meta-Funktion (Telefonnummern-Webhook) identifiziert, die nicht wie beschrieben funktionierte.

    Abhilfemaßnahmen/Zusammenfassung:

    Wir haben die Bereitstellung zurückgesetzt und alle Nummern wieder in einen funktionsfähigen Zustand versetzt. Dieser Rollback wurde um ca. 18:40 Uhr abgeschlossen

    Vermeidung von Wiederholungen und Vorschläge:

    Wir haben eine interne Überprüfung mit den relevanten Teams durchgeführt und

    Wir haben Änderungen/Verbesserungen an der Art und Weise vorgenommen, wie wir neue Funktionen von Meta testen und bereitstellen.

  • Überprüfung
    UTC
    Überprüfung
    A mitigation to restore functionality has been deployed. We are continuing to monitor the situation.
  • Identifizierung
    UTC
    Identifizierung
    Our engineering team have identified the issue and work is in progress to mitigate it. Note: the issue only affects a small % of Cloud API numbers that are currently using '/waba_webhook' (webhook per WABA) to receive inbound notifications.
  • Analyse
    UTC
    Analyse
    We are currently investigating reports about messages & notification delivery issues on Cloud API. Our engineering team is currently investigating it. We do not currently have a resolution ETA but we'll update again as soon as possible.