Synthèse de l’incident
01/06 10h18 : Mise en production du service d’authentification 3DS et début incident
01/06 10h22 : Rollback
01/06 10h37 : Ouverture de la cellule de crise
01/06 10h48 : Communication status page
01/06 11h25 : Fin de l’incident et reprise du service
03/06 08h50 : Mise à jour automatique de sécurité (patch management) et début de l’incident
03/06 09h44 : Ouverture de la cellule de crise
03/06 10h50 : Fin de l’incident et reprise du service
Root cause
Service d’authentification 3DS démarré avec les dernières configurations industrialisées antérieures à l’incident GCP
Contexte
Lors de l'incident du 26/04 lié à GCP, certaines configurations ont été modifiées manuellement suite à l’inaccessibilité des outils Google permettant d'industrialiser les configurations.
Lors du rollback du 1er juin, les services ont été redémarrés avec les dernières configurations industrialisées qui ont écrasé les configurations manuelles.
Une mise à jour de sécurité automatique a eu lieu le 3 juin, provoquant le redémarrage du service d’authentification 3DS avec les dernières configurations industrialisées et un deuxième incident similaire au premier.
Actions à entreprendre par Payplug
| Symptome | Action |
|---|---|
| Dernière configuration industrialisée pas à jour | Arrêt des mises en production tant que la situation n’est pas stabilisée Répertorier les configurations manuelles et réindustrialiser ces configurations |
| Communication status page tardive/absente dans les deux cas | Améliorer l’automatisation du processus incident majeur (notamment en heure non ouvrée) Renforcer la formation sur le processus incident majeur Reprendre l’implémentation de monitoring / alerting spécifiques supplémentaires |
- Début / Start : 01/06/2023 10h18 CEST
- Fin / End : 01/06/2023 11h49 CEST
- Catégorie / Category : Production authentification 3DS / 3DS authentication
- Responsabilité / Responsibility : Payplug
- Priorité / Priority : P1
Nous vous confirmons que le trafic est désormais stable.
Un post-mortem sera ajouté sur cette page dès que possible
==============ENGLISH VERSION==============
We confirm the traffic is now back to normal.
The Post mortem will be added to this page as soon as possible
Veuillez nous excuser de la gêne occasionnée.
==============ENGLISH VERSION==============
Traffic is now stable. We are still monitoring, an update will be made to explain the root cause and actions.
We apologize for the inconvenience.
==============ENGLISH VERSION==============
Root cause identified. Our Tech team is working to restore the trafic ASAP
- Début / Start : 01/06/2023 10h18 CEST
- Fin / End : Ongoing
- Catégorie / Category : Production authentification 3DS / 3DS authentication
- Responsabilité / Responsibility : Payplug
- Priorité / Priority : P1
L'authentification 3DS est actuellement indisponible sur nos services. Toutes les requêtes d'authentification 3DS sont refusées.
Nos équipes investiguent pour rétablir le service
==============ENGLISH VERSION==============
3DS authentication service is currently not available. Every 3DS authentication requests are rejected.
Our teams are investigating to resume service