Slowdowns and errors when logging into the eVault application (MyPeopleDoc) // Ralentissements et erreurs lors de la connexion sur l'application eVault (MyPeopleDoc)
Incident Report for UKGHRSD
Postmortem

Start of the incident: 2023-05-08 00:00 UTC
Detection of the incident: 2023-05-09 08:25 UTC
Incident mitigation: 2023-05-09 13:09 UTC (application fully available again)
End of the incident: 2023-05-09 14:13 UTC

Impact on the end user

Severe slowdowns up to and including unavailability of the eVault MyPeopleDoc application.

Cause of Incident

On April 27, a certificate renewal for our databases servers did not complete resulting in 2 out of 6 servers being updated.
On May 8, the certificates of 4 servers expired and they were no longer able to reach our databases, causing the incident.

Actions taken following the incident

  • Added new alerts on the expiration of our database servers' certificates to the eVault MyPeopleDoc application.
  • Added rights to deploy these certificates to new users.


Début de l’incident : 2023-05-08 00:00 UTC
Détection de l’incident : 2023-05-09 08:25 UTC
Atténuation de l’incident : 2023-05-09 13:09 UTC (application à nouveau disponible)
Fin de l’incident : 2023-05-09 14:13 UTC

Impact pour l’utilisateur final

Ralentissements importants allant jusqu'à l'indisponibilité de l’application eVault MyPeopleDoc.

Cause de l’incident

Le 27 avril, un renouvellement de certificat de nos bases de données ne s’est pas finalisé ayant pour effet d’avoir appliqué une mise à jour de 2 serveurs sur 6.
Le 8 mai, les certificats de 4 serveurs ont expiré et ces derniers n’étaient plus en mesure de joindre nos bases de données provoquant ainsi l’incident.

Actions prises suite à l’incident

  • Ajout de nouvelles alertes sur l’expiration des certificats de nos serveurs de base de données sur l’application eVault MyPeopleDoc.
  • Extension des droits de déploiement de ces certificats à de nouveaux utilisateurs.
Posted May 23, 2023 - 13:07 UTC

Resolved
We have not observed any new problems after the implementation of the fix. Therefore, we consider this incident as solved. We apologize for the inconvenience.

//

Nous n'avons observé aucun nouveau problème après l'implémentation du correctif. Nous considérons donc cet incident comme résolu. Nous vous prions de nous excuser pour la gêne occasionnée.
Posted May 10, 2023 - 06:38 UTC
Monitoring
The root cause of the problem has been identified and a fix has been implemented at 13:00 UTC. All observed problems have since been resolved. We are monitoring the behavior for the next few hours to confirm the resolution.

//

La source du problème a été identifié et un correctif a été mis en place à 15:00 (heure française). L'ensemble des problèmes observés est depuis résolu. Nous surveillons le comportement pendant les prochaines heures pour confirmer la résolution.
Posted May 09, 2023 - 13:29 UTC
Investigating
The eVault (MyPeopleDoc) application is currently experiencing slowdowns and errors during login. Nos équipes sont en cours d'investigation.

//

L'application eVault (MyPeopleDoc) fait actuellement face à des ralentissements et à des erreurs lors de la connexion. Our teams are currently investigating.
Posted May 09, 2023 - 09:10 UTC
This incident affected: Document manager (Employee Vault).