Comment sécurise-t-on les données de nos clients chez Digitaleo ?

L'incendie qui s'est déclaré chez OVH (entreprise d’hébergement web et leader européen du cloud computing) début 2021 nous a tous rappelé les risques planant sur le système numérique, et l'importance de la gestion de son réseau informatique et du stockage de ses données. Si vous êtes clients de Digitaleo, vous savez que nous n'avons pas été impactés par cet incident alors que les serveurs de notre plateforme de communication locale sont hébergés chez OVH, sur le site où l'incendie s'est déclaré grâce au travail de nos ingénieurs systèmes : on se disait donc que c’était l’occasion de vous parler de leur travail chez Digitaleo...

                                          Steven                                              Thibaut
                      architecte systèmes/devops                    ingénieur systèmes

Pouvez-vous nous parler de votre métier ?

Thibaut : "Nous sommes 3 ingénieurs système à gérer l'infrastructure de Digitaleo et à veiller que la plateforme soit toujours disponible pour nos clients. Quand on parle d’infrastructure, on entend l’ensemble de nos serveurs et la façon dont ils interagissent entre eux. En plus de l’infrastructure, on travaille aussi sur la gestion des interconnexions avec les fournisseurs : SMS, e-mails, messages vocaux, locations de bases de données, mais encore d’autres partenaires tels que Google pour le presence management etc...

Une autre mission, et pas des moindres, consiste à travailler avec l’équipe de développeurs de la plateforme, afin de leur fournir l’environnement informatique approprié et sécurisé pour améliorer et faire progresser l’outil de nos clients.

Nous collaborons aussi avec le service Customer Success (support clients), et plus ponctuellement avec le Commerce (besoins clients spécifiques, réponses techniques) et avec le Marketing (site web)."

Quels sont les risques liés à la sécurité des données chez Digitaleo ?

Thibaut : "La cybersécurité c'est une mission indissociable de nos autres missions : on y travaille au quotidien et on suit les bonnes pratiques. Quand on parle d’attaques, contrairement à ce que l’on entend parfois, ce n’est pas quelqu’un dans son sous-sol avec une capuche qui consacre son temps au piratage informatique #cliché. En fait, l’attaque la plus courante, c’est une tentative de connexion à l’application Digitaleo avec un compte qui n’est pas le sien : c’est considéré comme une tentative d’intrusion. Autre exemple d’attaque : quand un employé tente d’ouvrir un fichier auquel il n’a pas accès sur Google Drive. La sécurité des données, c’est aussi s’assurer de leur disponibilité, leur intégrité et leur sauvegarde."

Steven : "La sécurité fait partie de notre quotidien, on fait en sorte que la plateforme soit résiliente, autrement dit qu’elle résiste aux menaces. On a des attaques quotidiennes mais elles n’ont généralement aucun impact. Certaines auraient pu être plus dramatiques : il est déjà arrivé que quelqu’un achète un nom de domaine quasi identique à celui de la plateforme, en utilisant la même page que celle servant à se connecter à Digitaleo, et des clients ne l’ayant pas remarqué essayaient de se connecter à l’application via cette page : c’est ce que l’on appelle du cybersquatting ou typosquatting. Ça n'a pas eu un gros impact car nous nous sommes rendus compte rapidement de la supercherie mais notre référent RGPD a dû intervenir pour que l’on récupère le nom de domaine."

Nos serveurs étant chez OVH, comment avez-vous vécu l'incendie ?

Steven : "J’étais d’astreinte cette nuit-là, vers 00:45 je me suis connecté sur l’outil de supervision pour vérifier que tout allait bien, comme je le fais habituellement et j’ai tout de suite vu qu’il y avait un problème. 3 minutes plus tard je recevais une alerte m’informant qu’un de nos serveurs ne répondait plus, mais je ne savais pas encore pourquoi. Puis j’ai reçu une autre alerte m’informant que le problème était cantonné à une seule région, autrement dit un datacenter (infrastructure composée d’un réseau d’ordinateurs et d’espaces de stockage), en particulier, celui de Strasbourg. Je ne me suis pas inquiété, ce genre de choses peut arriver, à cause d’une coupure d’électricité ou une indisponibilité réseau par exemple. Une heure plus tard, les serveurs n’étaient toujours pas revenus en état de fonctionnement, je suis donc parti à la pêche aux informations et c’est vers 3 heures du matin que j’ai appris qu’un incendie s’était déclaré chez OVH à Strasbourg. A partir de là j’ai su que je devais déplacer certains produits sur d’autres serveurs pour équilibrer la charge et j’ai vérifié que tout était bon. Tout fonctionnait correctement sur la plateforme pour nos clients nocturnes. Recenser tout ce qui avait changé a dû me prendre une dizaine de minutes."

Thibaut : "Il faut savoir que tous les serveurs de Digitaleo sont redondés (dupliqués) : ils marchent par paire et chaque membre du couple est situé sur une région différente (sur un datacenter différent). Alors si on perd un datacenter, l’autre peut prendre la relève automatiquement. Ça n'a pas toujours été le cas, c’est le résultat d’un chantier effectué il y a environ 5 ans, et depuis, on utilise cette redondance pour assurer la sécurité de nos serveurs. On part du principe suivant : comme nos serveurs sont hébergés dans un datacenter extérieur à Digitaleo, on n’a pas la main dessus, et donc on ne peut pas affirmer avec certitude qu’il n’aura jamais de souci technique. Pour pallier cette incertitude, la solution c’est d’avoir le 2ème serveur sur un autre datacenter. En l'occurrence nos serveurs étaient hébergés à la fois à Gravelines et à Strasbourg."

Quelles ont été les répercussions d'un tel incendie ?

Steven : "Les propriétaires de sites qui n’avaient pas pris le soin de redonder leurs serveurs ou de stocker leurs sauvegardes ailleurs qu’à Strasbourg ont perdu à la fois le contenu de leurs serveurs mais aussi leurs sauvegardes au moment de l’incendie. On a vu plusieurs personnes se plaindre qu’elles allaient devoir repartir de zéro. Concernant le datacenter de Strasbourg, il a mis plusieurs mois à repartir entièrement, il a fallu reconstruire des serveurs et effectuer des restaurations pour les sauvegardes qui n’étaient pas altérées."

Thibaut : "A 2h30 quand l’incident s’est déclaré, ⅓ de nos serveurs étaient indisponibles ! Mais aucune indisponibilité n’a été ressentie pour nos clients sur la plateforme, seules certaines pages du site internet de Digitaleo ont été impactées. Quand je me suis levé le matin, j’avais reçu environ 300 SMS d’alerte de notre supervision. Finalement on a simplement envoyé un email en interne pour informer les collaborateurs ainsi qu’un email à nos clients pour les rassurer. Les jours suivants, notre mission était d’arriver à recréer un système stable sur une autre région OVH que Strasbourg pour assurer la redondance entre nos serveurs. En fait même si Steven n’avait pas vu les alertes, il n’y aurait pas eu d’impact sur la plateforme grâce à la redondance des serveurs. Pour optimiser la sécurité des serveurs, on va même plus loin : on réalise des backups une fois par jour et on les teste pour vérifier qu’ils ne sont pas altérés. Ce n’est pas forcément nécessaire quand les serveurs sont redondés, mais on n’est jamais trop prudent ! Pour Digitaleo, les deux choses principales à sauvegarder sont le code et les bases de données. Cela nous permet d’anticiper pas mal de problèmes comme celui rencontré chez OVH."

Steven : "Au final, on s’est rendus compte que tout le chantier entrepris pour assurer la redondance de nos serveurs a bien répondu à nos besoins de réduction des risques. D’où l’importance de se remettre en question tout le temps et imaginer le pire pour pouvoir l’anticiper."

Quel serait le scénario catastrophe pour vous ?

Thibaut : "OVH a estimé que ce genre d’incident arrivait une fois tous les 30 ans et c’est la première fois qu’ils font face à un problème de ce genre. Le scénario catastrophe serait de perdre nos 2 datacenters en même temps. Si cela arrivait, la stabilité mettrait sûrement une bonne semaine à revenir pour les clients mais la bonne nouvelle, c’est que c’est quasi inimaginable. Depuis quelques temps nous travaillons sur un système multi-hébergeurs, qui consiste à déployer nos serveurs chez un ou plusieurs hébergeurs en plus d’OVH. Le risque de perdre les 2 serveurs d’un coup est encore plus improbable, et l’effort pour avoir une infrastructure stable sur plusieurs fournisseurs cloud est très important. L’idée avance même si nous sommes sereins sur notre niveau de redondance actuelle. Pour chaque projet, nous comparons le risque identifié, la gravité de ce risque et l’effort à mettre en face pour le diminuer."

C’est quoi le rêve d’un OP ?

Steven : "Ce que j’aimerais qu’on fasse plus souvent, c’est le “chaos monkey”, une technique qui permet de tester la résilience de la plateforme : on choisit des éléments au hasard pour les supprimer et voir comment la plateforme réagit. Pour faire simple, on crée des pannes volontairement pour voir l’impact qu’elles peuvent avoir et mettre en place des solutions, des procédures pour limiter les dégâts."

Thibaut : "L’objectif numéro 1 c’est que tout soit autonome. Par exemple, quand il y a un problème sur une connexion, que le trafic migre automatiquement sur une autre connexion, ou bien que la plateforme s’adapte à la charge actuelle dynamiquement en multipliant les serveurs si besoin.

Conclusion

Nous espérons que nos supers OPs vous auront aidé à travers cet article à comprendre en quoi consiste leur quotidien chez Digitaleo, et pourquoi ils sont indispensables pour assurer la sécurité de la plateforme, et bien évidemment celle des données de nos clients ! D'ailleurs, si comme Steven et Thibaut vous souhaitez nous rejoindre, découvrez nos offres d'emploi !