[INFO] La gestion des secrets à l'aube de l'intelligence artificielle

Comme chaque semaine, le CERT-XMCO partage un bulletin publié durant la semaine précédente. Cette fois-ci, nous vous proposons de revenir sur une étude abordant la gestion des secrets au sein de systèmes dotés d’intelligence artificielle.

Description :
Les mécanismes permettant d’aboutir à de l’intelligence artificielle comme les modèles de « machine learning » basés sur des réseaux de neurones et de « deep learning » sont de plus en plus étudiés, travaillés, développés et adoptés pour bien des usages.

Que ce soit pour battre l’homme sur des jeux de plus en plus complexes avec une plus grande efficacité encore (par exemple pour les jeux de plateau comme les échecs ou plus complexe, le célèbre Go), pour améliorer les suggestions proposées à des utilisateurs (publicités, films et séries recommandées) ou encore améliorer le confort et la vitesse d’écriture sur les smartphones à l’aide de propositions de mots, les mécanismes et concepts d’IA trouvent un nombre d’applications extrêmement varié.

Ces modèles se basent souvent sur une expérience acquise au travers de nombreuses itérations et d’importants jeux de données leur permettant de découvrir des tendances. Des chercheurs universitaires se sont penchés sur une question très intéressante qui est la gestion des secrets dans de tels systèmes. En effet, on découvre fréquemment que de nombreux systèmes qui n’intègrent pas de sécurité ou de notions de données privées dès leur conception se retrouvent vulnérables.

Les chercheurs utilisent un exemple très simple : les suggestions de mots qui sont proposées sur un smartphone pour aider à écrire plus rapidement reposent de plus en plus sur des mécanismes qui vont acquérir de l’expérience de leur utilisation afin de proposer de meilleurs résultats. Les jeux de données issus de ces itérations peuvent alors être personnels (et rester localement sur l’appareil) ou confondus avec des milliers d’autres bases issues d’autres utilisateurs afin de faire un produit plus générique.

Qu’en est-il, dans ce second cas, des secrets collectés tels que les mots de passe ou les adresses mail (des données qui ne devraient pas être partagées ni mêmes prises en compte) ? En effet, ces données vont non seulement intégrer les jeux de données, mais aussi être utilisées dans l’évolution du modèle qui se sera basé dessus, altérant ainsi son comportement. Ces points rendent la gestion des secrets très complexe une fois ces données assimilées au modèle. Le modèle ayant « évolué » en se basant sur ces secrets peut alors être amené à les divulguer directement (suggérer à d’autres utilisateurs votre secret) ou indirectement (permettre de retrouver le secret selon le comportement adopté).

Les cinq chercheurs ayant participé à cette étude et à la rédaction du papier (voir réf.) replacent le contexte, donnent de nombreux exemples pour plusieurs mécanismes et apportent plusieurs solutions qu’ils jugent et expliquent être plus ou moins efficaces.

Références :

[PDF] The Secret Sharer: Measuring Unintended Neural Network Memorization & Extracting Secrets

Référence CERT-XMCO :

• CXN-2018-0987