Mardi, OpenAI a annoncé son intention de mettre en place un contrôle parental pour ChatGPT et d’acheminer les conversations sensibles sur la santé mentale vers ses modèles de raisonnement simulés, suite à ce que l’entreprise a qualifié de « cas déchirants » d’utilisateurs ayant connu des crises en utilisant l’assistant d’intelligence artificielle. Ces mesures font suite à de nombreux incidents au cours desquels ChatGPT n’est pas intervenu de manière appropriée lorsque des utilisateurs ont exprimé des pensées suicidaires ou ont eu des problèmes de santé mentale.
« Ce travail est déjà en cours, mais nous voulons présenter de manière proactive nos plans pour les 120 prochains jours, de sorte que vous n’aurez pas besoin d’attendre les lancements pour voir où nous nous dirigeons », a écrit OpenAI dans un article de blog publié mardi. « Le travail se poursuivra bien au-delà de cette période, mais nous nous efforçons de lancer autant d’améliorations que possible cette année. »
Les contrôles parentaux prévus représentent la réponse la plus concrète d’OpenAI aux préoccupations concernant la sécurité des adolescents sur la plateforme. D’ici un mois, selon OpenAI, les parents pourront relier leurs comptes aux comptes ChatGPT de leurs adolescents (âgés d’au moins 13 ans) par le biais d’invitations par courriel, contrôler la façon dont le modèle d’IA réagit grâce à des règles de comportement adaptées à l’âge et activées par défaut, gérer les fonctions à désactiver (y compris la mémoire et l’historique des conversations) et recevoir des notifications lorsque le système détecte que leur adolescent éprouve une détresse aiguë.
Les contrôles parentaux s’appuient sur des fonctionnalités existantes telles que les rappels in-app pendant les longues sessions qui encouragent les utilisateurs à faire des pauses, qu’OpenAI a mis en place pour tous les utilisateurs en août.
Des cas très médiatisés entraînent des changements en matière de sécurité
La nouvelle initiative d’OpenAI en matière de sécurité intervient après que plusieurs affaires très médiatisées ont attiré l’attention sur la manière dont ChatGPT traite les utilisateurs vulnérables. En août, Matt et Maria Raine ont intenté une action en justice contre OpenAI après que leur fils Adam, âgé de 16 ans, se soit suicidé à la suite de nombreuses interactions avec ChatGPT, dont 377 messages signalés pour leur contenu sur l’automutilation. Selon les documents du tribunal, ChatGPT a mentionné le suicide 1 275 fois dans les conversations avec Adam, soit six fois plus souvent que l’adolescent lui-même. La semaine dernière, le Wall Street Journal a rapporté qu’un homme de 56 ans avait tué sa mère et s’était suicidé après que ChatGPT eut renforcé ses délires paranoïaques au lieu de les remettre en question.
Pour guider ces améliorations en matière de sécurité, OpenAI travaille avec ce qu’elle appelle un Conseil d’experts sur le bien-être et l’IA afin de « façonner une vision claire et fondée sur des preuves de la manière dont l’IA peut contribuer au bien-être des personnes », selon le billet de blog de l’entreprise. Le conseil aidera à définir et à mesurer le bien-être, à fixer des priorités et à concevoir les futures mesures de protection, y compris les contrôles parentaux.