OpenAI a créé une équipe dédiée à l’identification et à la prévention des risques liés à l’intelligence artificielle (IA), qui pourra mener à suspendre le lancement d’un modèle d’IA s’il est considéré comme trop dangereux.
Cette annonce intervient un mois seulement après le licenciement du patron du créateur de l’interface conversationnelle ChatGPT, Sam Altman, finalement réintégré au bout de quelques jours.
Selon plusieurs médias américains, des membres du conseil d’administration lui reprochaient de privilégier le développement accéléré d’OpenAI quitte à éluder certaines interrogations sur les possibles dérives de l’IA.
Modèles dits « d’avant-garde »
Concrètement, l’équipe d’alerte s’appuiera sur un cadre de travail défini par un document qui établit son champ d’application et des procédures.
Ce nouveau groupe va surtout s’intéresser aux modèles dits « d’avant-garde », en cours d’élaboration et dont les capacités sont supérieures aux logiciels les plus aboutis en matière d’IA.
« Nous pensons que l’étude scientifique des risques de catastrophe découlant de l’IA n’est pas du tout à la hauteur », expliquent les responsables d’OpenAI.
La création de cadre doit « aider à combler ce décalage », selon eux.
Quatre catégories principales
L’équipe évaluera chaque nouveau modèle et lui assignera un niveau de risque dans quatre catégories principales.
La première concerne la cybersécurité et la capacité du modèle à procéder à des attaques informatiques d’ampleur.
La deuxième mesurera la propension du logiciel à aider à la création d’un mélange chimique, d’un organisme (tel un virus) ou d’une arme nucléaire, tous éléments susceptibles d’être nocifs pour l’humain.
La troisième catégorie touche à la capacité de persuasion du modèle, à savoir dans quelle mesure il peut influencer des comportements humains.
La dernière classe de risque concerne l’autonomie potentielle du modèle, c’est-à-dire déterminer notamment s’il peut s’exfiltrer, ce qui revient à échapper au contrôle des programmeurs qui l’ont créé.
Une fois les risques identifiés, ils seront soumis au Conseil de sécurité (Safety Advisory Group ou SAG), nouvelle entité qui effectuera des recommandations à Sam Altman ou à une personne désignée par lui.
Le patron d’OpenAI statuera alors sur les possibles modifications à apporter à un modèle pour diminuer les risques associés.
