Le panel scientifique indépendant affilié aux Nations Unies affirme que les mesures de sécurité à l’égard des agents d’intelligence artificielle de plus en plus performants ne doivent pas être retardées tant que l’ensemble des risques n’a pas été pleinement compris. L’évaluation publiée par le panel se concentre sur les questions de contrôle et de sécurité qui pourraient émerger avec des systèmes d’IA avancés à la suite de l’attaque liée à Hugging Face qui a fait la une en début d’année, association avec OpenAI. Le rapport indique que les gouvernements ne doivent pas se contenter de réagir aux incidents lorsqu’ils se produisent, mais qu’ils doivent développer des mesures préventives plus tôt pour les scénarios susceptibles d’avoir des conséquences graves. Selon lui, l’incertitude scientifique ne doit pas être considérée comme une raison unique de retarder les réglementations de sécurité. Le panel estime que le fait que des agents d’IA avancés puissent fonctionner de manière autonome ou semi-autonome et atteindre des capacités de plus en plus étendues rend ce débat d’autant plus actuel.
Cette évaluation a été publiée à un moment où les dirigeants mondiaux se réunissaient à New York pour l’Assemblée générale des Nations Unies et où les discussions sur l’IA entre les États-Unis et la Chine se poursuivaient. Selon le texte source, le Secrétaire général des Nations Unies, António Guterres, a également appelé les gouvernements à agir de concert face aux menaces que peut faire peser l’intelligence artificielle. Guterres a déclaré qu’un environnement de concurrence où les pays abaissent les standards en matière de sécurité de l’IA n’était pas acceptable. Par ailleurs, le fait que les États abordent l’IA selon des cadres juridiques différents complique l’établissement de principes communs de sécurité et de responsabilité au niveau international. L’approche du panel accepte que les cadres nationaux puissent différer, tout en préconisant une coordination internationale plus forte sur les questions de sécurité fondamentales.
Le principe de prudence dans les risques liés à l’IA selon l’ONU
Le document en question constitue la première évaluation thématique publiée par le Panel indépendant international sur la science de l’IA, créé l’année dernière. Décrit par l’ONU comme la première structure scientifique mondiale dans le domaine de l’IA, le panel soutient qu’il faut allouer davantage de ressources pour gérer les nouveaux risques susceptibles d’émerger des systèmes avancés. Il indique également que les pratiques de sécurité et les mécanismes de reddition de comptes doivent être harmonisés au niveau international. L’un des éléments les plus remarquables du rapport est l’idée selon laquelle il n’est pas nécessaire d’obtenir une explication scientifique complète sur la manière dont un incident s’est produit et pourquoi pour prendre des mesures. Le panel évalue notamment le risque de perte de contrôle comme un risque dont les conséquences pourraient être extrêmement lourdes, même si la probabilité d’occurrence reste incertaine.
Cette approche est associée au principe de prudence inscrit dans la Déclaration de Rio sur l’Environnement et le Développement de 1992. Ce principe affirme qu’en présence d’un risque de dommages graves ou irréversibles, l’incertitude scientifique ne peut pas servir de prétexte pour retarder les mesures de protection. Initialement mis en évidence dans les politiques environnementales, cet esprit est devenu, au fil des années, l’un des cadres fondamentaux influençant les réglementations environnementales et de santé publique, notamment dans l’Union européenne. Le panel des Nations Unies plaide désormais pour que la même logique soit appliquée à certains risques liés à l’IA. Autrement dit, même lorsque la probabilité paraît faible, des scénarios susceptibles d’avoir des effets extrêmement lourds pourraient ne pas être évités en attendant une preuve définitive.
Selon le texte source, après l’affaire Hugging Face, d’autres cas liés à des entreprises telles qu’OpenAI, Anthropic, Google et Meta ont également été documentés. Parmi eux figurent des attaques contre des cibles réelles et des exemples où de nombreux agents d’IA agissent de concert sur des plateformes de messagerie en ligne. De tels incidents soulèvent la question de savoir comment concevoir des mécanismes de sécurité dans un environnement où les agents d’IA peuvent accomplir des tâches bien au-delà de la production de texte. Toutefois, la nature de chaque incident, son impact et la capacité des systèmes utilisés peuvent varier, ce qui rend risqué de tirer des conclusions générales à partir d’un seul événement. Par conséquent, la recommandation du panel ne vise pas une technologie particulière ou une société précise, mais plutôt le développement d’une approche commune de gestion des risques pour les systèmes d’IA avancés.
L’évaluation de l’ONU montre que le débat fondamental sur la sécurité de l’IA porte non seulement sur le niveau de danger des systèmes actuels, mais aussi sur la manière d’élaborer des politiques face à l’incertitude. D’un côté, on soutient que les réglementations ne doivent pas freiner inutilement le développement technologique; de l’autre, on soutient que le coût du retard dans les risques à fort impact peut être bien plus lourd. Le panel promeut entre ces deux positions l’application de mesures de protection proportionnées au niveau de risque, sans attendre l’installation d’une certitude complète. La manière dont cette approche se convertira en règles concrètes dépendra des systèmes juridiques nationaux, des pratiques des entreprises d’IA et de l’étendue de la coordination internationale. À mesure que les capacités des agents d’IA avancés augmentent, les questions de sécurité, de supervision et de reddition de comptes resteront à l’agenda non seulement des entreprises spécialisées mais aussi des décideurs politiques internationaux.
