Le PDG d’Anthropic, Dario Amodei, a proposé un plan en trois étapes pour équilibrer l’accroissement des capacités des modèles d’intelligence artificielle par des travaux de sécurité. Dans la première étape, Anthropic s’engage à offrir à des évaluateurs indépendants un accès continu équivalent à celui des employés de l’entreprise, les étapes suivantes nécessitent une coordination entre les entreprises et les gouvernements. Si vous utilisez des outils d’IA dans votre travail, cet appel met en évidence la question de savoir qui supervisera et comment les processus de développement seront contrôlés, avant même de considérer la rapidité avec laquelle de nouvelles fonctionnalités arriveront.
Amodei, dans son plan concernant la vitesse de développement, n’en propose pas l’arrêt de toutes les formations de modèles. Il appelle à un tempo plus mesuré afin que les travaux de sécurité et d’alignement puissent suivre l’accroissement des capacités. Parmi ses raisons figure le rôle croissant de l’IA dans l’élaboration des prochaines générations d’IA. Le dirigeant affirme que cette accélération pourrait mettre de côté les outils de contrôle, mais il n’en fait pas une conséquence inévitable.
Dans la première étape, des évaluateurs indépendants implantés au sein de l’entreprise sont couverts. Ces équipes ne se contenteront pas d’examiner le dernier test d’un modèle achevé. Elles pourront surveiller en continu les processus d’entraînement, les pratiques de sécurité et les signalements d’incidents. Anthropic prévoit de ne pas exercer de contrôle éditorial sur la publication de résultats importants, mais établit des exemptions limitées pour les obligations juridiques et les informations sensibles.
La deuxième étape vise à ce que les entreprises leaders de l’IA dans les pays démocratiques développent des normes communes. La troisième étape vise une coopération internationale plus large. Le volet de coordination du plan montre que certaines étapes exigent plus que les décisions que des entreprises peuvent prendre seules. Amodei affirme que le soutien gouvernemental et les outils qui vérifieront la conformité sont nécessaires dans ce processus.
Les évaluateurs indépendants examineront aussi le processus d’entraînement
Cet appel s’inscrit dans l’initiative Pacing the Frontier, qui rallie une communauté plus large de chercheurs. Parmi les signataires figurent OpenAI, Google DeepMind, Anthropic et d’autres organisations. L’initiative appelle au développement d’outils techniques et de gouvernance face à l’accélération de la recherche autonome en IA. Toutefois, elle précise clairement que les opinions personnelles ne reflètent pas nécessairement le point de vue de l’employeur.
L’examen de cybersécurité d’Anthropic dans les évaluations apporte un contexte concret à ce débat. L’entreprise explique que des environnements de test mal configurés ont laissé un accès direct à Internet et qu’elle a identifié trois incidents distincts. Certains modèles avaient pris certains systèmes réels pour faire partie de l’environnement d’évaluation. L’entreprise précise aussi que l’infrastructure de test est séparée des données clients et des systèmes internes sensibles.
Ces incidents démontrent que non seulement les instructions données au modèle comptent, mais aussi les limites techniques qui l’entourent. La proposition d’Amodei vise à intégrer le mécanisme de contrôle dans le processus de développement. Cependant, il n’est pas encore établi que l’ensemble du secteur adhère aux mêmes règles. Pour les utilisateurs, l’étape concrète à suivre sera de déterminer quels accès disposent les équipes indépendantes et dans quelle mesure les résultats de sécurité peuvent être rendus publics.
