La start-up américaine d'intelligence artificielle (IA) Anthropic a affirmé jeudi dans un communiqué que ses modèles avaient «obtenu un accès non autorisé» à trois organisations lors de tests pourtant censés les empêcher d'accéder à des systèmes «réels». Cette annonce intervient quelques jours seulement après que son rival OpenAI a révélé que deux de ses modèles étaient sortis, de leur propre initiative, du milieu confiné dans lequel ils étaient testés pour attaquer le site Hugging Face.
Anthropic a analysé plus de 141'000 tests et a constaté que trois versions différentes de son modèle Claude avaient accédé aux systèmes de trois organisations, dont les noms n'ont pas été divulgués. Contrairement à l'incident impliquant OpenAI, les modèles d'Anthropic ont eu accès à Internet «en raison d'un malentendu entre nous et notre partenaire d'évaluation», Irregular, a expliqué le groupe dans le communiqué.
«Dans aucune de ces situations, Claude ne s'est échappé ni n'a délibérément tenté de s'échapper de son environnement de test», a-t-il ajouté. Parmi les modèles concernés figurait l'un de ses plus puissants, Mythos 5, qui n'a été mis à disposition que d'un nombre limité de partenaires.
Les géants prônent la prudence
Anthropic travaille actuellement avec Irregular pour examiner la situation et a contacté ou tenté de contacter les trois organisations concernées. Concurrent d'Anthropic, OpenAI (créateur de ChatGPT), avait annoncé la semaine passée que ses modèles d'IA avancés s'étaient emballés lors de tests de sécurité, piratant de leur propre initiative Hugging Face, une bibliothèque de code en ligne.
Quelques jours plus tard, le groupe avait déclaré avoir découvert des incidents supplémentaires. Le patron d'OpenAI, Sam Altman, a révélé dans un podcast mis en ligne cette semaine qu'après avoir eu connaissance de l'attaque, l'entreprise avait suspendu ses tests «pour comprendre comment réussir à confiner notre espace» dédié, censé être isolé d'internet.
Cet incident a également donné lieu à une pétition signée par plus d'un millier d'employés d'entreprises à la pointe de l'IA, appelant le gouvernement américain à aider à «temporiser» la sortie des modèles d'IA les plus avancés. Dario Amodei, patron d'Anthropic, figure parmi les signataires. Bien qu'il n'ait pas signé, Sam Altman a reconnu que «nous pourrions devoir ralentir la cadence de développement de l'IA pour donner suffisamment de temps à la société pour faire face à ces nouvelles capacités».
