À l’été 1990, trois camions ont pulvérisé un liquide jaune sur plusieurs sites à Tokyo et ses banlieues, y compris deux bases navales américaines, l’aéroport de Narita et le palais impérial. Ces attaques ont été menées par la secte japonaise « Aum Shinrikyo » (Vérité Suprême d’Aum), qui visait à provoquer un effondrement total de la civilisation moderne pour ouvrir la voie à une nouvelle société basée sur ses principes religieux. Cinq ans plus tard, le groupe a acquis une notoriété mondiale pour son attaque au gaz sarin dans le métro de Tokyo, qui a tué 13 personnes et en a blessé des milliers.
L’objectif d’Aum Shinrikyo lors de l’attaque de l’été 1990 était que le liquide jaune contienne de la toxine botulique, l’une des substances biologiques les plus toxiques ; cependant, aucun décès n’a été enregistré à la suite de ces attaques. Parmi les raisons possibles de l’échec des attaques figurait le manque de connaissances critiques d’Aum, notamment concernant la différence entre la propagation des bactéries Clostridium botulinum et la toxine botulique mortelle produite par ces bactéries. Il est également incertain si le groupe a réussi à obtenir la forme toxique du produit, et d’autres facteurs ont pu contribuer à l’échec de l’attaque.
Si Aum Shinrikyo ou tout autre groupe malveillant similaire avait eu accès aux outils modernes de l’IA, comme ChatGPT, ils auraient pu éviter cette erreur et d’autres. ChatGPT excelle à répondre aux questions et à fournir des connaissances, y compris sur des sujets comme la production de toxine botulique. Si Aum Shinrikyo avait eu accès à ce programme, les gens se souviendraient-ils des attaques de l’été 1990 comme du pire incident de terrorisme biologique de l’histoire ?
Les avancées de l’IA offrent un grand potentiel pour améliorer des domaines comme la science et la santé, transformer le travail et l’éducation, et contribuer à la biologie en résolvant des problèmes comme le repliement des protéines et le développement de médicaments. Cependant, la prolifération des applications de l’IA en bioingénierie soulève des inquiétudes, car des acteurs malveillants pourraient les utiliser pour causer des effets dévastateurs. Comme le suggère la littérature, les grands modèles de langage (LLM) comme ChatGPT, ainsi que les outils de conception biologique alimentés par l’IA, pourraient considérablement augmenter les risques liés aux armes biologiques et au bioterrorisme.
La Révolution des Grands Modèles de Langage
Les grands modèles de langage pourraient particulièrement contribuer à accroître l’accès aux armes biologiques. Lors d’un récent exercice au Massachusetts Institute of Technology, ChatGPT n’a pris qu’une heure pour guider des étudiants non scientifiques sur les agents pathogènes pandémiques potentiels, en expliquant les options disponibles pour les acquérir par des individus ne possédant pas les compétences de laboratoire nécessaires.
L’histoire du manque de connaissances d’Aum Shinrikyo sur la différence entre Clostridium botulinum et la toxine botulique n’est pas unique. Les programmes d’armes biologiques précédents ont rencontré des difficultés en raison d’un manque de personnel qualifié. Par exemple, Rauf Ahmed, qui a commencé ses études en microbiologie, a dirigé les efforts d’Al-Qaïda en matière de terrorisme biologique. En 2001, il a utilisé son expertise scientifique pour tenter d’obtenir de l’anthrax, mais il a été arrêté en décembre de la même année, et l’étendue de ses progrès reste inconnue. Avec le développement des chatbots IA, ces technologies pourraient involontairement aider des individus malveillants à améliorer leurs compétences pour causer des dommages.
Mais jusqu’où peut-on apprendre d’un assistant de laboratoire alimenté par l’IA ? En fin de compte, la création de pathogènes ou d’armes biologiques nécessite non seulement des connaissances théoriques, que les grands modèles de langage peuvent fournir, mais aussi des connaissances pratiques et implicites. Il est difficile de déterminer l’étendue de cette « barrière de connaissances implicites » et dans quelle mesure des programmes comme ChatGPT peuvent la réduire. Cependant, un fait demeure clair : si les chatbots et assistants IA facilitent le processus de création et de modification d’agents biologiques, davantage d’individus sont susceptibles de tenter de le faire. Et plus il y a de tentatives, plus la probabilité que certaines réussissent augmente.
ChatGPT n’est que le début de la révolution des modèles de langage et de l’IA dans la manière dont les scientifiques guident les robots de laboratoire. Bientôt, les systèmes d’IA pourront exécuter des idées et des stratégies de conception de manière indépendante, accélérant l’automatisation de la science et réduisant le besoin de scientifiques dans les grands projets, facilitant ainsi le développement rapide d’armes biologiques.
Le Terrorisme Renforcé par l’IA
Avec l’avancée rapide des technologies d’IA, le terrorisme biologique et chimique n’est plus seulement une menace théorique, mais une possibilité de plus en plus probable. La disponibilité de modèles d’IA avancés pourrait ouvrir la porte à des acteurs non étatiques, y compris des groupes terroristes, pour exploiter ces technologies dans le développement d’armes mortelles avec une facilité sans précédent.
Démocratisation de l’accès à la technologie : Les matériaux scientifiques expérimentaux pourraient devenir des outils puissants entre les mains d’acteurs malveillants, offrant un moyen de transférer des informations difficiles à trouver qui sont publiquement disponibles en un clic. Cette « démocratisation » de l’accès aux connaissances scientifiques liées à la fabrication d’armes nucléaires, chimiques et biologiques pourrait considérablement renforcer l’efficacité des activités terroristes. Cela facilite la compréhension des recherches scientifiques par les terroristes et leur permet potentiellement d’exploiter l’expertise technique nécessaire. De plus, les matériaux scientifiques expérimentaux pourraient réduire la dépendance des terroristes, en particulier des acteurs solitaires, envers les « intermédiaires » qui transfèrent des informations, et envers les groupes en ligne qui partagent des liens vers des tutoriels ou des journaux contenant des instructions sur la fabrication d’agents chimiques et biologiques. Ces matériaux pourraient également créer des opportunités de « bricolage », posant des défis supplémentaires pour les forces de l’ordre dans la détection des activités terroristes, facilitant ainsi l’acquisition de connaissances scientifiques à double usage.
Malgré les opportunités que les grands modèles de langage peuvent offrir aux terroristes, leur impact direct sur la sécurité chimique et biologique reste limité en raison de la complexité de la maîtrise des processus chimiques et des sciences de la vie. Cependant, les avancées technologiques pourraient faciliter l’accès aux expériences scientifiques pour les individus disposant de ressources et de connaissances, les aidant à développer l’expertise nécessaire pour concevoir des agents chimiques et biologiques.
Le Risque des Modèles de Langage Chimiques : Les modèles de langage chimiques sont devenus des outils efficaces pour générer des molécules aux propriétés souhaitées, comme la conception de molécules toxiques utilisées dans la fabrication d’agents chimiques. Des études ont montré que ces modèles peuvent être dirigés pour concevoir des analogues du gaz neurotoxique VX, utilisé par des groupes terroristes comme Aum Shinrikyo en 1994. Cela soulève la possibilité que d’autres groupes terroristes cherchent à utiliser de tels agents, aidant potentiellement les modèles de langage chimiques à développer les connaissances nécessaires. De même, ces modèles peuvent soutenir l’acquisition de connaissances sur les agents biologiques, comme fournir des informations sur l’équipement de laboratoire ou la génétique inverse du virus de la grippe. Des programmes comme ProtGPT2 et ProGen peuvent également être détournés pour concevoir des protéines et des toxines comme la ricine pour échapper aux technologies de détection, ce qui est préoccupant étant donné l’intérêt passé de groupes comme Al-Qaïda et l’État islamique pour l’utilisation de la ricine comme arme.
Les Appareils de Synthèse d’ADN et les Technologies Innovantes Émergentes : Les avancées dans la production d’ADN synthétique montrent comment les technologies émergentes continuent de modifier le paysage des risques. Actuellement, la plupart des fournisseurs de synthèse d’ADN examinent volontairement leurs clients et leurs commandes de synthèse, mais la nouvelle génération d’appareils de synthèse de bureau pourrait changer cela. Ces appareils permettent aux laboratoires d’imprimer de l’ADN sans dépendre de fournisseurs commerciaux, rendant la production plus difficile à surveiller. À mesure que la technologie s’améliore, des individus ou de petits groupes pourraient accéder à des capacités auparavant limitées aux gouvernements et aux laboratoires avancés, abaissant les barrières pour les acteurs concevant des pathogènes et augmentant le risque de pandémies. Les risques potentiels incluent l’échec des grandes entreprises technologiques à mettre en œuvre les mesures nécessaires, comme un filtrage insuffisant des commandes d’ADN ou une surveillance inadéquate de la formation des modèles d’IA. Les directives et la supervision actuelles sont insuffisantes, créant une situation préoccupante où l’avenir de l’humanité pourrait dépendre de quelques laboratoires avancés adhérant volontairement aux meilleures pratiques, même si ces pratiques ne sont pas clairement définies.
Les Outils de Conception Biologique : Bien que les grands modèles de langage puissent repousser les limites des capacités de conception biologique à l’avenir, des outils d’IA spécialisés y parviennent déjà. Ces outils incluent des modèles de repliement de protéines comme AlphaFold2 et des outils de conception de protéines comme RFdiffusion. Ces outils sont généralement entraînés sur des données biologiques, comme des séquences génétiques, et ont été développés par de nombreuses entreprises et chercheurs universitaires pour relever des défis majeurs en conception biologique, comme le développement d’anticorps thérapeutiques. À mesure que ces outils deviennent plus puissants, ils permettront de nombreuses réalisations bénéfiques, comme la création de nouveaux médicaments basés sur des protéines innovantes ou la conception de virus sur mesure. Cependant, de telles capacités de conception avancées pourraient également augmenter les risques biologiques. Dans des cas extrêmes, les outils de conception biologique pourraient permettre la création d’agents biologiques aux propriétés sans précédent. Certains ont suggéré que les pathogènes naturels sont équilibrés entre la transmissibilité et la létalité, tandis que les pathogènes conçus pourraient ne pas être soumis à ces contraintes évolutives. Des groupes terroristes pourraient potentiellement concevoir un virus pandémique bien plus mortel que tout ce que la nature pourrait produire, soulevant la possibilité que les outils de conception biologique passent de menaces catastrophiques à existentielles. De plus, ces outils pourraient permettre la création d’agents biologiques ciblant des régions géographiques ou des populations spécifiques.
À court terme, les nouvelles capacités de conception pourraient remettre en question les mesures actuelles visant à contrôler l’accès aux toxines et pathogènes dangereux. Les mesures de sécurité actuelles se concentrent souvent sur des listes d’organismes dangereux interdits ou sur le filtrage de séquences génétiques connues comme menaçantes ; cependant, les outils de conception pourraient créer d’autres agents aux propriétés tout aussi dangereuses que ces mesures ne peuvent pas reconnaître ou détecter.
La bonne nouvelle est que les capacités avancées offertes par les outils de conception biologique, du moins initialement, resteront probablement entre les mains d’un nombre limité d’experts actuels qui utiliseront ces outils à des fins légitimes et bénéfiques. Cependant, cette barrière d’accès pourrait s’éroder à mesure que les outils de conception biologique deviennent plus efficaces, permettant d’obtenir leurs résultats avec un minimum de tests de laboratoire supplémentaires, surtout à mesure que les modèles de langage d’IA améliorent leur capacité à interagir efficacement avec ces outils. Déjà, les modèles de langage sont reliés à des outils scientifiques spécialisés pour aider à effectuer des tâches spécifiques, appliquant automatiquement l’outil le plus approprié à la tâche requise. En conséquence, les capacités de conception biologique pourraient rapidement devenir accessibles à un grand nombre d’individus, y compris ceux ayant des intentions malveillantes.
Mécanismes d’Atténuation des Risques
Que peut-on faire pour atténuer les risques découlant de l’intersection de l’IA et de la biologie ? Il y a deux domaines principaux sur lesquels se concentrer : renforcer les mesures générales de biosécurité et développer des stratégies pour atténuer les risques associés aux nouveaux systèmes d’IA.
Mesures de Biosécurité : Face à l’augmentation des capacités de conception biologique, un filtrage complet de la synthèse génétique est une étape fondamentale pour la biosécurité. Le défi réside dans la production des éléments de base génétiques qui transforment les conceptions numériques en agents physiques, et il existe des entreprises spécialisées dans ce domaine. Depuis 2010, le gouvernement américain recommande de filtrer les commandes des clients pour s’assurer que les matériaux génétiques sont obtenus par des chercheurs légitimes. Bien que certaines entreprises effectuent volontairement ce filtrage, beaucoup ne le font toujours pas. Un exercice au Massachusetts Institute of Technology a montré que ChatGPT est capable d’identifier ces lacunes et de guider sur la manière d’exploiter les vulnérabilités de la chaîne d’approvisionnement. Nous avons besoin d’un cadre obligatoire pour le filtrage des produits d’ADN synthétique, qui ne soit pas en conflit avec les intérêts des entreprises, car les entreprises leaders aux États-Unis et au Royaume-Uni le font déjà volontairement et plaident pour des normes réglementaires assurant la sécurité. Ce cadre devrait inclure des dispositifs de synthèse génétique généralisés et être suffisamment flexible pour couvrir le filtrage des agents préoccupants. Des règles similaires devraient s’appliquer au filtrage des clients par d’autres fournisseurs de services jouant un rôle crucial dans la transition du numérique au physique, comme les organisations de recherche sous contrat.
Renforcement de la Gouvernance de l’IA : En plus des mesures générales de biosécurité, des interventions spécifiques à l’IA sont nécessaires, en se concentrant sur l’atténuation des risques associés aux grands modèles de langage. Ces modèles pourraient abaisser les barrières à l’utilisation abusive de la biologie, et leurs capacités évoluent rapidement. Un défi majeur est que des capacités dangereuses peuvent n’apparaître qu’après la publication d’un modèle ; par conséquent, des évaluations préliminaires sont essentielles pour s’assurer que les modèles ne contiennent pas de capacités dangereuses lors de leur publication, et ces évaluations devraient être menées par un organisme indépendant pour garantir que les entreprises prennent les mesures nécessaires. La publication de modèles via des interfaces organisées comme ChatGPT permet de mettre à jour les garde-fous, tandis que la publication de modèles open-source pose des risques importants, car le réglage fin peut être facilement supprimé. Dans l’ensemble, l’impact potentiel des outils d’IA sur les risques d’utilisation abusive de la biologie soulève une question profonde : Qui devrait avoir le droit d’accéder aux capacités scientifiques à double usage ? Pour les décideurs politiques cherchant à répondre à cette question, il est essentiel de prendre en compte des perspectives diverses provenant de diverses disciplines, populations et régions géographiques. Cela nécessitera des compromis difficiles entre l’ouverture des domaines scientifiques liés aux pathogènes, l’application des lois et la surveillance des flux de données liés aux activités illicites, tout en augmentant le risque d’utilisation abusive.
Il est logique que les modèles de langage comme ChatGPT ne fournissent pas de conseils détaillés sur la création de souches dangereuses de grippe pandémique ; par conséquent, il est peut-être préférable que les versions publiques de ces modèles ne fournissent pas de réponses détaillées sur des sujets à double usage. Par exemple, le modèle Claude 2 d’Anthropic offre une barrière plus élevée que GPT-4 dans ce contexte. En même temps, ces outils devraient fournir une formation appropriée aux scientifiques pour soutenir le développement de nouveaux médicaments et vaccins. Cela nécessite des mécanismes d’accès différenciés, comme la vérification en ligne de l’identité des scientifiques pour accéder aux outils liés à la biosécurité et à la conception de vaccins.
En conclusion, à mesure que la dépendance à l’intelligence artificielle augmente dans divers domaines, il devient essentiel de relever les défis liés à une utilisation abusive de ces technologies, en particulier dans des secteurs comme la bio-ingénierie et les armes chimiques. Bien que les avancées récentes des grands modèles de langage et des outils de bio-conception aient ouvert de nouvelles perspectives pour la science et la santé, elles représentent également des menaces existentielles si elles tombent entre de mauvaises mains. Une action rapide des décideurs politiques peut renforcer la sécurité et nous permettre de tirer pleinement parti des avantages de l’IA.
