Des chercheurs d’Apple ont publié un modèle d’intelligence artificielle nommé SimpleDesign capable de générer simultanément la séquence des acides aminés et la structure tridimensionnelle des protéines. Selon l’article figurant sur la page Apple Machine Learning Research, le système supprime le processus de représentation latente en deux étapes employé dans de nombreuses méthodes de conception protéique. Le modèle n’encode pas les données d’abord par un encodeur séparé pour les compresser, mais s’entraîne directement de bout en bout sur les séquences et les structures. Les chercheurs ont entraîné SimpleDesign sur plus de deux millions de paires séquence-structure et indiquent avoir obtenu des résultats compétitifs dans les tests de conception conjointe et de génération inconditionnelle. Cette étude est un modèle de recherche; elle ne correspond pas à un médicament ni à une protéine vérifiée en laboratoire.
Le modèle apprend la séquence et la structure tridimensionnelle ensemble
La fonction d’une protéine dépend non seulement de l’ordre des acides aminés mais aussi de la forme que prend cette chaîne dans l’espace. Par conséquent, lors de la conception d’une nouvelle protéine, il faut traiter conjointement la relation entre la séquence et la structure. SimpleDesign exploite les deux types de données au sein du même modèle en utilisant pour chacun des chemins de calcul distincts. Puis, une couche d’attention globale (self-attention) établit, dans un contexte commun, les liens entre la séquence et la structure.
Certaines méthodes actuelles de génération transforment d’abord la structure et la séquence protéiques en symboles latents via des encodeurs automatiques. Dans une deuxième étape, le modèle génératif apprend dans cet espace compressé. L’équipe d’Apple soutient que ce processus en plusieurs étapes n’est pas indispensable. SimpleDesign combine, sous un seul objectif d’apprentissage, l’entropie croisée discrète pour les séquences et un objectif de régression pour les structures.
Cette approche en une seule étape peut simplifier le pipeline d’entraînement et réduire les détails perdus par l’encodeur intermédiaire. Cependant, cela ne signifie pas que le modèle simple consomme moins de calculs. La structure protéique contient des données géométriques de hautes dimensions et l’entraînement sur des millions d’exemples exige une grande puissance de calcul. En outre, obtenir de bons résultats dans des tests comparatifs ne garantit pas que chaque protéine générée fonctionnera réellement dans un environnement cellulaire.
Les modèles de conception protéique peuvent fournir des points de départ pour des candidats médicamenteux, des enzymes, des anticorps et de nouveaux biomatériaux. Les chercheurs peuvent parcourir numériquement un grand nombre de séquences potentielles afin de réduire le nombre de candidats qui entreront ensuite dans des essais en laboratoire. Toutefois, des questions telles que la sécurité, la stabilité du repliement et l’activité biologique ne peuvent être vérifiées uniquement à partir des sorties du modèle. Des expériences en conditions réelles et des répétitions indépendantes restent des étapes indispensables du processus.
Le travail SimpleDesign est associé au Transactions on Machine Learning Research et une version préprint accessible au public est publiée. Le préprint des auteurs détaille l’architecture du modèle, les données d’entraînement et les tableaux de comparaison. Cette transparence permet à d’autres groupes de recherche d’examiner les résultats et d’évaluer la méthode sur d’autres ensembles de données.
Le fait qu’Apple ait annoncé SimpleDesign après SimpleFold indique que la société s’oriente vers la production de nouveaux couples séquence–structure plutôt que vers une simple prédiction de la structure protéique. Les deux travaux expérimentent des architectures plus simples basées sur des couches Transformer générales. La véritable valeur scientifique de SimpleDesign sera plus clairement comprise à mesure que des évaluations indépendantes et des validations en laboratoire se multiplieront.
