close
Actualités

Quel est le secret caché derrière la course à l’IA générative ?

Début février, Google d’abord, puis Microsoft, ont annoncé des refontes majeures de leurs moteurs de recherche. Les deux géants de la technologie ont dépensé beaucoup d’argent pour créer ou acheter des outils d’IA génératifs, qui utilisent de grands modèles de langage pour comprendre et répondre à des questions complexes. Maintenant, ils essaient de les intégrer dans la recherche, en espérant qu’ils offriront aux utilisateurs une expérience plus riche et plus précise. La société de recherche chinoise Baidu a annoncé qu’elle suivrait son exemple.

L’intégration de grands modèles de langage dans les moteurs de recherche pourrait signifier une multiplication par cinq de la puissance de calcul et d’énormes émissions de carbone

Mais l’excitation suscitée par ces nouveaux outils pourrait cacher un sale secret. La course à la construction de moteurs de recherche hautes performances alimentés par l’IA nécessitera probablement une augmentation spectaculaire de la puissance de calcul, et avec elle une augmentation massive de la quantité d’énergie dont les entreprises technologiques ont besoin et de la quantité de carbone qu’elles émettent.

“Il existe déjà d’énormes ressources impliquées dans l’indexation et la recherche de contenu Internet, mais l’incorporation de l’IA nécessite un autre type de puissance de feu”, déclare Alan Woodward, professeur de cybersécurité à l’Université de Surrey au Royaume-Uni. « Cela nécessite de la puissance de traitement ainsi que du stockage et une recherche efficace. Chaque fois que nous constatons un changement radical dans le traitement en ligne, nous constatons une augmentation significative des ressources d’alimentation et de refroidissement requises par les grands centres de traitement. Je pense que cela pourrait être une telle étape.

La formation de grands modèles de langage (LLM), tels que ceux qui sous-tendent ChatGPT d’OpenAI, qui alimentera le moteur de recherche Bing gonflé de Microsoft, et l’équivalent de Google, Bard, signifie analyser et calculer des liens dans d’énormes volumes de données, c’est pourquoi ils ont tendance à à développer par des entreprises disposant de ressources importantes.

“La formation de ces modèles nécessite une énorme puissance de calcul”, explique Carlos Gómez-Rodríguez, informaticien à l’Université de Coruña en Espagne. “Pour le moment, seules les entreprises Big Tech peuvent les former.”

Alors que ni OpenAI ni Google n’ont dit quel est le coût de calcul de leurs produits, une analyse tierce par des chercheurs estime que la formation de GPT-3, sur laquelle ChatGPT est en partie basé, a consommé 1 287 MWh et entraîné des émissions de plus de 550 tonnes d’équivalent dioxyde de carbone, soit la même quantité qu’une personne seule effectuant 550 allers-retours entre New York et San Francisco.

“Ce n’est pas si mal, mais vous devez alors prendre en compte [Le Fait Que] non seulement vous devez le former, mais vous devez l’exécuter et servir des millions d’utilisateurs”, déclare Gómez-Rodríguez.

Il y a aussi une grande différence entre l’utilisation de ChatGPT – qui, selon la banque d’investissement UBS, compte 13 millions d’utilisateurs par jour – en tant que produit autonome, et son intégration dans Bing, qui gère un demi-milliard de recherches chaque jour.

Martin Bouchard, cofondateur de la société canadienne de centres de données QScale, estime que, sur la base de sa lecture des plans de recherche de Microsoft et de Google, l’ajout de l’IA générative au processus nécessitera “au moins quatre ou cinq fois plus de calcul par recherche” au minimum. Il souligne que ChatGPT arrête actuellement sa compréhension du monde fin 2021, dans le cadre d’une tentative de réduction des besoins informatiques.

Afin de répondre aux exigences des utilisateurs des moteurs de recherche, cela devra changer. “S’ils vont souvent recycler le modèle et ajouter plus de paramètres et d’autres choses, c’est une échelle de choses totalement différente”, dit-il.

Cela va nécessiter un investissement matériel important. « Les centres de données actuels et l’infrastructure que nous avons en place ne seront pas en mesure de faire face à [la course à l’IA générative] », déclare Bouchard. “C’est trop.”

Les centres de données représentent déjà environ un pour cent des émissions mondiales de gaz à effet de serre, selon l’Agence internationale de l’énergie. Cela devrait augmenter à mesure que la demande de cloud computing augmente, mais les entreprises qui effectuent des recherches ont promis de réduire leur contribution nette au réchauffement climatique.

“Ce n’est certainement pas aussi grave que le transport ou l’industrie textile”, déclare Gómez-Rodríguez. “Mais [IA] peut être un contributeur important aux émissions.”

Microsoft s’est engagé à devenir négatif en carbone d’ici 2050. La société a l’intention d’acheter 1,5 million de tonnes métriques de crédits carbone cette année. Google s’est engagé à atteindre des émissions nettes nulles dans l’ensemble de ses opérations et de sa chaîne de valeur d’ici 2030. OpenAI et Microsoft n’ont pas répondu aux demandes de commentaires.

L’empreinte environnementale et le coût énergétique de l’intégration de l’IA dans la recherche pourraient être réduits en déplaçant les centres de données vers des sources d’énergie plus propres et en repensant les réseaux de neurones pour qu’ils deviennent plus efficaces, réduisant ainsi le soi-disant « temps d’inférence » – la quantité de puissance de calcul requise pour un algorithme pour travailler sur de nouvelles données.

Sciences et Technologies