Meta se prépare à franchir un nouveau cap dans le développement de son modèle de langage open-source Llama. Lors de la présentation des résultats du deuxième trimestre, Mark Zuckerberg a lâché une bombe : la formation de Llama 4 nécessitera dix fois plus de puissance de calcul que son prédécesseur, Llama 3.
Une annonce qui vient mettre en lumière l’ampleur des défis technologiques et financiers auxquels font face les entreprises prenant part à la course à l’intelligence artificielle générative.
Un bond quantique dans les besoins en calcul
« La quantité de calcul nécessaire pour entraîner Llama 4 sera probablement presque 10 fois supérieure à ce que nous avons utilisé pour entraîner Llama 3, et les futurs modèles continueront de croître au-delà de cela« , a déclaré Zuckerberg. On assiste là à une progression vertigineuse qui témoigne de la complexité croissante des modèles de langage.
Une stratégie d’anticipation plutôt audacieuse
Face à cette explosion des besoins, le PDG de Meta adopte une posture proactive. « À ce stade, je préfère risquer de construire des capacités avant qu’elles ne soient nécessaires plutôt que trop tard, étant donné les longs délais de mise en place de nouveaux projets d’inférence« , a-t-il ajouté. Cette façon de voir les choses pourrait bien donner à Meta un avantage concurrentiel crucial dans les années à venir.
Des investissements massifs en perspective
Susan Li, la directrice financière de Meta, a confirmé que l’entreprise envisage différents projets de centres de données ainsi que de renforcement des capacités pour former les futurs modèles d’IA. Ces investissements devraient se traduire par une augmentation des dépenses d’investissement en 2025.
Pour vous donner une idée, sachez que les dépenses d’investissement de Meta ont déjà bondi de près de 33% au deuxième trimestre 2024. Et cela, au point d’attendre 8,5 milliards de dollars, contre 6,4 milliards un an plus tôt.
L’IA générative, un gouffre financier ?
Il faut savoir que la formation de grands modèles de langage est une activité très coûteuse. Selon un rapport du meda The Information, la société OpenAI dépenserait 3 milliards de dollars pour la formation de modèles et 4 milliards en plus pour la location de serveurs à tarif préférentiel auprès de Microsoft. Des chiffres qui donnent le vertige et qui illustrent parfaitement l’ampleur des enjeux financiers dans la course à l’IA…
Une infrastructure flexible pour l’avenir
Encore que, Meta ne se contente pas d’augmenter sa puissance de calcul. L’entreprise aux nombreux réseaux sociaux mise sur une approche flexible de son infrastructure. « Cela nous permettra de diriger la capacité de formation vers l’inférence de l’IA générative ou vers notre travail de base de classement et de recommandation, lorsque nous pensons que cela serait plus précieux« , a expliqué Li lors de l’appel.
L’Inde, terre promise de Meta AI
Côté utilisateurs, Meta a révélé que l’Inde est le plus grand marché pour son chatbot Meta AI. Cependant, la société ne s’attend pas à ce que les produits d’IA générative contribuent de manière significative aux revenus dans un avenir proche. En conclusion, l’annonce de Meta concernant les besoins en calcul pour Llama 4 nous donne une idée des défis titanesques auxquels sont confrontés les géants de la tech dans le développement de l’IA générative.
Entre investissements massifs, course à la puissance de calcul et quête de flexibilité, Meta semble déterminé à rester dans la course, quitte à prendre des risques financiers considérables. D’ici là, on attend patiemment de voir si cette stratégie audacieuse paiera à long terme dans un marché de l’IA en constante évolution.
