Faire de l'IA low cost

L’intelligence artificielle devient plus rapide, moins chère… et ultra-compétitive. Grâce à la technique de la distillation, des entreprises comme OpenAI, Microsoft et Meta parviennent à créer des modèles plus petits mais tout aussi efficaces.

Le principe ? Un modèle massif (teacher) entraîne un modèle plus léger (student), qui apprend à générer du texte de façon bien plus rapide et économique. Résultat : des modèles moins gourmands en calcul, exploitables sur smartphone et laptop, sans passer par des serveurs hors de prix.

Mais ce n’est pas qu’une victoire pour les géants de la tech : des challengers comme DeepSeek utilisent cette méthode pour rattraper les leaders du secteur. L’entreprise chinoise aurait même distillé des modèles d’OpenAI et de Meta pour créer ses propres IA open source.

Problème : si ces modèles coûtent moins cher à utiliser, ils rapportent aussi moins aux entreprises qui les vendent.
OpenAI veut éviter que ses modèles soient “distillés” par des concurrents, mais la technologie avance trop vite. À terme, la rentabilité des mastodontes de l’IA pourrait être sérieusement mise en danger.

Financial Times 🔗