Le dernier modèle de langage à grande échelle de Meta, Code Llama 70B, est censé avoir la plus grande échelle de paramètres et les meilleures performances, attirant ainsi une large attention dans l'industrie. Cependant, les coûts élevés du matériel sont devenus un obstacle majeur à une utilisation généralisée par les développeurs. Bien que le modèle ait montré d'excellentes performances lors des tests, certains développeurs ont remis en question ses performances et craignent que la configuration matérielle requise pour son fonctionnement soit trop exigeante et difficile à populariser.
Meta a publié Code Llama 70B, prétendant avoir les meilleures performances maximales, mais les développeurs ont généralement signalé qu'il était difficile de se permettre les coûts élevés du matériel. Le modèle a bien fonctionné lors du test, mais certains développeurs ont souligné que les performances n'étaient pas aussi bonnes que celles des autres modèles et se demandaient si la configuration matérielle était suffisante pour répondre aux exigences de fonctionnement du modèle 70B.
La sortie de Code Llama 70B met en évidence les défis rencontrés dans le développement de grands modèles de langage : comment trouver un équilibre entre performances et coûts. À l’avenir, des méthodes de formation et de déploiement de modèles plus rentables deviendront la clé pour véritablement promouvoir la technologie de l’IA au profit d’un plus large éventail de développeurs et de groupes d’utilisateurs.