Ces dernières années, la technologie des modèles linguistiques à grande échelle (LLM) s'est développée rapidement et divers modèles ont émergé les uns après les autres. Cet article se concentrera sur les dernières avancées du modèle RNN Eagle7B et de l'architecture RWKV pour contester la domination du modèle Transformer. Eagle7B fonctionne bien dans les benchmarks multilingues et réduit considérablement les coûts d'inférence tandis que l'architecture RWKV combine les avantages de RNN et Transformer pour atteindre des performances comparables à celles de GPT. Ces avancées ont apporté de nouvelles possibilités à la technologie de l’intelligence artificielle et ont également annoncé un changement dans l’orientation future du développement de la technologie LLM.
Avec la montée en puissance des grands modèles, le modèle RNN Eagle7B remet en cause la domination de Transformer. Le modèle atteint des performances supérieures sur des benchmarks multilingues tout en réduisant les coûts d'inférence des dizaines de fois. L'équipe s'engage à construire une intelligence artificielle inclusive, prenant en charge 25 langues à travers le monde et couvrant 4 milliards de personnes. L'importance de l'échelle des données pour améliorer les performances des modèles est devenue de plus en plus importante, et l'architecture doit être plus efficace et évolutive. En introduisant les avantages de RNN et Transformer, l'architecture RWKV atteint des performances de niveau GPT et apporte de nouvelles possibilités à la technologie de l'intelligence artificielle.L'émergence des architectures Eagle7B et RWKV marque l'émergence de nouveaux concurrents et de nouvelles voies techniques dans le domaine des modèles de langage à grande échelle, offrant davantage de possibilités pour le développement de l'intelligence artificielle à l'avenir. Non seulement ils réalisent des avancées en termes de performances, mais, plus important encore, ils contribuent à réduire les coûts et à améliorer l’évolutivité, ce qui est d’une grande importance pour la vulgarisation et l’application de la technologie de l’intelligence artificielle. Nous attendons avec impatience l’émergence d’autres innovations similaires à l’avenir.