Microsoft a récemment lancé un petit modèle de langage appelé PHI-4 sur la plate-forme de visage étreint. En tant que modèles open source tels que Qwen2.5 et LLAMA-3.1. Cette réalisation de percée démontre le fort potentiel de PHI-4 dans le domaine du traitement du langage.
Dans le test de l'American Mathematics Competition AMC, le PHI-4 s'est démarqué avec un score de 91,8, nettement meilleur que les concurrents tels que les Gemini Pro1.5 et Claude3.5Sonnet. De plus, dans le test MMLU, PHI-4 a obtenu un score élevé de 84,8, démontrant pleinement sa capacité exceptionnelle dans le raisonnement et le traitement mathématique. Ces réalisations sont non seulement impressionnantes, mais jettent également une base solide pour que PHI-4 soit utilisée dans les applications futures.
Contrairement à de nombreux modèles qui reposent sur des sources de données organiques, PHI-4 adopte des méthodes de génération de données synthétiques innovantes, y compris des invites multi-agents, des inversions d'instructions et une auto-correction. Ces approches améliorent considérablement les performances de PHI-4 dans des tâches complexes, ce qui la rend plus efficace et précise pour gérer le raisonnement et la résolution de problèmes. Cette stratégie de génération de données unique fournit un soutien important pour le succès de PHI-4.
PHI-4 adopte une architecture de transformateur uniquement au décodeur, prenant en charge les longueurs de contexte jusqu'à 16k, ce qui le rend idéal pour le traitement des données d'entrée à grande échelle. Au cours du processus de pré-formation, PHI-4 a utilisé environ 10 billions de jetons, combinant des données synthétiques et des données organiques strictement examinées, garantissant d'excellentes performances dans des tests de référence tels que MMLU et Humaneval. Cette architecture et stratégie de données efficaces distinguent PHI-4 des modèles similaires.
Les fonctionnalités et les avantages de PHI-4 incluent sa compacité et son efficacité, ce qui lui permet de fonctionner sur le matériel des consommateurs; Générations et modèles plus importants; 4 prennent en charge le réglage fin avec un ensemble de données synthétiques diversifié pour faciliter la satisfaction des besoins de champs spécifiques. Les développeurs peuvent également intégrer facilement PHI-4 grâce à une documentation détaillée et à des API sur la plate-forme de visage étreint pour étendre davantage leurs scénarios d'application.
En termes d'innovation technologique, le développement de PHI-4 s'appuie principalement sur trois piliers: multi-agents et techniques d'auto-correction pour générer des données synthétiques, des méthodes d'amélioration post-formation telles que l'échantillonnage de rejet et l'optimisation directe des préférences (DPO) et strictement Données de formation filtrées. De plus, PHI-4 utilise la recherche de marqueurs clés (PTS) pour identifier les nœuds importants dans le processus de prise de décision, optimisant ainsi sa capacité à gérer les tâches d'inférence complexes. Ces innovations technologiques fournissent une base technique solide pour le succès de PHI-4.
Avec l'open source de PHI-4, les attentes des développeurs se sont finalement réalisées. Ce modèle est non seulement disponible en téléchargement sur la plate-forme Face Hugging, mais prend également en charge l'utilisation commerciale sous une licence MIT. Cette politique ouverte a attiré l'attention d'un grand nombre de développeurs et de passionnés d'IA, et les médias sociaux officiels de Hugging Face l'ont également félicité, l'appelant "le meilleur modèle 14B de l'histoire". L'open source de PHI-4 fournit non seulement aux développeurs des outils puissants, mais injecte également une nouvelle vitalité dans l'innovation dans le domaine de l'IA.
Entrée du modèle: https://huggingface.co/microsoft/phi-4
Points clés:
** Microsoft a lancé le petit modèle de paramètre PHI-4, avec des paramètres de seulement 14 milliards, mais il a dépassé de nombreux modèles bien connus. **
** PHI-4 a bien fonctionné dans plusieurs tests de performance, en particulier en mathématiques et en raisonnement. **
PHI-4 est désormais open source et prend en charge l'utilisation commerciale, attirant l'attention et l'utilisation de nombreux développeurs.