El modelo de inferencia Marco-o1 publicado recientemente por el equipo internacional de IA de Alibaba muestra un potencial significativo para resolver problemas abiertos. Rompe las limitaciones de los modelos tradicionales que se limitan a áreas de respuesta estándar y se compromete a explorar aplicaciones en áreas que son difíciles de cuantificar y carecen de recompensas claras. La característica principal de este modelo radica en su método de entrenamiento único y su estrategia de expansión del espacio de soluciones, que le permite manejar tareas más complejas y más largas, como la traducción de oraciones largas y difíciles, y demuestra una gran capacidad de razonamiento para desmantelar gradualmente los problemas y, finalmente, Dar respuestas precisas. El código abierto de Marco-o1 también proporciona recursos valiosos a la comunidad de investigación de IA.
El equipo internacional de IA de Alibaba lanzó recientemente un nuevo modelo de razonamiento llamado Marco-o1, que presta especial atención a la solución de problemas abiertos y no se limita a áreas temáticas con respuestas estándar, como programación y matemáticas. El equipo de investigación se compromete a explorar si dichos modelos pueden generalizarse eficazmente a áreas que son difíciles de cuantificar y carecen de recompensas claras.
Las características del modelo Marco-o1 incluyen el uso de datos CoT ultralargos para ajustes finos, el uso de MCTS para expandir el espacio de la solución y la expansión detallada del espacio de la solución. El modelo utiliza self-play+MCTS para construir un lote de datos CoT ultralargos con la capacidad de reflejar y corregir, y se entrena junto con otros datos de fuente abierta. Además, el equipo de investigación también definió mini-Step para ampliar aún más el espacio de solución del modelo y guiarlo para generar mejores respuestas.
En la tarea de traducción, el modelo Marco-o1 demostró su capacidad para manejar la traducción de oraciones largas y difíciles. Esta es la primera vez que se aplica la extensión del tiempo de inferencia a las tareas de traducción automática. El equipo de investigación ha abierto algunos datos de CoT y los mejores modelos actuales, y planea abrir más datos y modelos en el futuro.
El modelo pensará profundamente en la respuesta al razonar. Por ejemplo, al generar el número de "r" en la palabra "fresa", el modelo desarmará gradualmente cada letra de la palabra y la comparará, y finalmente generará el resultado correcto. En el campo de la traducción automática, el modelo identifica correctamente los puntos difíciles a través de enlaces de inferencia y los traduce palabra por palabra, mejorando la precisión general de la traducción.
El equipo de investigación también lo ha probado en otros campos, demostrando la capacidad del modelo para resolver otros problemas generales del mundo real. La estructura general de Marco-o1 utiliza self-play+MCTS para crear un lote de datos CoT ultralargos con la capacidad de reflejar y corregir, y entrenarlos junto con otros datos de código abierto. El equipo de investigación también incorporó algunos conjuntos de datos de cumplimiento de instrucciones de la familia MarcoPolo para mejorar las capacidades de cumplimiento de instrucciones del modelo.
En términos de uso, el equipo de investigación proporciona código de inferencia y código de ajuste. Los usuarios pueden cargar fácilmente el modelo y el tokenizador y comenzar a chatear o ajustar el modelo. Además, el modelo también se puede ejecutar directamente en la versión GGUF en ModelScope, lo que proporciona una forma más rápida de experimentarlo.
El lanzamiento del modelo Marco-o1 marca un paso importante dado por el equipo internacional de inteligencia artificial de Alibaba en el campo de los modelos de inferencia, proporcionando nuevas ideas y herramientas para resolver problemas abiertos.
Modelo de alcance:
https://modelscope.cn/models/AIDC-AI/Marco-o1
Arxiv:
https://arxiv.org/abs/2411.14405
Github:
https://github.com/AIDC-AI/Marco-o1
Cara de abrazo:
https://huggingface.co/AIDC-AI/Marco-o1
En definitiva, el código abierto del modelo Marco-o1 aporta nuevas posibilidades a la investigación y las aplicaciones de la IA, y vale la pena esperar sus avances en la resolución de problemas abiertos. Los enlaces relacionados facilitan a los usuarios una mayor comprensión y uso del modelo.