Cosine, la startup de inteligencia artificial de San Francisco, lanzó su último modelo de inteligencia artificial, Genie, que está diseñado para desarrolladores de software y tiene un buen desempeño en las pruebas comparativas, con una puntuación muy por encima de sus competidores. Cosine aprovecha las variantes de GPT-4o entrenadas en asociación con OpenAI y, a través de sus capacidades únicas de "razonamiento humano codificado", permite a Genie completar una variedad de tareas de programación de forma autónoma o colaborativa, incluida la corrección de errores, el desarrollo de nuevas funciones y la refactorización de código. El éxito de Genie también es inseparable del método exclusivo de entrenamiento de datos de Cosine y del uso inteligente del mecanismo de mejora personal del modelo, que finalmente logró una puntuación líder del 30% en la prueba SWE-Bench.
Cosine, la startup de inteligencia artificial con sede en San Francisco, lanzó un nuevo modelo de inteligencia artificial llamado Genie, diseñado para ayudar a los desarrolladores de software. Según la empresa, Genie superó con creces a sus competidores en las pruebas comparativas, demostrando capacidades superiores.
Cosine se asoció con OpenAI para entrenar una variante GPT-4o utilizando datos de alta calidad, logrando resultados comparativos impresionantes. La compañía dice que la clave del éxito de Genie es su capacidad para "codificar el razonamiento humano", que puede no limitarse al mundo del desarrollo de software.
Genie toma la delantera en SWE
El cofundador y director ejecutivo de Cosine, Alistair Pullen, reveló que Genie logró una puntuación del 30 % en la prueba SWE-Bench, que es la puntuación más alta hasta ahora para un modelo de IA en el campo. Esta puntuación supera a otros modelos de lenguaje centrados en la codificación, como el modelo de Amazon (19%) y el Devin de Cognition (13,8% en algunas pruebas de SWE-Bench).
La arquitectura de Genie está diseñada para simular los procesos cognitivos de los desarrolladores humanos, lo que le permite corregir errores, desarrollar nuevas funciones, refactorizar código y realizar una variedad de tareas de programación de forma autónoma o colaborativa.
Superación personal a través de datos sintéticos
Genie se desarrolló mediante un proceso patentado que entrenó y ajustó variantes privadas de GPT-40 utilizando miles de millones de datos de alta calidad. Cosine pasó casi un año recopilando estos datos con la ayuda de desarrolladores experimentados. El conjunto de datos contiene un 21% de JavaScript y Python, un 14% de TypeScript y TSX y un 3% de otros lenguajes, incluidos Java, C++ y Ruby.
El desempeño superior de Genie se debe en parte a su capacitación de superación personal. Inicialmente, el modelo aprendía principalmente de un código perfecto y funcional, pero estaba confundido acerca de su propio manejo de errores. Cosine resuelve este problema utilizando datos sintéticos: si la solución propuesta originalmente por Genie era incorrecta, se muestra al modelo cómo mejorar con los resultados correctos. Con cada iteración, la solución de Genie mejoró gradualmente y el número de revisiones necesarias disminuyó gradualmente.
Superar las limitaciones técnicas
Pullen vio el potencial de los grandes modelos de lenguaje para respaldar el desarrollo de software humano ya a principios de 2022. Sin embargo, la tecnología en ese momento aún no estaba al nivel necesario para hacer realidad la visión de Genie. La capacidad de marcas de la ventana de contexto suele estar limitada a 4000 marcas, lo que supone un cuello de botella importante. Hoy en día, modelos como el Gemini 1.5 Pro pueden manejar hasta 2 millones de marcadores en un solo mensaje. Aunque Cosine no ha revelado la capacidad de etiquetado específica de Genie, este avance tecnológico sin duda proporciona una base sólida para el éxito de Genie.
La aparición de Genie marca un gran avance en el campo del desarrollo de software asistido por IA. Sus capacidades de codificación eficientes y su mecanismo de autoaprendizaje brindan nuevas posibilidades para el desarrollo de software en el futuro. La innovadora tecnología de Cosine proporciona nuevas ideas para mejorar la eficiencia del desarrollo de software y reducir los costos de desarrollo, y merece la atención de la industria y más investigación.