Das KI-Startup Cosine aus San Francisco hat sein neuestes KI-Modell, Genie, veröffentlicht, das für Softwareentwickler entwickelt wurde, in Benchmark-Tests gut abschneidet und deutlich über seinen Mitbewerbern schneidet. Cosine nutzt GPT-4o-Varianten, die in Zusammenarbeit mit OpenAI trainiert wurden, und ermöglicht Genie durch seine einzigartigen „Coded Human Reasoning“-Fähigkeiten, eine Vielzahl von Programmieraufgaben autonom oder kollaborativ zu erledigen, einschließlich der Behebung von Fehlern, der Entwicklung neuer Funktionen und der Umgestaltung von Code. Der Erfolg von Genie ist auch untrennbar mit der einzigartigen Datentrainingsmethode von Cosine und der cleveren Nutzung des Selbstverbesserungsmechanismus des Modells verbunden, das im SWE-Bench-Test letztendlich einen Spitzenwert von 30 % erreichte.
Das in San Francisco ansässige KI-Startup Cosine hat ein neues KI-Modell namens Genie auf den Markt gebracht, das Softwareentwickler unterstützen soll. Nach Angaben des Unternehmens übertraf Genie die Konkurrenz bei Benchmark-Tests deutlich und zeigte überlegene Fähigkeiten.
Cosine hat sich mit OpenAI zusammengetan, um eine GPT-4o-Variante mithilfe hochwertiger Daten zu trainieren und dabei beeindruckende Benchmark-Ergebnisse zu erzielen. Das Unternehmen sagt, der Schlüssel zum Erfolg von Genie sei seine Fähigkeit, „menschliches Denken zu kodieren“, was möglicherweise nicht auf die Welt der Softwareentwicklung beschränkt ist.
Genie übernimmt die Führung in SWE
Cosine-Mitbegründer und CEO Alistair Pullen gab bekannt, dass Genie im SWE-Bench-Test eine Punktzahl von 30 % erreicht hat, was die bisher höchste Punktzahl für ein KI-Modell in diesem Bereich ist. Dieser Wert übertrifft andere codierungsorientierte Sprachmodelle, wie das Modell von Amazon (19 %) und Devin von Cognition (13,8 % in einigen Tests von SWE-Bench).
Die Architektur von Genie ist darauf ausgelegt, die kognitiven Prozesse menschlicher Entwickler zu simulieren und es so zu ermöglichen, Fehler zu beheben, neue Funktionen zu entwickeln, Code umzugestalten und eine Vielzahl von Programmieraufgaben autonom oder kollaborativ auszuführen.
Selbstverbesserung durch synthetische Daten
Genie wurde mithilfe eines proprietären Prozesses entwickelt, der nicht öffentliche GPT-40-Varianten anhand von Milliarden hochwertiger Daten trainierte und verfeinerte. Cosine hat fast ein Jahr damit verbracht, diese Daten mit Hilfe erfahrener Entwickler zusammenzustellen. Der Datensatz enthält 21 % JavaScript und Python, 14 % TypeScript und TSX und 3 % andere Sprachen, darunter Java, C++ und Ruby.
Die überlegene Leistung von Genie ist zum Teil auf sein Selbstverbesserungstraining zurückzuführen. Anfangs lernte das Modell hauptsächlich aus perfektem, funktionierendem Code, war jedoch verwirrt über seine eigene Fehlerbehandlung. Cosine löst dieses Problem mithilfe synthetischer Daten: Wenn die ursprünglich von Genie vorgeschlagene Lösung falsch war, wird dem Modell gezeigt, wie es mit den richtigen Ergebnissen verbessert werden kann. Mit jeder Iteration wurde die Lösung von Genie schrittweise verbessert und die Anzahl der erforderlichen Überarbeitungen verringerte sich schrittweise.
Überwinden Sie technische Einschränkungen
Pullen erkannte bereits Anfang 2022 das Potenzial großer Sprachmodelle zur Unterstützung der menschlichen Softwareentwicklung. Allerdings war die Technologie damals noch nicht auf dem Stand, Genies Vision zu verwirklichen. Die Markierungskapazität des Kontextfensters ist normalerweise auf 4000 Markierungen begrenzt, was einen großen Engpass darstellt. Heutzutage können Modelle wie das Gemini 1.5 Pro bis zu 2 Millionen Marker in einer einzigen Eingabeaufforderung verarbeiten. Obwohl Cosine die spezifischen Etikettierungskapazitäten von Genie nicht offengelegt hat, stellt dieser technologische Fortschritt zweifellos eine solide Grundlage für den Erfolg von Genie dar.
Das Aufkommen von Genie markiert einen großen Durchbruch auf dem Gebiet der KI-gestützten Softwareentwicklung. Seine effizienten Codierungsfunktionen und sein Selbstlernmechanismus bieten neue Möglichkeiten für die zukünftige Softwareentwicklung. Die innovative Technologie von Cosine liefert neue Ideen zur Verbesserung der Softwareentwicklungseffizienz und zur Reduzierung der Entwicklungskosten und verdient die Aufmerksamkeit der Branche und weitere Forschung.