Etched AI, ein amerikanisches Chip-Startup, hat kürzlich einen großen Durchbruch erzielt, indem es die Transformer-Architektur erfolgreich direkt in den Chip integriert und den weltweit ersten Server entwickelt hat, der speziell für Transformer-Inferenz entwickelt wurde. Die Leistung dieses Servers übertrifft die ähnlicher Produkte von NVIDIA bei weitem, er kann Billionen Parametermodelle ausführen und verfügt über viele Funktionen wie Echtzeit-Sprachagent, effiziente Kodierung und Baumsuche, spekulative Multicast-Dekodierung usw. Er ist außerdem mit ausgestattet 144 GB HBM3E-Speicher mit hoher Bandbreite. Es wird erwartet, dass diese Innovation die Anwendungsaussichten der Transformer-Architektur völlig verändern und revolutionäre Veränderungen auf dem Gebiet der künstlichen Intelligenz mit sich bringen wird.
Der Artikel konzentriert sich auf:
Das amerikanische Chip-Startup Etched AI hat die Transformer-Architektur erfolgreich direkt in den Chip gebrannt und so den weltweit leistungsstärksten Server für Transformer-Inferenz geschaffen. Diese Technologie kann Modelle mit Billionen von Parametern ausführen und ist Nvidia Hunderte Meilen voraus. Der Server verfügt über mehrere Funktionen, darunter Echtzeit-Sprach-Proxy, bessere Codierungs- und Baumsuchfunktionen sowie spekulative Multicast-Decodierungsfunktionen und ist mit einem 144-GB-HBM3E ausgestattet. Diese bahnbrechende Technologie wird neue Möglichkeiten für die Anwendung der Transformer-Architektur eröffnen.
Dieser Durchbruch von Etched AI stellt einen Sprung auf dem Gebiet der Hardware für künstliche Intelligenz dar. Seine leistungsstarke Leistung und seine umfangreichen Funktionen werden viele Anwendungsszenarien erheblich verbessern und verdienen die Aufmerksamkeit und Erwartungen der Branche. In Zukunft werden wir möglicherweise weitere innovative Anwendungen sehen, die auf dieser Technologie basieren.