Anthropic lanzó recientemente las indicaciones del sistema para sus modelos de la serie Claude, pero causó controversia debido a la falta de descripción de la última característica, Artifacts. Los investigadores señalan que esta falta afecta a la comprensión total del comportamiento del modelo. Anthropic respondió que la función Artefactos se lanzó más tarde que el mensaje del sistema, por lo que no se incluyó, y prometió agregar información completa en las próximas semanas. Este incidente resalta la importancia de la divulgación de las indicaciones del sistema del modelo de IA y los desafíos que enfrentan los desarrolladores en términos de transparencia.
La semana pasada, Anthropic publicó las indicaciones del sistema para sus modelos de la serie Claude, que son las instrucciones de funcionamiento del modelo, pero esta versión está incompleta. En respuesta a este problema, Anthropic ha prometido anunciar avisos del sistema para su última característica, Artifacts, en las próximas semanas. Anteriormente, los investigadores señalaron que los consejos relacionados con los artefactos no se incluyeron en la última versión.
Un portavoz de Anthropic confirmó que "agregarán más detalles sobre las indicaciones del sistema, incluida información sobre artefactos, en las próximas semanas". Vale la pena mencionar que la función Artefactos se abrió para todos los usuarios de Claude la semana pasada, lo que permite a los usuarios ejecutar fragmentos de código junto a la interfaz de chat de Claude.
El lanzamiento del aviso del sistema Claude por parte de Anthropic fue elogiado por los medios como una compañía que está a la vanguardia de la transparencia, pero investigadores como Mohammed Sahli creen que la declaración de la compañía carece de integridad, principalmente porque el aviso del sistema de Artifacts fue excluido.
Anthropic explicó que el mensaje del sistema para Artefactos no apareció en el lanzamiento de la semana pasada, principalmente porque la función no estaba disponible para todos los usuarios de Claude antes de la semana pasada. De hecho, Artifacts se hizo público después de que el sistema generara un anuncio.
Entonces, ¿qué importancia tienen las indicaciones del sistema?
Aunque los desarrolladores de modelos de IA no están obligados a publicar indicaciones del sistema para modelos de lenguaje grandes, la divulgación de estas instrucciones operativas se ha vuelto "divertida" para muchos entusiastas de la IA. Esto no solo ayuda a los desarrolladores a comprender mejor el comportamiento esperado del modelo, sino que también permite a los usuarios comprender por qué el modelo rechaza ciertas solicitudes.
Según el archivo de aviso del sistema publicado por Anthropic, Claude3.5Sonnet es la versión más avanzada de la serie y enfatiza la precisión y la simplicidad al responder preguntas. El modelo no etiqueta explícitamente la información como confidencial y evita el uso de palabras de relleno o disculpas redundantes.
Claude3Opus es un modelo más grande con una base de conocimientos actualizada hasta agosto de 2023 que permite discutir temas controvertidos y proporciona múltiples perspectivas, pero evita estereotipos y garantiza un equilibrio de perspectivas. La versión más pequeña, Claude3Haiku, se centra en la velocidad y no tiene guía de comportamiento como Claude3.5Sonnet.
En cuanto al mensaje del sistema de Artefactos, aún no se conoce el contenido específico. Sahli mencionó en su publicación en Medium que la función puede estar dirigida a resolver problemas complejos de manera sistemática y centrarse en respuestas concisas.
Destacar:
- ? Anthropic promete lanzar un mensaje del sistema Artifacts para el modelo Claude en las próximas semanas para responder a las preguntas de los investigadores.
- ? La función Artefactos, que permite a los usuarios ejecutar fragmentos de código junto a la interfaz de chat de Claude, se puso a disposición de todos los usuarios la semana pasada.
- ? La divulgación de las indicaciones del sistema ayuda a los usuarios a comprender el comportamiento del modelo y anima a los desarrolladores de IA a ser transparentes.
Con todo, este incidente refleja la importancia de la divulgación de indicaciones del sistema de modelo de lenguaje a gran escala, y también refleja las cuestiones de transparencia y responsabilidad en el campo de la I+D de IA. Las acciones posteriores de Anthropic tendrán un impacto significativo en su reputación y confianza de los usuarios. Esperamos que complete la información lo antes posible y siga manteniendo su posición de liderazgo en transparencia en el campo de la IA.