Recientemente, un descubrimiento innovador en el campo de la investigación de IA ha atraído una atención generalizada. A través de una técnica innovadora llamada "Poetry Attack", los investigadores han revelado con éxito la fuente de datos de capacitación para el modelo CHATGPT de OpenAI. Este descubrimiento no solo expone las posibles vulnerabilidades de seguridad en los modelos actuales de idiomas grandes, sino que también suena la alarma para el mecanismo de protección de la privacidad de los sistemas de IA.
La estrategia central de "ataque poético" es inducir al modelo CHATGPT a filtrar información confidencial contenida en sus datos de entrenamiento repitiendo palabras o frases específicas. Lo que es impactante es que este método de ataque aparentemente simple puede extraer con éxito datos de privacidad personal, incluidos números de teléfono, direcciones de correo electrónico, etc. El descubrimiento de esta vulnerabilidad destaca la vulnerabilidad de los sistemas de IA actuales en la seguridad de los datos.
El equipo de investigación informó oficialmente a OpenAI sobre esta vulnerabilidad de seguridad el 30 de agosto, pero hasta ahora, OpenAi aún no ha respondido a esto. Este incidente una vez más desencadenó el pensamiento en profundidad de la industria sobre la transparencia y la seguridad de los sistemas de IA, y también llevó a las instituciones relevantes a volver a examinar el proceso de desarrollo e implementación de los modelos de IA.
Además de los problemas de seguridad, este estudio también enfatiza los problemas de costos ambientales en el desarrollo de la tecnología de IA. Los investigadores señalan que la energía consumida por los modelos de IA generativos al crear texto e imágenes es sorprendente, y este modelo de consumo de alta energía es contraria al concepto de desarrollo sostenible. Por lo tanto, al promover el avance de la tecnología de IA, cómo lograr una forma más ecológica de usar AI se ha convertido en un problema importante que debe resolverse con urgencia.
Este estudio no solo revela los defectos técnicos en los sistemas de IA actuales, sino que también señala la dirección para el desarrollo futuro de la industria de la IA. Nos recuerda que al seguir avances en la tecnología de IA, debemos tratar cuidadosamente cuestiones clave, como la protección de la privacidad y el consumo de energía. Solo al equilibrar la relación entre la innovación tecnológica, la privacidad y la seguridad y la protección del medio ambiente podemos garantizar que la tecnología de IA realmente beneficie a la sociedad humana.