Les problèmes de sécurité de l'intelligence artificielle font l'objet d'une attention croissante. En tant qu'entreprise leader dans le domaine de l'IA, la récente série de changements de personnel d'OpenAI a suscité une inquiétude généralisée dans l'industrie. En particulier, la perte massive de personnel au sein de son équipe de sécurité AGI, qui se concentre sur les risques à long terme de l’IA super intelligente, a soulevé la question de savoir si OpenAI ignore les problèmes de sécurité de l’IA. Cet article analysera les détails de l’incident de rotation de l’équipe de sécurité OpenAI AGI et explorera son impact potentiel.
Dans le domaine de l’intelligence artificielle, les questions de sécurité sont toujours l’épée de Damoclès suspendue au-dessus de nos têtes. Cependant, une série de changements récents dans OpenAI ont attiré une large attention dans l’industrie. Selon IT House, cette entreprise, qui s'engage à développer une technologie d'IA bénéfique à l'humanité, a perdu près de la moitié de ses membres de son équipe de sécurité AGI qui se concentre sur les risques à long terme de l'IA super intelligente.
Daniel Kokotajlo, ancien chercheur en gouvernance chez OpenAI, a annoncé qu'au cours des derniers mois, la taille de l'équipe de sécurité d'AGI avait été réduite d'environ 30 personnes à environ 16 personnes. La responsabilité initiale de ces chercheurs était d’assurer la sécurité des futurs systèmes AGI et d’éviter qu’ils ne constituent une menace pour les humains. La réduction de l'équipe ne peut que faire craindre aux gens de savoir si OpenAI ignore progressivement la question de la sécurité de l'IA.
Kokotajlo a souligné que ces départs n'étaient pas un mouvement organisé mais le résultat d'une perte de confiance de certains membres de l'équipe. Alors qu’OpenAI se concentre de plus en plus sur le produit et la commercialisation, la réduction de l’équipe de recherche en sécurité semble être une tendance inévitable.
Face aux préoccupations externes, OpenAI a déclaré que l'entreprise est fière de fournir le système d'intelligence artificielle le plus performant et le plus sûr et estime qu'elle dispose de méthodes scientifiques pour gérer les risques.
Plus tôt cette année, Ilya Sutskever, co-fondateur et scientifique en chef d'OpenAI, a annoncé sa démission, et l'équipe « Super Alignment » qu'il dirigeait et responsable des questions de sécurité a également été dissoute. Cette série de changements a sans aucun doute exacerbé les inquiétudes externes concernant la recherche sur la sécurité d’OpenAI.
La perte de personnel dans l'équipe de sécurité d'OpenAI AGI mérite notre réflexion approfondie. Les problèmes de sécurité de l'IA ne peuvent être ignorés, et l'industrie doit travailler ensemble pour garantir le développement sûr et fiable de la technologie de l'IA pour le bénéfice de l'humanité.