OpenAI の最新 AI モデル「o1-preview」（以前のコード名は「Strawberry」）は、激しい議論を引き起こしました。 OpenAI は、その機能が博士課程の学生と同等に優れていると主張していましたが、実際のテストでは残念なエラーが示されました。 Downcodes のエディターは、この大いに期待されているが問題のある AI モデルを深く理解し、それがどのレベルに到達しているのか、そしてユーザーからの実際のフィードバックを確認することができます。
最近、OpenAI は、以前は「Strawberry」というコードネームで呼ばれ、正式には「o1-preview」と名付けられた、待望の AI モデルを発表しました。
OpenAI は、新しいモデルが物理学、化学、生物学の難しいベンチマーク タスクにおいて博士課程の学生と同等のパフォーマンスを発揮すると約束しています。しかし、予備的なテスト結果は、この AI が人間の科学者やプログラマーに取って代わるという目標にはまだ程遠いことを示しています。
ソーシャル メディアでは、多くのユーザーが「OpenAI o1」AI と対話した経験を共有しましたが、その結果、このモデルは基本的なタスクでは依然として不十分なパフォーマンスを示しました。
たとえば、INSA レンヌの研究者である Mathieu Acher は、特定のチェスのパズルを解くときに、OpenAI o1 が頻繁に不正な手を提案することを発見しました。
メタAI科学者のコリン・フレイザー氏は、農民が羊を川を渡って運ぶという単純な単語パズルにおいて、AIは実際には正しい答えを放棄し、その代わりに非論理的なナンセンスを与えたと指摘した。
OpenAI がデモンストレーションとして使用した論理パズルでも、イチゴに関する質問ではユーザーが異なる答えを得る結果となり、あるユーザーは、モデルのエラー率が 75% も高いことに気づきました。
それだけでなく、一部のユーザーは、新モデルでは「イチゴ」という単語の中に「R」の文字が現れる回数を数えるときにさえ間違いを犯すと報告しています。
OpenAIはリリース時に、これは初期のモデルであり、Webブラウジングやファイルアップロードなどの機能はまだ備えていないと述べていましたが、このような基本的なエラーは依然として驚くべきものです。
改善するために、OpenAI は新しいモデルに「思考チェーン」プロセスを導入し、OpenAI o1 を以前の GPT-4o モデルとは大きく異なりました。このアプローチにより、AI は答えに到達するまでに何度も考えることができますが、応答時間も長くなります。
一部のユーザーは、モデルが単語パズルに答えるのに実際には 92 秒かかったが、結果は依然として間違っていたことを発見しました。
OpenAIの研究科学者ノーム・ブラウン氏は、現在の応答速度は遅いものの、将来のバージョンではより長く考えられ、画期的な問題について新たな洞察が得られると期待していると述べた。
しかし、有名な AI 評論家ゲイリー・マーカスはこれに懐疑的であり、長期的な処理が必ずしも超越的な推論能力につながるわけではないと考えています。同氏は、AI技術は継続的に発展しているにもかかわらず、現実の研究と実験が依然として不可欠であることを強調した。
実際に使用してみると、OpenAI の新しい AI モデルのパフォーマンスは依然としてあらゆる面で期待外れであることがわかり、これは今後の AI テクノロジーの発展に関する議論のきっかけにもなりました。
ハイライト:
最近、OpenAI は新しい AI モデル「Strawberry」を発表し、複雑なタスクにおいて博士課程の学生に匹敵すると主張しました。
多くのユーザーは、AI が違法な手を思いついたり、単純なパズルに間違って答えたりするなど、基本的なタスクで頻繁に間違いを犯したことに気づきました。
OpenAI は、モデルがまだ開発中であることを認めていますが、長時間考えても推論能力は向上しない可能性があり、多くの基本的な問題が未解決のままです。
全体として、OpenAI の「o1-preview」モデルは AI テクノロジー開発の可能性を示していますが、実際の適用においては多くの欠点も明らかにしています。今後も AI モデルの開発は、期待される目標を真に達成するために、技術の向上と実用化のバランスを取る必要があります。 Downcodes編集部は今後もAI分野の動向に注目し、より刺激的なレポートをお届けしていきます。