Tidak hanya model generasi mendatang OpenAI yang sangat dinanti-nantikan, Orion, tetapi juga Anthropic, bintang start-up kecerdasan buatan (AI) lainnya yang merupakan saingan Google dan OpenAI, juga melaporkan bahwa pengembangan model AI tingkat lanjut mengalami hambatan.
Pada hari Rabu, 13 November, Waktu Bagian Timur, Bloomberg melaporkan bahwa OpenAI menyelesaikan putaran pertama pelatihan Orion pada bulan September tahun ini, dengan harapan dapat melampaui beberapa versi sebelumnya dan semakin mendekati tujuan AI yang melampaui manusia, mengutip dua orang yang akrab dengan masalah ini, tetapi Orion gagal memberikan kinerja sebaik yang diharapkan perusahaan. Pada akhir musim panas, kinerja model tersebut buruk ketika mencoba menjawab pertanyaan pengkodean yang tidak terlatih.
Orang-orang yang mengetahui masalah ini berkomentar bahwa, secara keseluruhan, sejauh ini, dibandingkan dengan performa GPT-4 selain GPT-3.5, model Orion dan OpenAI yang ada belum mencapai banyak kemajuan.
Laporan tersebut juga mengutip tiga orang lain yang mengetahui masalah tersebut yang mengatakan bahwa versi baru Google Gemini yang akan datang tidak memenuhi harapan internal, dan Anthropic juga menunda rencana rilis model Claude yang dikenal sebagai 3.5 Opus.
Laporan tersebut meyakini bahwa ketiga perusahaan di atas menghadapi berbagai tantangan dalam mengembangkan model AI. Semakin sulit bagi mereka untuk menemukan data pelatihan buatan berkualitas tinggi yang belum dimanfaatkan. Misalnya, kinerja pengkodean Orion yang tidak memuaskan sebagian berasal dari kurangnya data pengkodean yang memadai untuk pelatihan. Bahkan peningkatan kecil dalam performa model mungkin tidak cukup untuk membenarkan besarnya biaya pembuatan dan pengoperasian model baru, atau untuk memenuhi ekspektasi peningkatan besar-besaran.
Masalah kemacetan dalam pengembangan model AI menantang undang-undang penskalaan yang dianggap sebagai pedoman oleh banyak perusahaan rintisan dan bahkan raksasa teknologi. Hal ini juga menimbulkan pertanyaan tentang kelayakan investasi besar-besaran dalam AI untuk mencapai kecerdasan buatan umum (agi).
Wall Street News pernah menyebutkan bahwa undang-undang yang diusulkan oleh OpenAI pada awal tahun 2020 berarti bahwa kinerja akhir model besar terutama terkait dengan jumlah penghitungan, jumlah parameter model, dan jumlah data pelatihan, serta terkait dengan struktur tertentu (lapisan) model. Pada bulan Juli tahun ini, chief technology officer (CTO) Microsoft Kevin Scott juga membela undang-undang ini, dengan mengatakan bahwa undang-undang Penskalaan masih berlaku untuk industri saat ini - sambil memperluas model besar, manfaat marjinal tidak berkurang. Secara kebetulan, media menyampaikan berita minggu lalu bahwa OpenAI menemukan bahwa Orion "tidak membuat lompatan besar" dan kemajuannya jauh lebih sedikit dibandingkan dua generasi model andalan sebelumnya. Penemuan ini secara langsung menantang hukum Penskalaan yang telah diterapkan di bidang AI. Karena penurunan data pelatihan berkualitas tinggi dan peningkatan biaya komputasi, para peneliti di OpenAI harus mulai mengeksplorasi apakah ada cara lain untuk meningkatkan kinerja model.OpenAI, misalnya, menanamkan lebih banyak kemampuan penulisan kode ke dalam modelnya dan mencoba mengembangkan perangkat lunak yang dapat mengambil alih PC untuk menyelesaikan aktivitas browser web atau tugas aplikasi dengan melakukan klik, pergerakan kursor, dan tindakan lainnya.
OpenAI juga telah membentuk tim khusus, dipimpin oleh Nick Ryder, yang sebelumnya bertanggung jawab atas pra-pelatihan, untuk mengeksplorasi cara mengoptimalkan data pelatihan yang terbatas dan menyesuaikan penerapan metode perluasan untuk menjaga stabilitas peningkatan model.
Mengenai laporan Bloomberg pada hari Rabu, juru bicara Google DeepMind mengatakan bahwa perusahaan "senang dengan kemajuan Gemini dan kami akan membagikan lebih banyak informasi ketika OpenAI telah siap." Anthropic juga menolak berkomentar, namun merujuk pada postingan blog yang diterbitkan pada hari Senin, di mana CEO Anthropic Dario Amodei berbicara selama podcast lima jam.
Amodel mengatakan bahwa yang disebut hukum penskalaan bukanlah hukum yang keliru. Ini bukan hukum universal, melainkan hukum empiris. Amodel memperkirakan undang-undang penskalaan akan terus ada, namun ia tidak yakin. Dia mengatakan ada "banyak hal" yang bisa "mengganggu" kemajuan menuju AI yang lebih kuat di tahun-tahun mendatang, termasuk "kita bisa kehabisan data." Namun dia optimis bahwa perusahaan AI akan menemukan cara untuk mengatasi hambatan apa pun.
Mengenai laporan Bloomberg, Nosson Weissman, pendiri NossonAI, sebuah perusahaan yang menyediakan solusi AI khusus untuk perusahaan, berkomentar bahwa laporan tersebut tidak membingungkannya karena pertama-tama, dia tidak melihat ekspresi para ahli sebenarnya yang telah memberikan kontribusi signifikan. di bidang AI. Kedua, kita sering melihat kemajuan yang signifikan dalam pemodelan, dan terakhir, dia yakin bahwa media berita suka membuat drama, dan laporan ini sepertinya memiliki judul dramatis yang indah.
