画像出典：スペイン『El Pais』ウェブサイト
ブラックボックスというと、飛行機の飛行データを記録するための機器や、懐かしさあふれる小劇場を思い浮かべる人が多いでしょう。しかし、人工知能（AI）の分野ではブラックボックスも無視できない重要な用語です。
スペインのエル・パイス紙は、AIニューラルネットワークが実行されているときは、最上級の研究者でさえその内部動作については何も知らないと指摘した。ここでの議論は生物学についてではなく、AI アルゴリズム、特にニューロン間の接続を模倣する深層学習に基づくアルゴリズムについてです。これらのシステムはブラック ボックスのようなもので、データ サイエンティスト、学界のトップ人材、OpenAI や Google のノーベル賞受賞エンジニアにとって、その内部秘密を覗き見ることは困難です。
モデルとデータは不透明です
「サイエンティフィック・アメリカン」誌は、AIブラックボックスとは、内部の仕組みがユーザーにはまったく見えないAIシステムを指すと報じた。ユーザーはこれらのシステムに情報を入力して出力を取得できますが、コードを検査したり、出力を生成するロジックを理解したりすることはできません。
AI の主な分野としての機械学習は、ChatGPT などの生成 AI システムの基礎です。機械学習は、アルゴリズム、トレーニング データ、モデルの 3 つのコア部分で構成されます。アルゴリズムは一連のプログラム命令です。機械学習では、アルゴリズムは大量のトレーニング データを通じてデータ内のパターンを認識することを学習します。機械学習アルゴリズムのトレーニングが完了すると、製品は機械学習モデルとなり、ユーザーが実際に使用する部分でもあります。
機械学習システムのこれら 3 つの部分はいずれも隠蔽、つまりブラック ボックス内に配置される場合があります。通常、アルゴリズムは公的に入手可能です。しかし、知的財産を保護するために、AI ソフトウェア開発者はモデルやトレーニング データをブラック ボックスに入れることがよくあります。
モデルのアーキテクチャは非常に複雑なので説明するのが難しい
多くの AI アルゴリズムの背後にある数学はよく理解されていますが、これらのアルゴリズムによって形成されたネットワークによって生成される動作はとらえどころがありません。
ChatGPT、Gemini、Claude、Llama、および DALL-E などの画像ジェネレーター、さらには顔認識アプリケーションやコンテンツ推奨エンジンなどのニューラル ネットワークに依存するシステムは、この問題に直面しています。
対照的に、意思決定ツリーや線形回帰 (医学や経済などの分野で一般的に使用される) などの他の AI アルゴリズムは、より解釈しやすいです。彼らの意思決定プロセスは理解しやすく、視覚化するのが簡単です。エンジニアはデシジョン ツリーの分岐をたどり、特定の結果にどのように到達するかを明確に確認できます。
この明確さは、AI に透明性をもたらし、アルゴリズムを使用する人々に安全性とセキュリティを提供するため、非常に重要です。 EU 人工知能法では、透明性と説明可能なシステムの重要性が強調されていることは注目に値します。ただし、ニューラル ネットワーク自体のアーキテクチャがこの透明性を妨げています。これらのアルゴリズムのブラック ボックス問題を理解するには、相互接続されたニューロンまたはノードのネットワークを想像する必要があります。
スペイン国立研究評議会AI研究所の教授であるフアン・アントニオ氏は、ネットワークにデータをフィードすると、ノード内の値によって一連の計算が開始されると説明しました。情報は最初のノードから後続のノードに数値形式で伝播され、各ノードは各接続の重み (数値) を考慮して数値を計算してすべての接続に送信します。この情報を受け取った新しいノードは別の数値を計算します。
現在の深層学習モデルには数千から数百万のパラメータが含まれていることは注目に値します。これらのパラメーターはトレーニング後のノードと接続の数を表します。これらは大きくて多様であるため、意味のある方程式を手動で導出することが困難になります。
業界の推定によると、GPT-4 には 1 兆 8000 億近くのパラメーターがあります。この分析によると、各言語モデルは約 2,200 億個のパラメーターを使用することになります。これは、質問がされるたびに、アルゴリズムの応答に影響を与える可能性のある変数が 2,200 億個存在することを意味します。
ハイテク企業はブラックボックスを開けようとしている
全体的な不透明さにより偏見を修正することが難しくなり、不信感が高まります。現在、AI 分野の主要企業はこの制限を認識しており、モデルがどのように機能するかをより深く理解するために積極的に研究を行っています。たとえば、OpenAI はニューラル ネットワークを使用して別のニューラル ネットワークを観察および分析し、Anthropic はノードの接続と情報伝播回路を研究します。
ブラック ボックスを解読することは言語モデルにとって大きな利点であり、AI によって生成される誤った推論や誤解を招く情報を回避し、一貫性のない答えの問題を解決できます。しかし、テクノロジー企業はネットワークの内部動作を理解せずに、モデルに広範なトレーニングを実施し、テストに合格した後に製品をリリースすることがよくあります。このアプローチには、最初にリリースされたときに Google Gemini が間違った画像を生成するなどの問題が発生する可能性もあります。
ブラックボックスの反対の概念はガラスボックスです。 AI のガラスの箱とは、そのアルゴリズム、トレーニング データ、モデルが誰でも見ることができることを意味します。ブラック ボックスを解読する最終的な目標は、特に機密領域に AI が導入されている場合に、AI の制御を維持することです。機械学習モデルが人間の健康状態や経済状況を診断したと仮定すると、モデルをブラック ボックスとガラスの箱のどちらにしたいでしょうか?答えは明らかです。これは、科学的好奇心からだけでなく、ユーザーのプライバシーの保護のためにも、アルゴリズムの内部動作に重点を置いています。