Foundationa LLM : 企業内で生成 AI を導入、拡張、保護、管理するためのプラットフォーム

Foundationa LLM は、企業内で生成 AI を導入、拡張、保護、管理するためのプラットフォームを提供します。 Foundationa LLM を使用すると、次のことが可能になります。

テキスト、半構造化データ、構造化データなど、企業データに基づいた AI エージェントを作成します。
ブランドのチャットインターフェイスを通じてユーザーが AI エージェントを利用できるようにするか、AI エージェントの REST API をアプリケーションに統合してコパイロットエクスペリエンスを実現するか、エージェント API をマシン間の自動化プロセスに統合します。
OpenAI GPT-4、Mistral、Llama 2 などのさまざまな大規模な言語モデル、または REST 完了エンドポイントを提供する Hugging Face モデルカタログから取得したモデルを使用できるビルドエージェントを実験します。
管理ポータルを使用して、AI エージェントとその基礎となる資産 (プロンプト、データソース、ベクトル化データパイプライン、ベクトルデータベース、大規模言語モデルなど) を一元管理、構成、保護します。
企業内の全員が独自の AI エージェントを作成できるようにします。開発者以外のユーザーは、管理ポータルからセルフサービス形式で独自のエージェントを作成してデプロイできますが、高度な AI 開発者が LangChain、セマンティックカーネル、プロンプトフロー、または完了エンドポイントを公開する任意のオーケストレーション。
数百万のドキュメントを取り込んでモデルに知識を提供できる、スケーラブルなベクトル化データパイプラインを展開および管理します。
必要なだけタスクに焦点を当てた AI エージェントをユーザーに提供します。
ロールベースのアクセス制御 (RBAC) を使用して、AI エージェントと AI エージェントがアクセスするリソースへのアクセスを制御します。
Azure AI と Azure OpenAI の急速に進化する機能を 1 つの統合スタックから活用します。

注記

Foundationa LLMは大規模な言語モデルではありません。これにより、選択した大規模な言語モデル (OpenAI GPT-4、Mistral、LLama 2 など) を使用できるようになります。

Foundationa LLM は、安全かつ包括的で高度に構成可能なコパイロットプラットフォームを Azure クラウド環境にデプロイします。

エージェントがコンテキスト内学習に使用するエンタープライズデータソースとの統合を簡素化します (RAG、CoT、ReAct、および内部モノローグパターンの有効化など)。
エージェントが使用するデータに対するきめ細かいセキュリティ制御と、攻撃を防ぐ事前/事後フィルターによる多層防御を提供します。
強化されたソリューションは最初から LLM レッドチームによって攻撃されました。
スケーラブルなソリューションにより、複数の LLM エンドポイント間で負荷分散が行われます。
新しいデータソース、新しい LLM オーケストレーター、LLM に拡張可能。

Foundationa LLMが必要な理由?

簡単に言うと、訓練されたモデルのパラメトリック知識ではなく、地上にあり、独自のデータに基づいて応答するカスタマイズされた副操縦士や AI エージェントを取得するためだけに、多くの人が車輪の再発明を行っているのを見てきました。私たちが見たソリューションの多くは優れたデモ用に作られていましたが、実質的には OpenAI エンドポイントへの呼び出しをラッピングするおもちゃであり、エンタープライズ規模で実稼働に導入することを意図したものでも、準備ができたものでもありませんでした。私たちは、継続的な旅を提供するために Foundationa LLMを構築しました。これは、人々が LLM をすぐに試すことができ、その後、安全ではなく、ライセンスがなく、柔軟性が低く、十分な機能が備わっていないソリューションで崖から落ちないように、すぐに始められるものでした。最初からやり直すことなく、プロトタイプから実稼働ソリューションに成長させることができます。

エンタープライズ副操縦士または AI エージェントを提供する際の中心的な問題は次のとおりです。

エンタープライズグレードの副操縦士や AI エージェントは複雑で、多くの可動部分 (インフラストラクチャは言うまでもなく) を備えています。
このような複雑な副操縦士ソリューションを提供するために必要な役割を果たすことに関して、業界にはスキルギャップがあります。
AI の主要なリスク (不正確さ、サイバーセキュリティ、コンプライアンス、説明可能性、プライバシー) は、個別のツールによって軽減されていません。
副操縦士または AI エージェントソリューションの提供は、時間と費用がかかり、ゼロから始める場合はストレスがかかります。

誤解と現実

誤解

LLM アプリと AI エージェントの構築は迅速なエンジニアリングがすべてであるという誤解がありますが、それは次のように簡単です。

LLM と ChatGPT の誤解

これはデモやおもちゃのシナリオには当てはまりますが、企業内の AI エージェントの場合は、次のようなさらに多くの要件があります。

モデルの知識として数千から数百万のドキュメントをスケールしてバッチロードしますか? ChatGPT モデルと並行して他の LLM (Llama 2、Mistral) を活用しますか?
機密情報ソースを許可されたユーザーに非公開にしますか?
機密データ (PII、企業秘密) が LLM に送信されないようにしますか?
複数の AI エージェントを管理できますか?
トークンの使用を管理し、アプリケーションのチャージバックを管理しますか?

現実

安全で、適切に管理され、スケーラブルで拡張可能な AI エージェントの構築には多くのコンポーネントが必要ですが、Foundationa LLM は、このプロセスを高速化、再現可能、信頼性を高めるための包括的なスタックを提供します。

FoundationaLLM スタック

Foundationa LLM は他のソリューションと比べてどのような位置にありますか?

エコシステムには、副操縦士や AI エージェントの構築に役立つ優れたツールがたくさんあります。これらを統合して、集中管理、エージェント UI、API を備えた完全にカスタマイズ可能な AI エージェントを作成するためのエンドツーエンドのプラットフォームを提供できるのは、Foundationa LLMだけです。

FoundationaLLM プラットフォームとツール

最も基本的な部分では、副操縦士または AI エージェントは、企業が提供する知識と生成 AI モデルを使用して、多くの場合人間が提供するプロンプトを推論して、テキストの作成、コードの作成、または画像のレンダリングを行います。これらのモダリティ全体で、AI は特定のタスクで人間を直接支援するために使用されます。

この基本的な機能は 2 つのアーキタイプで出現し、どちらも Foundationa LLM がネイティブにサポートします。

ナレッジ管理: ユーザーが探している情報をすばやく見つけて、適切なレベルおよび適切な形式で提供できるようにします。例としては、ペルソナに対応するための要約、言い換えまたは再ターゲット化 (例: 私が 5 歳であるように説明する)、感情分析、推奨事項などがあります。
分析: ユーザーが求めているデータ主導の洞察を迅速に取得できるようにします。例には、推奨事項、予測、異常検出、統計分析、データのクエリとレポートが含まれます。

Foundationa LLM は、企業全体に存在するデータソースに対するナレッジ管理(質問/回答エージェントなど) および分析(セルフサービスビジネスインテリジェンスなど) エージェントの構築を簡素化および合理化します。

ドキュメント

ドキュメントを読んで、Foundationa LLMについて詳しく理解してください。これには、デプロイメント手順、クイックスタート、アーキテクチャ、および API リファレンスが含まれます。

はじめる

Foundationa LLM は、最初の展開を立ち上げて実行するためのシンプルなコマンドライン駆動のアプローチを提供します。基本的には 2 つのコマンドです。その後、ソリューションをカスタマイズし、マシン上でローカルに実行し、カスタマイズ内容で展開を更新できます。

クイックスタートデプロイの手順に従って、Foundationa LLM をAzure サブスクリプションにデプロイします。

問題の報告とサポート

Foundationa LLMで問題が発生した場合は、GitHub で問題を開いてください。できるだけ早く問題に対応させていただきます。ラベル ( bug 、 documentation 、 general question 、 release xxx ) を使用して問題を分類し、問題の理解と解決に役立つできるだけ詳細を提供してください。