dstoolkit km solution accelerator
V1.6
ナレッジ マイニング ソリューション アクセラレータ
このリポジトリには、Azure Cognitive Search に基づいたエンドツーエンドのナレッジ マイニング ソリューションをデプロイするためのすべてのコードが含まれています。
これは、Functions、Web App Services、Congitive Services、Cognitive Search などの標準 Azure サービスの上に構築されています。プロジェクトの CI/CD パイプラインを迅速かつ簡単にセットアップできるデプロイメント パイプラインを提供します。
詳細なドキュメントについては、ソリューション Wiki を含むリポジトリのドキュメントセクションを参照してください。
ソリューションを正常にセットアップするには、以下にアクセスするか、以下にプロビジョニングする必要があります。
Azure サブスクリプションまたは対象のリソース グループでは、所有者または共同作成者のロールが想定されます。
このソリューション アクセラレータを展開するには、README を参照してください。
すべてのガイドで提供される手順は、Azure portal、Azure Functions、Azure Cognitive Search、Functions、Storage、および Azure Cognitives Services に関する基本的な実践知識があることを前提としています。
追加のトレーニングとサポートについては、以下を参照してください。
ナレッジ マイニング (KM) は、インテリジェント サービスの組み合わせを使用して、膨大な量の情報から迅速に学習する人工知能 (AI) の新興分野です。これにより、組織は情報を深く理解し、簡単に探索し、隠された洞察を明らかにし、大規模な関係やパターンを見つけることができます。
Azure でのナレッジ マイニング
この KM ソリューション アクセラレータは、以下で構成される実行可能なエンドツーエンドのナレッジ マイニング ソリューションを提供することを目的としています。
このクラウドベースのアクセラレータを使用すると、展開、拡張、運用、監視のためのツールを備えたエンドツーエンドのソリューションが得られます。
その点で、このソリューションが提供するのは、
このナレッジ マイニング ソリューション アクセラレータは、別のアクセラレータであるナレッジ マイニング ソリューション アクセラレータからインスピレーションを得ています。
フィールドでの経験に基づいて、使いやすさとデータ探索エクスペリエンスに焦点を当てて、一般的な非構造化データの課題に対処するための機能/スキルを構築しました。
以下は主要なハイライトの非網羅的なリストです。
埋め込み画像のインデックス付け
画像の正規化:
メタデータ
HTML変換
テーブルの抽出: 非構造化データ コーパスでは、表形式の情報が一般的です。このソリューションは、テーブルを抽出、インデックス付けし、専用のナレッジ ストアに投影します (オプション)。
翻訳": このソリューションには 2 つの翻訳機能があります
Text Analytics : 任意のドキュメントおよび OCR 処理された画像テキストからエンティティ (名前付き、リンク済み) を抽出します。
Excel へのエクスポート: 非構造化データを調査するときによくある質問です。
構成可能な UI : UI の構築には時間がかかります。私たちは、新しい KM ソリューションをタイムリーに実現できるように、優れた UI 構成機能を提供したいと考えていました。
このソリューション アクセラレータの精神は、コンテンツ リサーチ KM シナリオのものです。
それにもかかわらず、そのアーキテクチャはオープンであるため、より特殊な KM シナリオの基盤として使用できます。
このソリューション アクセラレータは、どのドメインも対象としていませんが、その拡張性によりドメイン固有にするためのツールが提供されます。
いくつかのインスピレーションを与えるユースケース
あなたの組織では、このようなアクセラレータの製品化を考えるかもしれません。
このソリューション アクセラレータは、必要とする人をターゲットとしています。
このソリューション アクセラレータの目的は、ナレッジ マイニング ソリューションへのデータ サイエンス モジュールの統合を容易にすることでもあります。
データ サイエンス ツールキット チームは、データ サイエンス ワークロード用のアクセラレータを構築しました。
| 解決 | 説明 |
|---|---|
| 多用途性 | Verseagility は、カスタム自然言語処理 (NLP) タスクを強化するための Python ベースのツールキットで、独自のデータを取り込み、好みのフレームワークを使用して、モデルを運用環境に導入できるようにします。これは、Microsoft Data Science Toolkit の中心的なコンポーネントです。 |
| MLOps ベース | このリポジトリには、Azure テクノロジ (Azure ML および Azure DevOps) に基づく機械学習プロジェクトの基本的なリポジトリ構造が含まれています。フォルダー名とファイルは個人的な経験に基づいて選択されます。構造の背後にある原則とアイデアを見つけることができます。独自のプロジェクトと MLOps プロセスをカスタマイズするときに従うことをお勧めします。また、ユーザーが Azure 機械学習の概念とテクノロジの使用方法に精通していることも期待されます。 |
| DataBricks の MLOps | このリポジトリには、Azure テクノロジーに基づいたデータ エンジニアリング プロジェクトと機械学習プロジェクトを提供するための Databricks 開発フレームワークが含まれています。 |
| 分類ソリューション アクセラレータ | このリポジトリには、Azure テクノロジ (Azure ML および Azure DevOps) に基づく機械学習 (ML) プロジェクトの分類ソリューションを提供するための基本的なリポジトリ構造が含まれています。 |
| 物体検出ソリューション アクセラレータ | このリポジトリには、Azure コンピューティングでのトレーニング、実験の監視、Web サービスとしてのエンドポイントのデプロイのためのセットアップを備えた Azure Machine Learning (AML) 内で TensorFlow オブジェクト検出モデルをトレーニングするためのすべてのコードが含まれています。 MLOps Accelerator 上に構築されており、エンドツーエンドのトレーニングおよびデプロイメント パイプラインを提供し、プロジェクトの CI/CD パイプラインを迅速かつ簡単にセットアップできるようにします。 |
次のように、ソリューション アクセラレータのドキュメントを参照できます。
| トピック | 説明 | ドキュメントへのリンク |
|---|---|---|
| 前提条件 | ソリューションの導入と運用に必要なものは何ですか | お読みください |
| 建築 | ソリューションの設計方法 | お読みください |
| 導入 | このソリューション アクセラレータの導入方法 | お読みください |
| 構成 | ソリューション アクセラレータの構成について知っておくべきことすべて | お読みください |
| データサイエンス | データサイエンスとの統合 | お読みください |
| 導入 | ソリューションのデプロイを開始するには | お読みください |
| 監視 | ソリューションを監視する方法 | お読みください |
| 検索 | 検索の構成と管理の方法 | お読みください |
| 検索と探索 (UI) | 検索と探索のためのユーザー インターフェイス | お読みください |
このアクセラレータのリポジトリ構造は次のとおりです
デプロイメント ガイドに記載されている手順に従って、このリポジトリを複製またはダウンロードし、デプロイメント フォルダに移動します。
すべての手順を完了すると、データ ソースの取り込みとデータ エンリッチメント スキル、および Azure Cognitive Search を利用した Web アプリを組み合わせた、機能するエンドツーエンドのナレッジ マイニング ソリューションが完成します。
このソリューションは、
このソリューション アクセラレータの中心的な貢献者は次のとおりです。
データ サイエンス ツールキット スポンサーシップ チーム
ナレッジ マイニングと非構造化データに関する素晴らしい会話について
このプロジェクトは貢献と提案を歓迎します。ほとんどの投稿では、投稿を使用する権利をお客様が有しており、実際に当社に付与することを宣言する投稿者ライセンス契約 (CLA) に同意する必要があります。詳細については、https://cla.opensource.microsoft.com をご覧ください。
プル リクエストを送信すると、CLA ボットが CLA を提供する必要があるかどうかを自動的に判断し、PR を適切に装飾します (ステータス チェック、コメントなど)。ボットが提供する指示に従ってください。 CLA を使用するすべてのリポジトリでこれを 1 回行うだけで済みます。
このプロジェクトはマイクロソフトのオープンソース行動規範を採用しています。詳細については、「行動規範に関するよくある質問」を参照するか、追加の質問やコメントがあれば [email protected] までお問い合わせください。
このプロジェクトには、プロジェクト、製品、またはサービスの商標またはロゴが含まれている場合があります。 Microsoft の商標またはロゴの許可された使用には、Microsoft の商標およびブランド ガイドラインが適用され、それに従わなければなりません。このプロジェクトの修正バージョンで Microsoft の商標またはロゴを使用することは、混乱を引き起こしたり、Microsoft のスポンサーであることを暗示したりしてはなりません。第三者の商標またはロゴの使用には、それらの第三者のポリシーが適用されます。
