dstoolkit km solution accelerator下載 - dstoolkit km solution accelerator原始碼下載

dstoolkit km solution accelerator

其他源碼

V1.6

下載

知識挖掘解決方案加速器

此儲存庫包含用於部署基於 Azure 認知搜尋的端到端知識挖掘解決方案的所有程式碼。

它建構在標準 Azure 服務之上，例如功能、Web 應用服務、認知服務和認知搜尋。它提供了一個部署管道，允許為您的專案快速輕鬆地設定 CI/CD 管道。

有關詳細文檔，請參閱包含解決方案 wiki 的儲存庫的文檔部分。

開始之前

為了成功設定您的解決方案，您需要有權存取和/或配置以下內容：

存取 Azure 訂閱（必要）
存取 Azure DevOps 訂閱（可選）

在 Azure 訂閱或目標資源群組上假定擁有者或貢獻者角色。

入門

請參閱自述文件來部署此解決方案加速器。

所有指南中提供的說明都假定你具備 Azure 入口網站、Azure Functions、Azure 認知搜尋、函數、儲存和 Azure 認知服務的基本工作知識。

如需其他培訓和支持，請參閱：

知識挖掘訓練營
認知搜尋中的人工智慧文檔

知識挖掘概述

知識挖掘（KM）是人工智慧（AI）中的一門新興學科，它利用智慧服務的組合來快速從大量資訊中學習。它使組織能夠深入理解並輕鬆探索訊息，發現隱藏的見解，並大規模發現關係和模式。

Azure 中的知識挖掘

這個解決方案加速器是什麼？

此知識管理解決方案加速器旨在為您提供可行的端到端知識挖掘解決方案，其中包括：

食入
- 從 Azure Data Lake 引入數據
豐富
- 使用 Azure 應用 AI 和認知服務豐富數據
勘探
- 關鍵字和語義搜尋
- 支援多個搜尋索引
- 內容安全模型（權限）
- 模組化使用者介面

借助這個基於雲端的加速器，您將獲得具有部署、擴展、操作和監控工具的端到端解決方案。

在這方面，該解決方案提供了

Azure Web 應用程式驗證支援
高可配置性（json）
全面的可擴展性
操作（基於 PowerShell）
適用於 CI/CD 的 Azure Pipelines
部署框架（手動或透過 CI/CD）

為什麼選擇知識挖掘解決方案加速器？

該知識挖掘解決方案加速器的靈感來自另一個加速器知識挖掘解決方案加速器。

根據我們的現場經驗，我們建立了功能/技能來解決常見的非結構化資料挑戰，重點關注可用性和資料探索體驗。

以下是主要亮點的非詳盡列表：

嵌入圖像索引
- 嵌入文檔中的圖像被索引為文檔，不僅僅是為了關鍵字搜尋回憶。
- PDF 頁面被提取為圖像（可設定）。
- Apache Tika 的自訂版本用於映像提取。
- 克服 1000 張標準化影像的限制
圖像標準化：
- 處理超大影像以確保 OCR 完整性
- 支援 TIFF 格式
- UI 支援的縮圖創建
元數據
- 使用 Apache Tika，我們可以讓您存取每個文件或映像中存在的所有元資料。常見的場景是帶有地理位置元資料（即 EXIF GPS 座標）的圖像。
HTML 轉換
- 擁有文件的 HTML 表示可以簡化一些 NLP 工作。
- 目錄是我們在 PDF 的 HTML 表示形式中公開的常見結構。
表格擷取：表格資訊在非結構化資料語料庫中很常見。此解決方案將提取表、索引表並將其投影到專用知識儲存（可選）。
Translation ": 此解決方案有兩個翻譯功能
- 文字翻譯：非本地內容和標題標準化為定義語言（預設為英語）
- 文檔翻譯：對於非本地文檔，解決方案將對其進行翻譯。他們將遵循與任何文件相同的文件處理方式。例如，翻譯的文件將為您提供翻譯的表格。
文字分析：從任何文件和 OCR 圖像文字中提取實體（命名、連結）。
匯出到 Excel ：探索非結構化資料時常見的問題。
可設定的 UI ：建立 UI 非常耗時，我們希望提供出色的 UI 可設定性，以便您可以及時實現新的 KM 解決方案。

該加速器針對哪些知識挖掘情境？

此解決方案加速器精神屬於內容研究知識管理場景。

儘管如此，由於其架構是開放的，您可以將其用作更專業的知識管理場景的基礎。

此解決方案加速器不針對任何網域，儘管其可擴展性將為您提供使其特定於網域的工具。

一些鼓舞人心的用例

人工智慧驅動的數據和網路探索
非結構化資料洞察提取（挖掘看不見的價值）
人工智慧驅動的策略規劃工具
內部網路語義搜尋
用於資料發現、模式提取和專利探索的研發門戶
ETC。

您可能會認為產品化是您組織的加速器。

目標受眾是誰？

該解決方案加速器針對有需要的人

向利害關係人展示知識挖掘的概念驗證
部署端到端知識管理解決方案以供立即生產使用
了解如何在 Azure 上建置知識管理解決方案
用於評估 Azure 機器學習、認知和應用 AI 服務的 Playground

數據科學工具包集成

此解決方案加速器的目的還在於簡化資料科學模組與知識挖掘解決方案的整合。

數據科學工具包團隊為您的數據科學工作負載建立了加速器。

解決方案	描述
多才多藝	Verseagility 是一個基於 Python 的工具包，可增強您的自訂自然語言處理 (NLP) 任務，使您能夠引入自己的資料、使用您喜歡的框架並將模型投入生產。它是 Microsoft 資料科學工具包的核心元件。
MLOps 基礎	此儲存庫包含基於 Azure 技術（Azure ML 和 Azure DevOps）的機器學習專案的基本儲存庫結構。資料夾名稱和檔案是根據個人經驗選擇的。您可以找到該結構背後的原則和想法，我們建議您在自訂自己的專案和 MLOps 流程時遵循這些原則和想法。此外，我們希望使用者熟悉 Azure 機器學習概念以及如何使用技術。
DataBricks 的 MLOps	此儲存庫包含 Databricks 開發框架，用於交付任何資料工程專案以及基於 Azure 技術的機器學習專案。
分類解決方案加速器	此儲存庫包含基本儲存庫結構，用於為基於 Azure 技術（Azure ML 和 Azure DevOps）的機器學習 (ML) 專案提供分類解決方案。
物體偵測解決方案加速器	此儲存庫包含用於在 Azure 機器學習 (AML) 中訓練 TensorFlow 物件偵測模型的所有程式碼，以及用於在 Azure 運算、實驗監控和作為 Web 服務的端點部署上進行訓練的設定。它基於 MLOps 加速器構建，提供端到端培訓和部署管道，允許快速輕鬆地為您的專案設置 CI/CD 管道。

文件

您可以參考解決方案加速器文件如下：

話題	描述	文件連結
先決條件	部署和操作該解決方案需要什麼	自述文件
建築學	解決方案的架構如何	自述文件
部署	如何部署此解決方案加速器	自述文件
配置	您需要了解的有關解決方案加速器配置的所有信息	自述文件
數據科學	與數據科學集成	自述文件
部署	Ho 開始部署解決方案	自述文件
監控	如何監控解決方案	自述文件
搜尋	如何配置和管理搜尋	自述文件
搜尋與探索（UI）	用於搜尋和探索的使用者介面	自述文件

儲存庫結構

該加速器的儲存庫結構如下

azure-pipelines - 用於設定 CI/CD 的 Azure DevOps 管道
配置-解決方案配置
數據- 用於驗證解決方案部署的範例資料。
- 文件：您的知識管理解決方案的範例文檔
部署- 用於部署和操作的配置和腳本
- config ：包含整個解決方案的基本配置
- 模組：PowerShell 模組
- 腳本：部署腳本
- init_env.ps1 ：環境初始化腳本
docs - 包含 .md 格式的解決方案文件 wiki。設計為作為 Azure DevOps wiki 導入。
覆蓋- 原始碼
src-原始碼
- CognitiveSearch.Skills自訂技能
- CognitiveSearch.UI使用者介面 .NET Core MVC
- 數據科學- 用於添加數據科學模組的佔位符。