azure search openai demo csharp
2024-09-16 - Enhanced Deployment and Documentation Updates
| page_type | ภาษา | สินค้า | urlfragment | ชื่อ | คำอธิบาย | ||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
ตัวอย่าง |
|
| Azure-search-openai-demo-csharp | ข้อมูล chatgpt + Enterprise (CSHARP) | แอปตัวอย่าง CSHARP ที่แชทกับข้อมูลของคุณโดยใช้การค้นหา OpenAI และ AI |
ตัวอย่างนี้แสดงให้เห็นถึงวิธีการบางอย่างสำหรับการสร้างประสบการณ์ที่คล้ายกับ chatgpt ผ่านข้อมูลของคุณเองโดยใช้รูปแบบการสร้างการดึงการดึง ใช้บริการ Azure OpenAI เพื่อเข้าถึงโมเดล ChatGPT ( gpt-4o-mini ) และ Azure AI Search สำหรับการจัดทำดัชนีและการดึงข้อมูล
repo มีข้อมูลตัวอย่างดังนั้นจึงพร้อมที่จะลอง end-to-end ในแอปพลิเคชั่นตัวอย่างนี้เราใช้ บริษัท สมมติที่เรียกว่า Contoso Electronics และประสบการณ์ช่วยให้พนักงานถามคำถามเกี่ยวกับประโยชน์นโยบายภายในรวมถึงรายละเอียดงานและบทบาท
สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับวิธีการสร้างแอปพลิเคชันนี้ลองดู:
เราอยากได้ยินจากคุณ! คุณสนใจที่จะสร้างหรือสร้างแอพอัจฉริยะหรือไม่? ใช้เวลาสองสามนาทีในการทำแบบสำรวจนี้
ทำการสำรวจ
ในการปรับใช้และเรียกใช้ตัวอย่างนี้คุณจะต้องมี
Microsoft.Authorization/roleAssignments/write Permissions เช่นผู้ดูแลระบบเข้าถึงหรือเจ้าของ คำเตือน
โดยค่าเริ่มต้นตัวอย่างนี้จะสร้างแอพ Azure Container และ Azure AI Search Resource ที่มีค่าใช้จ่ายรายเดือนรวมถึงทรัพยากรข่าวกรองเอกสาร Azure AI ที่มีค่าใช้จ่ายต่อหน้าเอกสาร คุณสามารถสลับเป็นเวอร์ชันฟรีของแต่ละรุ่นหากคุณต้องการหลีกเลี่ยงค่าใช้จ่ายนี้โดยการเปลี่ยนไฟล์พารามิเตอร์ภายใต้โฟลเดอร์ Infra (แม้ว่าจะมีข้อ จำกัด บางประการที่ต้องพิจารณาตัวอย่างเช่นคุณสามารถมีทรัพยากรการค้นหา Azure AI AI ได้สูงสุด 1 รายการต่อการสมัครสมาชิก
การกำหนดราคาแตกต่างกันไปตามภูมิภาคและการใช้งานดังนั้นจึงเป็นไปไม่ได้ที่จะทำนายค่าใช้จ่ายที่แน่นอนสำหรับการใช้งานของคุณ อย่างไรก็ตามคุณสามารถลองใช้เครื่องคิดเลขราคา Azure สำหรับทรัพยากรด้านล่าง:
เพื่อลดต้นทุนคุณสามารถเปลี่ยนเป็น SKU ฟรีสำหรับบริการต่าง ๆ แต่ SKU เหล่านั้นมีข้อ จำกัด ดูคู่มือนี้เกี่ยวกับการปรับใช้ด้วยค่าใช้จ่ายน้อยที่สุดสำหรับรายละเอียดเพิ่มเติม
azd down
คุณมีตัวเลือกเล็กน้อยสำหรับการตั้งค่าโครงการนี้ วิธีที่ง่ายที่สุดในการเริ่มต้นคือ GitHub codespaces เนื่องจากจะตั้งค่าเครื่องมือทั้งหมดสำหรับคุณ แต่คุณสามารถตั้งค่าได้ในพื้นที่หากต้องการ
คุณสามารถเรียกใช้ repo นี้ได้อย่างแท้จริงโดยใช้ GitHub codespaces ซึ่งจะเปิดรหัส VS บนเว็บในเบราว์เซอร์ของคุณ:
ตัวเลือกที่เกี่ยวข้องคือ VS Code Remote Containers ซึ่งจะเปิดโครงการในรหัส Local Vs ของคุณโดยใช้ส่วนขยาย DEV Containers:
ติดตั้งข้อกำหนดเบื้องต้นต่อไปนี้:
Azure Developer CLI
.net 8
กระตวน
PowerShell 7+ (PWSH) - สำหรับผู้ใช้ Windows เท่านั้น
สำคัญ : ตรวจสอบให้แน่ใจว่าคุณสามารถเรียกใช้
pwsh.exeจากคำสั่ง PowerShell หากสิ่งนี้ล้มเหลวคุณอาจต้องอัพเกรด PowerShell
นักเทียบท่า
สำคัญ : ตรวจสอบให้แน่ใจว่า Docker กำลังทำงานอยู่ก่อนที่จะเรียกใช้คำสั่งการจัดเตรียม / การปรับใช้
azdใด ๆ
จากนั้นเรียกใช้คำสั่งต่อไปนี้เพื่อรับโครงการในสภาพแวดล้อมท้องถิ่นของคุณ:
azd auth loginazd init -t azure-search-openai-demo-csharpazd env new azure-search-openai-demo-csharpสตรีมสด: การปรับใช้ตั้งแต่เริ่มต้นในรหัสสตรีมสด: การปรับใช้ตั้งแต่เริ่มต้นใน Windows 11
สำคัญ : ตรวจสอบให้แน่ใจว่า Docker กำลังทำงานอยู่ก่อนที่จะเรียกใช้คำสั่งการจัดเตรียม / การปรับใช้
azdใด ๆ
ดำเนินการคำสั่งต่อไปนี้หากคุณไม่มีบริการ Azure ที่มีอยู่แล้วและต้องการเริ่มต้นจากการปรับใช้ใหม่
เรียกใช้ azd up - สิ่งนี้จะจัดหาทรัพยากร Azure และปรับใช้ตัวอย่างนี้กับทรัพยากรเหล่านั้นรวมถึงการสร้างดัชนีการค้นหาตามไฟล์ที่พบในโฟลเดอร์ ./data data
หมายเหตุ : แอปพลิเคชันนี้ใช้รุ่น
gpt-4o-miniเมื่อเลือกภูมิภาคที่จะปรับใช้ให้แน่ใจว่ามีอยู่ในภูมิภาคนั้น (เช่น Eastus) สำหรับข้อมูลเพิ่มเติมดูเอกสารประกอบบริการ Azure OpenAI
หลังจากใช้งานแอปพลิเคชันเรียบร้อยแล้วคุณจะเห็น URL ที่พิมพ์ไปยังคอนโซล คลิก URL นั้นเพื่อโต้ตอบกับแอปพลิเคชันในเบราว์เซอร์ของคุณ
มันจะมีลักษณะดังต่อไปนี้:
[! หมายเหตุ]: อาจใช้เวลาไม่กี่นาทีในการปรับใช้แอปพลิเคชันอย่างเต็มที่ หลังจากปรับใช้แอปพลิเคชันแล้วจะใช้เวลาสองสามนาทีในการประมวลผลเอกสารที่จะเพิ่มลงในฐานข้อมูลเวกเตอร์
หากคุณมีทรัพยากรที่มีอยู่ใน Azure ที่คุณต้องการใช้คุณสามารถกำหนดค่า azd เพื่อใช้งานโดยการตั้งค่าตัวแปรสภาพแวดล้อม azd ต่อไปนี้:
azd env set AZURE_OPENAI_SERVICE {Name of existing OpenAI service}azd env set AZURE_OPENAI_RESOURCE_GROUP {Name of existing resource group that OpenAI service is provisioned to}azd env set AZURE_OPENAI_CHATGPT_DEPLOYMENT {Name of existing ChatGPT deployment} จำเป็นเฉพาะในกรณีที่การปรับใช้ CHATGPT ของคุณไม่ใช่ 'แชท' เริ่มต้นazd env set AZURE_OPENAI_EMBEDDING_DEPLOYMENT {Name of existing embedding model deployment} จำเป็นเฉพาะในกรณีที่การปรับใช้แบบจำลองการฝังของคุณไม่ใช่ embedding เริ่มต้นazd up บันทึก
คุณยังสามารถใช้บัญชีการค้นหาและการจัดเก็บที่มีอยู่ ดู ./infra/main.parameters.json สำหรับรายการตัวแปรสภาพแวดล้อมเพื่อส่งผ่านไปยัง azd env set เพื่อกำหนดค่าทรัพยากรที่มีอยู่เหล่านั้น
สำคัญ
ตรวจสอบให้แน่ใจว่า Docker กำลังทำงานอยู่ก่อนที่จะเรียกใช้คำสั่งการจัดสรร / การปรับใช้ azd ใด ๆ
azd up บันทึก
ตรวจสอบให้แน่ใจว่าคุณมีไฟล์ bicep ที่รองรับ AZD ในที่เก็บข้อมูลของคุณและเพิ่มไฟล์เวิร์กโฟลว์การกระทำของ GitHub เริ่มต้นซึ่งสามารถเรียกใช้ด้วยตนเอง (สำหรับการปรับใช้ครั้งแรก) หรือการเปลี่ยนแปลงรหัส (การปรับใช้ใหม่โดยอัตโนมัติด้วยการเปลี่ยนแปลงล่าสุด)
"resourceGroupName" : {
"value" : " ${AZURE_RESOURCE_GROUP} "
} "tags" : {
"value" : " ${AZURE_TAGS} "
} param resourceGroupName string = ''
param tags string = '' var baseTags = { 'azd-env-name' : environmentName }
var updatedTags = union ( empty ( tags ) ? {} : base64ToJson ( tags ), baseTags )
Make sure to use " updatedTags " when assigning " tags " to resource group created in your bicep file and update the other resources to use " baseTags " instead of " tags ". For example -
``` json
resource rg 'Microsoft.Resources/resourceGroups@2021-04-01' = {
name : ! empty ( resourceGroupName ) ? resourceGroupName : '${ abbrs . resourcesResourceGroups }${ environmentName }'
location : location
tags : updatedTags
}สำคัญ
ตรวจสอบให้แน่ใจว่า Docker กำลังทำงานอยู่ก่อนที่จะเรียกใช้คำสั่งการจัดสรร / การปรับใช้ azd ใด ๆ
เรียกใช้ azd auth login
หลังจากการปรับใช้แอปพลิเคชันให้ตั้งค่าตัวแปรสภาพแวดล้อม AZURE_KEY_VAULT_ENDPOINT คุณสามารถค้นหาค่าได้ในไฟล์. Aazure/Environment-Name/.Env ของคุณ หรือพอร์ทัล Azure
เรียกใช้คำสั่ง. NET CLI ต่อไปนี้เพื่อเริ่มต้น ASP.NET Core Minimal API Server (โฮสต์ไคลเอนต์):
dotnet run --project ./app/backend/MinimalApi.csproj --urls=http://localhost:7181/
ไปที่ http: // localhost: 7181 และทดสอบแอพ
ตัวอย่างนี้รวมถึงไคลเอนต์. NET MAUI บรรจุประสบการณ์เป็นแอพที่สามารถทำงานบนเดสก์ท็อป Windows/MacOS หรือบนอุปกรณ์ Android และ iOS ไคลเอนต์ MAUI ที่นี่ถูกนำมาใช้โดยใช้ Blazor Hybrid ปล่อยให้แชร์รหัสส่วนใหญ่กับส่วนหน้าเว็บไซต์
เปิด App/App-Maui.sln เพื่อเปิดโซลูชันที่มีไคลเอนต์ MAUI
แก้ไข แอพ/maui-blazor/mauiprogram.cs , อัปเดต client.BaseAddress , baseaddress ด้วย URL สำหรับแบ็กเอนด์
หากมันทำงานใน Azure ให้ใช้ URL สำหรับแบ็กเอนด์บริการจากขั้นตอนข้างต้น หากทำงานในพื้นที่ให้ใช้ http: // localhost: 7181
ตั้งค่า Mauiblazor เป็นโครงการเริ่มต้นและเรียกใช้แอพ
เรียกใช้สิ่งต่อไปนี้หากคุณต้องการให้คนอื่นเข้าถึงสภาพแวดล้อมที่ปรับใช้และที่มีอยู่
azd init -t azure-search-openai-demo-csharpazd env refresh -e {environment name} - โปรดทราบว่าพวกเขาจะต้องใช้ชื่อสภาพแวดล้อม AZD, ID การสมัครสมาชิกและตำแหน่งเพื่อเรียกใช้คำสั่งนี้ - คุณสามารถค้นหาค่าเหล่านั้นได้ในไฟล์ ./azure/{env name}/.env สิ่งนี้จะเติมไฟล์. ENV ของสภาพแวดล้อม AZD ด้วยการตั้งค่าทั้งหมดที่จำเป็นในการเรียกใช้แอพในเครื่องpwsh ./scripts/roles.ps1 - สิ่งนี้จะกำหนดบทบาทที่จำเป็นทั้งหมดให้กับผู้ใช้เพื่อให้พวกเขาสามารถเรียกใช้แอพในพื้นที่ หากพวกเขาไม่ได้รับอนุญาตที่จำเป็นในการสร้างบทบาทในการสมัครสมาชิกคุณอาจต้องเรียกใช้สคริปต์นี้สำหรับพวกเขา เพียงตรวจสอบให้แน่ใจว่าได้ตั้งค่าตัวแปรสภาพแวดล้อม AZURE_PRINCIPAL_ID ในไฟล์ AZD .ENV หรือในเชลล์ที่ใช้งานอยู่กับ ID Azure ซึ่งพวกเขาสามารถรับได้ด้วย az account show เรียกใช้ azd down
azd URL ถูกพิมพ์ออกมาเมื่อ azd เสร็จสมบูรณ์ (เป็น "จุดสิ้นสุด") หรือคุณสามารถค้นหาได้ในพอร์ทัล Azureครั้งหนึ่งในเว็บแอพ:
ในการเปิดใช้งานข้อมูลเชิงลึกของแอปพลิเคชันและการติดตามของแต่ละคำขอพร้อมกับการบันทึกข้อผิดพลาดให้ตั้งค่าตัวแปร AZURE_USE_APPLICATION_INSIGHTS เป็น TRUE ก่อนที่จะเรียกใช้ azd up
azd env set AZURE_USE_APPLICATION_INSIGHTS trueazd upหากต้องการดูข้อมูลประสิทธิภาพให้ไปที่ทรัพยากรข้อมูลเชิงลึกของแอปพลิเคชันในกลุ่มทรัพยากรของคุณคลิกที่ใบมีด "ตรวจสอบ -> ประสิทธิภาพ" และนำทางไปยังคำขอ HTTP ใด ๆ เพื่อดูข้อมูลเวลา ในการตรวจสอบประสิทธิภาพของคำขอแชทให้ใช้ปุ่ม "เจาะเข้าไปในตัวอย่าง" เพื่อดูร่องรอยแบบ end-to-end ของการโทร API ทั้งหมดที่ทำขึ้นสำหรับคำขอแชทใด ๆ :
หากต้องการดูข้อยกเว้นและข้อผิดพลาดของเซิร์ฟเวอร์ให้ไปที่ใบมีด "ตรวจสอบ -> ความล้มเหลว" และใช้เครื่องมือการกรองเพื่อค้นหาข้อยกเว้นเฉพาะ คุณสามารถเห็นร่องรอยของ Python Stack ทางด้านขวามือ
โดยค่าเริ่มต้นแอพคอนเทนเนอร์ Azure ที่ปรับใช้จะไม่มีการรับรองการรับรองความถูกต้องหรือการ จำกัด การเข้าถึงซึ่งหมายความว่าทุกคนที่มีการเข้าถึงเครือข่ายที่กำหนดเส้นทางได้ไปยังแอพคอนเทนเนอร์สามารถแชทกับข้อมูลที่จัดทำดัชนีของคุณได้ คุณสามารถต้องการการรับรองความถูกต้องไปยัง Azure Active Directory ของคุณโดยทำตามการสอนการรับรองความถูกต้องของแอป Add Container และตั้งค่ากับแอพคอนเทนเนอร์ที่ปรับใช้
หากต้องการ จำกัด การเข้าถึงชุดผู้ใช้หรือกลุ่มเฉพาะคุณสามารถทำตามขั้นตอนจากการ จำกัด แอพโฆษณา Azure ของคุณเป็นชุดของผู้ใช้โดยการเปลี่ยน "การกำหนดที่จำเป็น" ตัวเลือกภายใต้แอปพลิเคชัน Enterprise จากนั้นกำหนดการเข้าถึงผู้ใช้/กลุ่ม ผู้ใช้ที่ไม่ได้รับอนุญาตการเข้าถึงอย่างชัดเจนจะได้รับข้อความแสดงข้อผิดพลาด -AADSTS50105: ผู้ดูแลระบบของคุณได้กำหนดค่าแอปพลิเคชัน <app_name> เพื่อบล็อกผู้ใช้เว้นแต่ว่าพวกเขาจะได้รับการเข้าถึงโดยเฉพาะ ('กำหนด') การเข้าถึงแอปพลิเคชัน -
ด้วย GPT-4o-mini เป็นไปได้ที่จะสนับสนุนการเพิ่มการปรับเปลี่ยนการปรับแต่งที่เพิ่มขึ้นโดยการให้ทั้งข้อความและภาพเป็นเนื้อหาต้นฉบับ ในการเปิดใช้งานการสนับสนุนการมองเห็นคุณจะต้องเปิดใช้ USE_VISION และใช้รุ่น GPT-4o หรือ GPT-4o-mini เมื่อทำการจัดสรร
บันทึก
คุณจะต้องจัดทำดัชนีวัสดุสนับสนุนอีกครั้งและปรับใช้แอปพลิเคชันอีกครั้งหลังจากเปิดใช้งานการสนับสนุน GPT-4O หากคุณได้ปรับใช้แอปพลิเคชันมาก่อนแล้ว นี่เป็นเพราะการเปิดใช้งานการสนับสนุน GPT-4O ต้องใช้ฟิลด์ใหม่ที่จะเพิ่มลงในดัชนีการค้นหา
หากต้องการเปิดใช้งานการสนับสนุน GPT-4V ด้วยบริการ Azure OpenAI ให้เรียกใช้คำสั่งต่อไปนี้:
azd env set USE_VISION true
azd env set USE_AOAI true
azd env set AZURE_OPENAI_CHATGPT_MODEL_NAME gpt-4o-mini
azd env set AZURE_OPENAI_RESOURCE_LOCATION eastus # Please check the gpt model availability for more details.
azd upเพื่อเปิดใช้งานการสนับสนุนการมองเห็นด้วย OpenAI ให้เรียกใช้คำสั่งต่อไปนี้:
azd env set USE_VISION true
azd env set USE_AOAI false
azd env set OPENAI_CHATGPT_DEPLOYMENT gpt-4o
azd upหากต้องการทำความสะอาดทรัพยากรที่ปรับใช้ก่อนหน้านี้ให้เรียกใช้คำสั่งต่อไปนี้:
azd down --purge
azd env set AZD_PREPDOCS_RAN false # This is to ensure that the documents are re-indexed with the new fields. นอกจากเคล็ดลับด้านล่างคุณสามารถค้นหาเอกสารที่กว้างขวางในโฟลเดอร์ DOCS
ตัวอย่างนี้ได้รับการออกแบบให้เป็นจุดเริ่มต้นสำหรับแอปพลิเคชันการผลิตของคุณเอง แต่คุณควรทำการตรวจสอบความปลอดภัยและประสิทธิภาพอย่างละเอียดก่อนที่จะนำไปใช้กับการผลิต นี่คือบางสิ่งที่ควรพิจารณา:
ความจุ OpenAI : TPM เริ่มต้น (โทเค็นต่อนาที) ถูกตั้งค่าเป็น 30K นั่นเทียบเท่ากับการสนทนาประมาณ 30 ครั้งต่อนาที (สมมติว่า 1k ต่อข้อความ/การตอบกลับของผู้ใช้) คุณสามารถเพิ่มขีดความสามารถโดยการเปลี่ยนพารามิเตอร์ chatGptDeploymentCapacity และ embeddingDeploymentCapacity ใน infra/main.bicep ไปยังความจุสูงสุดของบัญชีของคุณ นอกจากนี้คุณยังสามารถดูแท็บโควต้าใน Azure Openai Studio เพื่อทำความเข้าใจว่าคุณมีความจุเท่าใด
Azure Storage : บัญชีที่เก็บข้อมูลเริ่มต้นใช้ Standard_LRS SKU เพื่อปรับปรุงความยืดหยุ่นของคุณเราขอแนะนำให้ใช้ Standard_ZRS สำหรับการปรับใช้การผลิตซึ่งคุณสามารถระบุได้โดยใช้คุณสมบัติ sku ภายใต้โมดูล storage ใน infra/main.bicep
Azure AI Search : หากคุณเห็นข้อผิดพลาดเกี่ยวกับความสามารถในการค้นหาที่เกินคุณอาจพบว่ามีประโยชน์ในการเพิ่มจำนวนของแบบจำลองโดยการเปลี่ยน replicaCount ใน infra/core/search/search-services.bicep หรือปรับสัดส่วนจากพอร์ทัล Azure ด้วยตนเอง
แอพ Azure Container : โดยค่าเริ่มต้นแอปพลิเคชันนี้จะปรับใช้คอนเทนเนอร์ด้วย 0.5 CPU Cores และ 1GB ของหน่วยความจำ แบบจำลองขั้นต่ำคือ 1 และสูงสุด 10. สำหรับแอพนี้คุณสามารถตั้งค่าได้เช่น containerCpuCoreCount , containerMaxReplicas , containerMemory , containerMinReplicas ในไฟล์ infra/core/host/container-app.bicep เพื่อให้พอดีกับความต้องการของคุณ คุณสามารถใช้กฎการปรับขนาดอัตโนมัติหรือกฎการปรับสเกลตามกำหนดเวลาและเพิ่มขนาดสูงสุด/ต่ำสุดตามโหลด
การรับรองความถูกต้อง : โดยค่าเริ่มต้นแอปที่ปรับใช้สามารถเข้าถึงได้สาธารณะ เราขอแนะนำให้ จำกัด การเข้าถึงผู้ใช้ที่ได้รับการรับรองความถูกต้อง ดูการเปิดใช้งานการรับรองความถูกต้องด้านบนสำหรับวิธีการเปิดใช้งานการตรวจสอบ
เครือข่าย : เราขอแนะนำให้ปรับใช้ภายในเครือข่ายเสมือนจริง หากแอพใช้สำหรับการใช้งานภายในองค์กรเท่านั้นให้ใช้โซน DNS ส่วนตัว ลองพิจารณาใช้ Azure API Management (APIM) สำหรับไฟร์วอลล์และการป้องกันในรูปแบบอื่น ๆ สำหรับรายละเอียดเพิ่มเติมอ่านสถาปัตยกรรมอ้างอิง Azure Openai Landing Zone
LoadTesting : เราขอแนะนำให้เรียกใช้ LoadTest สำหรับจำนวนผู้ใช้ที่คาดหวังของคุณ
Azure.AI.OpenAI Nuget แพ็คเกจบันทึก
เอกสาร PDF ที่ใช้ในการสาธิตนี้มีข้อมูลที่สร้างขึ้นโดยใช้รูปแบบภาษา (บริการ Azure OpenAI) ข้อมูลที่มีอยู่ในเอกสารเหล่านี้มีไว้เพื่อการสาธิตเท่านั้นและไม่สะท้อนความคิดเห็นหรือความเชื่อของ Microsoft Microsoft ไม่ได้เป็นตัวแทนหรือการรับประกันใด ๆ ไม่ว่าโดยชัดแจ้งหรือโดยนัยเกี่ยวกับความสมบูรณ์ความแม่นยำความน่าเชื่อถือความเหมาะสมหรือความพร้อมใช้งานเกี่ยวกับข้อมูลที่มีอยู่ในเอกสารนี้ สงวนลิขสิทธิ์สำหรับ Microsoft
คำถาม : ทำไมเราต้องแยก PDFs เป็นชิ้นเมื่อ Azure AI Search สนับสนุนการค้นหาเอกสารขนาดใหญ่?
คำตอบ : Chunking ช่วยให้เราสามารถ จำกัด จำนวนข้อมูลที่เราส่งไปยัง OpenAI เนื่องจากขีด จำกัด โทเค็น ด้วยการทำลายเนื้อหาทำให้เราสามารถค้นหาข้อความที่อาจเกิดขึ้นได้อย่างง่ายดายซึ่งเราสามารถฉีดเข้าไปใน OpenAI ได้ วิธีการ chunking ที่เราใช้ใช้ประโยชน์จากหน้าต่างเลื่อนของข้อความเช่นประโยคที่จบหนึ่งก้อนจะเริ่มต้นต่อไป สิ่งนี้ช่วยให้เราสามารถลดโอกาสในการสูญเสียบริบทของข้อความ
