يوضح هذا المشروع جدوى LLMs (أو LMMs) الشخصية كمساعدين شخصيين، لمواكبة النمو السريع لهذه النماذج.
لقد قدمنا طريقة إنشاء الاسترجاع المعزز (RAG) للتغلب على قيود الضبط الفوري التقليدي، الذي له حدود للسياق، والضبط الدقيق، الذي يعاني من مشكلات تتعلق بتحديث البيانات في الوقت الفعلي والهلوسة.
تقليديًا، تم استخدام RAG للبحث في قواعد البيانات مثل Chroma عبر LangChain كمخزن، ولكن هذه الطريقة تعمل ضمن سياقات ثابتة، وهو ما يحد.
ولذلك، فإننا نخطط لبناء نظام RAG الخاص بنا. قد تتضمن هذه العملية معالجة مشكلات الاستدلال والانحدار التي قد تقدمها LangChain.
نحن ملتزمون بالتطور السريع وسنعمل قريبًا على تمكين التوافق متعدد اللغات. حاليًا، يدعم النظام اللغة الإنجليزية بشكل كامل، مع وجود خطط لدعم اللغات الكورية واليابانية وغيرها من اللغات قريبًا. بالإضافة إلى ذلك، سيتم أيضًا دمج أنظمة الانحدار والاستدلال قريبًا.
لإجراء الاختبارات، قم بتشغيل الأمر التالي
# start embeddings server
cd embd & pip install -r requirements.txt
python app.py
# start mindx-v server (vector-database)
# not using cgo, only assembly
cd mindx-v & go run cmd/mxvd/main.go
# start processor server
cd processor & go run cmd/main.go
# start demo client
cd sample_client & npm start
في البداية، المساعد لا يعرف شيئا عن المستخدم. ومع ذلك، يمكن للمستخدمين تعليم المساعد عن أنفسهم في الوقت الفعلي. (نظرًا لخصائص LLM، قد يساء فهم أنه تم تذكرها كسلسلة محادثة بدلاً من التعلم، لذلك تم ذلك بعد التحديث.) انعكست البيانات التي تم تعلمها على الفور، ويمكن اعتبار ذلك أول تخصيص للمساعد.
يمكن دعم كل ميزات المشروع هذه محليًا دون الحاجة إلى تكامل سحابي خارجي أو اتصال بالإنترنت.
query = protobuf . search_pb2 . SearchRequest (
dataset_id = dataset_id ,
query = get_image_embedding ( "./test_data/bad.png" ),
k = 1
)
results = search . Search ( query )
try :
for result in results :
print ( "Search result:" , result . id , result . metadata , result . score )
except grpc . RpcError as e :
print ( "Search failed:" , e )
query = protobuf . search_pb2 . SearchRequest (
dataset_id = dataset_id ,
query = get_image_embedding ( "./test_data/good.png" ),
k = 1
)
results = search . Search ( query )
try :
for result in results :
print ( "Search result:" , result . id , result . metadata , result . score )
except grpc . RpcError as e :
print ( "Search failed:" , e )