mind x
1.0.0
该项目展示了个性化法学硕士(或 LMM)作为个人助理的可行性,与这些模式的快速发展保持同步。
我们引入了检索增强生成(RAG)方法来克服传统 Prompt-Tuning(具有上下文边界)和 Fine-Tuning(存在实时数据更新和幻觉问题)的局限性。
传统上,RAG 被用来通过 LangChain 作为存储来搜索像 Chroma 这样的数据库,但这种方法在固定的上下文中运行,这是有限制的。
因此,我们计划建立自己的RAG系统。这个过程可能涉及解决LangChain可能提供的推理和回归问题。
我们致力于快速开发,并将很快实现多语言兼容性。目前,该系统全面支持英语,计划近期支持韩语、日语等其他语言。此外,回归和推理系统也将很快被纳入。
要运行测试,请运行以下命令
# start embeddings server
cd embd & pip install -r requirements.txt
python app.py
# start mindx-v server (vector-database)
# not using cgo, only assembly
cd mindx-v & go run cmd/mxvd/main.go
# start processor server
cd processor & go run cmd/main.go
# start demo client
cd sample_client & npm start
最初,助手对用户一无所知。然而,用户可以实时向助手介绍自己。 (由于LLM的特点,可能会被误认为是作为对话链而不是学习来记忆的,所以是刷新后完成的。)学到的数据立即得到体现,这可以看作是助理的第一次个性化。
该项目的所有这些功能都可以在本地得到支持,无需外部云集成或互联网连接。
query = protobuf . search_pb2 . SearchRequest (
dataset_id = dataset_id ,
query = get_image_embedding ( "./test_data/bad.png" ),
k = 1
)
results = search . Search ( query )
try :
for result in results :
print ( "Search result:" , result . id , result . metadata , result . score )
except grpc . RpcError as e :
print ( "Search failed:" , e )
query = protobuf . search_pb2 . SearchRequest (
dataset_id = dataset_id ,
query = get_image_embedding ( "./test_data/good.png" ),
k = 1
)
results = search . Search ( query )
try :
for result in results :
print ( "Search result:" , result . id , result . metadata , result . score )
except grpc . RpcError as e :
print ( "Search failed:" , e )