Indian LawyerGPT

インド法 AI: Falcon-7B および LLAMA 2 言語モデルの微調整

私たちのエキサイティングなプロジェクトへようこそ。このプロジェクトでは、インドの法律に習熟するために、Falcon-7B と LLAMA 2 という 2 つの最先端の言語モデルを適応させています。

概要

私たちの冒険は、インドの法律に関する 150 のささやかな Q&A から始まりました。現在、3,300 個の命令からなる印象的なデータセットを準備中です。この AI 法的プロジェクトは以下を組み合わせたものです。

• Falcon-7B および LLAMA 2 : 法的トレーニングに備えて準備された最先端の言語モデル。
• PEFT と QLoRA : メモリ効率が高く、パフォーマンスの高いモデルを微調整するための夢の組み合わせ。
• 私たちのデータセット: 憲法、公民権などに及ぶ包括的なインド法の知識。

研究論文

データセットの作成

データセットを詳しく見る

私たちのデータセットは、 instruction 、 input 、 output 、 prompt 4 つの主要な機能を備えて設計されています。私たちのモデルを AI 法の専門家に形作るために作られています。抱き合う顔のデータセット : https://huggingface.co/datasets/nisaar/Constitution_Of_India_struction_Set https://huggingface.co/datasets/nisaar/Articles_Constitution_3300_struction_Set https://huggingface.co/datasets/nisaar/LLAMA2_Legal_Dataset_4.4k_structs

微調整プロセス

進捗状況を追跡する

TensorBoard を使用してトレーニングの進行状況を最前列で確認しましょう。それをキックスタートし、提供された localhost リンクに移動し、モデルが学習するのを観察します。