awesome llms fine tuning

素晴らしい LLM の微調整

GPT、BERT、RoBERTa などの大規模言語モデル (LLM) とその多数のバリアントを微調整するための厳選されたリソースのコレクションへようこそ。この人工知能の時代では、事前トレーニングされたモデルを特定のタスクやドメインに適応させる能力は、研究者、データ サイエンティスト、機械学習の実践者にとって不可欠なスキルとなっています。

大規模なデータセットでトレーニングされた大規模言語モデルは、広範な知識と言語のニュアンスをキャプチャします。ただし、特定のアプリケーションでその可能性を最大限に引き出すには、対象のデータセットで微調整することが最も重要です。このプロセスにより、モデルのパフォーマンスが向上するだけでなく、モデルが当面のタスクの特定のコンテキスト、用語、要件に確実に適合するようになります。

この素晴らしいリストには、微調整作業を支援するために、チュートリアル、論文、ツール、フレームワーク、ベスト プラクティスなどのさまざまなリソースが細心の注意を払ってまとめられています。あなたが専門知識の拡大を目指す熟練実務者であっても、LLM の世界に足を踏み入れたい初心者であっても、このリポジトリは、取り組みを効率化するための貴重な洞察とガイドラインを提供するように設計されています。

目次

• GitHub プロジェクト
• 記事とブログ
• オンラインコース
• 本
• 研究論文
• 動画
• ツールとソフトウェア
• カンファレンスとイベント
• スライドとプレゼンテーション
• ポッドキャスト

GitHub プロジェクト

• LlamaIndex ?: LLM アプリケーションのデータ フレームワーク。 (星数 23010)
• Petals ?: BitTorrent スタイルで LLM を自宅で実行します。オフロードよりも最大 10 倍高速な微調整と推論。 (星 7768 個)
• LLaMA-Factory: 使いやすい LLM 微調整フレームワーク (LLaMA-2、BLOOM、Falcon、Baichuan、Qwen、ChatGLM3)。 (星5532個)
• lit-gpt: nanoGPT に基づく最先端のオープンソース LLM のハッキング可能な実装。フラッシュ アテンション、4 ビットおよび 8 ビットの量子化、LoRA および LLaMA アダプターの微調整、事前トレーニングをサポートします。 Apache 2.0 ライセンス。 (星 3469 個)
• H2O LLM Studio: LLM を微調整するためのフレームワークとコード不要の GUI。ドキュメント: https://h2oai.github.io/h2o-llmstudio/ (星 2880 個)
• Phoenix: AI の可観測性と評価 - ノートブックで LLM、CV、NLP モデルを評価、トラブルシューティング、微調整します。 (星1596個)
• LLM アダプター: EMNLP 2023 論文のコード: 「LLM アダプター: 大規模な言語モデルのパラメーター効率の高い微調整のためのアダプター ファミリー」。 (星 769 個)
• Platypus: LoRA を使用して Platypus fam LLM を微調整するためのコード。 (星589個)
• xtuner: LLM (InternLM、Llama、Baichuan、QWen、ChatGLM2) を効率的に微調整するためのツールキット。 (星540個)
• DB-GPT-Hub: DB-GPT のモデル、データセット、微調整テクニックを含むリポジトリ。特に Text-to-SQL でのモデルのパフォーマンスを向上させることを目的としており、GPT-4 よりも高い実行 acc を達成しました。 13B LLM を使用した Spider eval はこのプロジェクトを使用しました。 (星422個)
• LLM-Finetuning-Hub : LLM の微調整および展開スクリプトと調査結果が含まれるリポジトリ。 416
• Finetune_LLMs : Casual LLM を微調整するためのリポジトリ。 391
• MFTCoder : コード LLM 用の高精度かつ効率的なマルチタスク微調整フレームワーク。 业内首个高精度、高効率、多任務、多モデルサポート、多训計算法、大モデルコード能力微调框架。 337
• llmware : エンタープライズ グレードの LLM ベースの開発フレームワーク、ツール、および微調整されたモデルを提供します。 289
• LLM-Kit : 最新の LLM 用の WebUI 統合プラットフォーム | 各ダイアルモデルのオールフローツール WebUI 統合サポート。 主流の大モデル API インターフェースとソースモデル。工具。 232
• h2o-wizardlm : LLM 微調整のためにドキュメントを Q:A ペアに変換するための WizardLM のオープンソース実装。 228
• hcgf : Humanable Chat 生成モデルの微調整 | LLM微调。 196
• llm_qlora : QLoRA を使用して LLM を微調整します。 136
• weawe-llm-human-preference-datasets : LLM 微調整、RLHF、および評価用の Human Preference データセットの厳選されたリスト。 124
• llm_finetuning : いくつかの量子化技術 (GTPQ、ビットサンドバイト) を使用した大規模言語モデル (LLM) の微調整と推論のための便利なラッパー。 114

記事とブログ

• ハグ顔で 2024 年に LLM を微調整する: TRL とフラッシュ アテンション ?: このブログ投稿では、コンシューマ サイズの GPU (24GB) でハグ顔 TRL とフラッシュ アテンションを使用して LLM (Llama 2 など) を微調整するための包括的なガイドを提供します。
• 初心者向け LLM 微調整完全ガイド : 新しいタスクに合わせて事前トレーニングされたモデルを微調整するプロセスを説明し、重要な概念をカバーし、具体的な例を提供する包括的なガイドです。
• 大規模言語モデル (LLM) の微調整 : このブログ投稿では、事前トレーニング済み LLM の微調整の概要を示し、重要な概念について説明し、Python コードを使用した実践的な例を示します。
• ドメイン エキスパート LLM の作成: 微調整のガイド : OpenAI の API を使用した微調整の概念を掘り下げた記事で、ヘンデルのオペラのプロットを理解するために大規模な言語モデルを微調整する例を紹介します。
• LLM 微調整の初心者ガイド ?: モデルの構成と微調整のための QLoRA などのツールの使用を含む、LLM の微調整プロセスを説明するガイド。
• ナレッジ グラフと LLM: 微調整 vs. Retrieval-Augmented Generation : このブログ投稿では、LLM の制限を調査し、ナレッジ グラフと組み合わせて LLM を微調整するための洞察を提供します。
• 個人データに基づいて LLM を微調整する: 「ロード オブ ザ リング」のストーリーテラーを作成する ✏️: 個人データに基づいて独自の LLM をトレーニングし、OpenAI の GPT-4 に依存せずに個人情報を制御する方法を説明する記事。
• H2O LLM Studio を使用して LLM モデルを微調整して Cypher ステートメントを生成する?: このブログ投稿では、H2O LLM Studio を使用して LLM モデルを微調整して Cypher ステートメントを生成し、ナレッジ グラフを使用してチャットボット アプリケーションを有効にする例を示します。
• Colab ノートブックで独自の Llama 2 モデルを微調整する : LLM 微調整の実践的な入門書で、Google Colab ノートブックに実装して独自の Llama 2 モデルを作成する方法を示します。
• LLM の微調整について考えていますか?始める前に 3 つの考慮事項があります : この記事では、PEFT や LoRA を超えて GPT を改善する方法や、リソースを賢く投資することの重要性など、LLM を微調整するときに考慮すべき 3 つのアイデアについて説明します。
• LLM と生成 AI の概要 : パート 3 - 指示付き LLM の微調整 : この記事では、人工知能アプリケーションにおける LLM の役割を調査し、LLM の微調整の概要を説明します。
• RAG vs Finetuning — LLM アプリケーションを強化するための最良のツールはどれですか - LLM アプリケーションを構築し、ユースケースに適した方法を選択する際に考慮すべき側面について説明したブログ投稿です。 ?‍
• LLM の微調整: RLHF と代替手段 (パート I) - RLHF の代替方法、特に Direct Preference Optimization (DPO) を紹介する記事。
• LLM をいつ微調整する必要があるか? - オープンソース LLM の微調整と、大規模な LLM クエリ用のクローズド API の使用との比較を調査します。 ?
• 大規模な言語モデルの微調整 - 大規模な言語モデルの微調整を検討し、それをゼロショット アプローチと少数ショット アプローチと比較します。
• プライベート GPT: エンタープライズ データの LLM の微調整 - 小規模な GPU で LLM を微調整できるトレーニング手法を調査します。
• Scikit-LLM を使用した Google PaLM 2 の微調整 - Scikit-LLM を使用して、Google の最も高度な LLM である Google PaLM 2 を微調整する方法を示します。 ?
• 大規模言語モデルの微調整についての詳細 - GPT-4 や BERT などの LLM の微調整に関する包括的なブログで、洞察、傾向、利点を提供します。
• 大規模言語モデルにおける事前トレーニング、微調整、およびコンテキスト内学習 - LLM における事前トレーニング、微調整、およびコンテキスト内学習の概念について説明します。
• オープンソースの微調整された大規模言語モデルのリスト - コンピューター上でローカルに実行できる、オープンソースの微調整された LLM の厳選されたリスト。 ?
• ドメイン固有のユースケース向けに LLM を微調整するための実践者ガイド - ドメイン固有のユースケース向けに LLM を微調整することに関する主要な学習と結論をカバーするガイド。
• AWS、GCP、または Azure 上の運用スタックを使用した Llama 3.1 の微調整 - MLOps のベスト プラクティス向けに設計された運用環境での Llama 3.1 (または Phi 3.5) の微調整に関するガイドとチュートリアル。 ?

オンラインコース

• 基礎の微調整: LLM の可能性を引き出す | Udemy: chatGPT スタイルのモデルを構築し、それを特定のユースケースに適応させるための初心者向けの実践的なコース。
• 大規模な言語モデルを使用した生成 AI | Coursera: LLM を使用した生成 AI の基礎と、LLM を実際のアプリケーションに導入する方法を学びます。無料で登録してください。
• 大規模な言語モデル: アプリケーションから本番環境まで | edX: 開発者、データ サイエンティスト、エンジニアが、一般的なフレームワークを使用して LLM 中心のアプリケーションを構築し、エンドツーエンドの運用準備を完了するための上級コース。
• 大規模な言語モデルの微調整 | Coursera ガイド付きプロジェクト: 重要な微調整の概念と大規模な言語モデルのトレーニングをカバーする短いガイド付きプロジェクト。
• OpenAI と ChatGPT API: 開発者向けのエキスパートによる微調整 | Udemy: プロンプトエンジニアリング、微調整、統合、ChatGPTモデルのデプロイなどのトピックを含む、会話型AIソリューションの作成におけるGPT-3のパワーを発見してください。
• 大規模言語モデルのプロフェッショナル認定資格 | edX: 最新のフレームワーク、技術、基礎モデルの背後にある理論を使用して、大規模言語モデル (LLM) ベースのアプリケーションを構築および実稼働化する方法を学びます。
• 微調整を超えて LLM のパフォーマンスを向上させる | Udemy: LLM モデルの微調整やパフォーマンス向上のためのテクニックの探索に興味のあるビジネスリーダーや開発者向けに設計されたコース。
• 大規模言語モデルの概要 | Coursera: Google Cloud が提供する入門レベルのマイクロラーニング コースで、大規模言語モデル (LLM) の基本とそのユースケースを説明します。無料で登録してください。
• シラバス | LLM101x | edX: データ埋め込み、ベクトル データベースを使用し、ドメイン固有のデータを使用して LLM を微調整して LLM パイプラインを強化する方法を学びます。
• パフォーマンス チューニング ディープ ラーニング モデル マスター クラス | Udemy: ディープラーニングモデルのチューニングに関するマスタークラスで、学習を加速しパフォーマンスを最適化するためのテクニックをカバーしています。
• 最高の大規模言語モデル (LLM) コースと認定資格: 一流の教育機関や業界リーダーから厳選されたこの LLM コースのセレクションは、LLM の微調整スキルを学習または向上させたいと考えている個人および企業チームに質の高いトレーニングを提供することを目的としています。
• 言語モデルのマスタリング: LLM の力を解き放つ: この包括的なコースでは、NLP の基本原則を掘り下げ、LLM が AI アプリケーションの状況をどのように再形成したかを探ります。高度な NLP と LLM に関する包括的なガイド。
• LLM マスタリー: トランスフォーマーと生成 AI の完全ガイド: このコースでは、AI の歴史の概要を説明し、3 つの主要な LLM モデル (BERT、GPT、および T5) の微調整について説明します。生成 AI、LLM、実稼働レベルのアプリケーションに興味がある人に適しています。
• ChatGPT、GPT4、LLM の背後にあるテクノロジーの探索: ChatGPT、GPT4、BERT などの大規模な言語モデルについて学ぶために必要な唯一のコースです。これらの LLM の背後にあるテクノロジーについて洞察を得ることができます。
• 大規模言語モデルの非技術的入門: 技術者以外の人向けの大規模言語モデルの概要。既存の課題を説明し、複雑な専門用語を使わずに簡単に説明します。
• 大規模な言語モデル: 基礎モデルを基礎から: BERT、GPT、T5 などの LLM の基礎モデルの詳細を掘り下げます。 LLM 機能を強化する最新の進歩について理解します。

本

• 大規模言語モデルを使用した生成 AI — Deeplearning.ai と AWS による新しいハンズオン コース
• 生成 AI に焦点を当て、報酬モデルと強化学習を使用して大規模言語モデル (LLM) を微調整する方法を教える実践的なコースです。
• データ選択から微調整まで: LLM モデル構築のテクニカル ガイド
• データの選択から微調整まで、LLM モデルの構築プロセスをカバーする技術ガイド。
• LLM Knowledge Cookbook: RAG から QLoRA、ファイン チューニング、そしてその間のすべてのレシピまで!
• Retrieve and Generate (RAG) や Query Language Representation (QLoRA) などのテクニックや微調整プロセスを含む、さまざまな LLM モデルを探求する包括的なクックブック。
• LLM を微調整するための原則
• LLM の微調整プロセスをわかりやすく説明し、コンテキスト内学習、古典的な微調整手法、パラメーター効率の良い微調整、ヒューマン フィードバックによる強化学習 (RLHF) などのさまざまな手法を探求する記事です。
• データ選択から微調整まで: LLM モデル構築のテクニカル ガイド
• 大規模言語モデル (LLM) の構築とトレーニングに関する洞察を提供する技術ガイド。
• 実践的な大規模言語モデル
• 大規模な言語モデルに焦点を当て、深層学習による言語 AI システムの進歩をカバーする本。
• Amazon SageMaker JumpStart でのテキスト生成用に Llama 2 を微調整する
• Amazon SageMaker JumpStart を使用して Llama 2 モデルを微調整し、最適化されたダイアログ生成を行う方法を学びます。
• AWS Trainium を使用した高速かつコスト効率の高い LLaMA 2 微調整
• AWS Trainium を使用して LLaMA 2 モデルの高速かつコスト効率の高い微調整を実現する方法を説明するブログ投稿。
• Fine-tuning - Advanced Deep Learning with Python [書籍] : Python による高度なディープラーニングにおける事前トレーニング タスクに続く微調整タスクについて説明する本。
• LLM Knowledge Cookbook: From、RAG、to QLoRA、to Fine ... : さまざまなタスクに大規模言語モデル (LLM) を使用するための包括的なガイドで、基本から高度な微調整テクニックまですべてをカバーしています。
• 大規模言語モデルのクイック スタート ガイド: 戦略とベスト ... : BERT、T5、ChatGPT などの大規模言語モデル (LLM) の戦略とベスト プラクティスに焦点を当てたガイドで、さまざまな NLP タスクにおける前例のないパフォーマンスを紹介します。
• 4. 高度な GPT-4 および ChatGPT テクニック - アプリの開発 ... : プロンプト エンジニアリング、ゼロショット学習、少数ショット学習、タスク固有の詳細な学習など、GPT-4 および ChatGPT の高度なテクニックを詳しく説明する章。チューニング。
• 大規模言語モデルとは何ですか? - LLM AI の説明 - AWS : 大規模言語モデル (LLM) の説明。モデルのパフォーマンスを向上させるための少数ショット学習と微調整の概念について説明します。

研究論文

• LLM-Adapters: パラメーター効率の高い微調整のためのアダプター ファミリ ?: この文書では、さまざまなタスクのパラメーター効率の高い微調整 (PEFT) のために、さまざまなアダプターを LLM に統合する使いやすいフレームワークである LLM-Adapters について説明します。
• 特殊化を抑えた 2 段階の LLM 微調整 ?: 2 段階の微調整フレームワークである ProMoT は、MOdel Tuning によるプロンプト チューニングを通じて LLM のフォーマットの特殊化の問題に対処し、一般的なコンテキスト内学習のパフォーマンスを向上させます。
• オントロジー推論による大規模エンタープライズ言語モデルの微調整?: この論文では、大規模言語モデル (LLM) とエンタープライズ ナレッジ グラフ (EKG) を組み合わせて、LLM のドメイン固有の微調整を実現する神経記号アーキテクチャを提案します。
• QLoRA: 量子化 LLM の効率的な微調整 ?: QLoRA は、タスクのパフォーマンスを維持しながらメモリ使用量を削減する効率的な微調整アプローチであり、量子化された事前トレーニング済み言語モデルに関する洞察を提供します。
• リソースが限られた大規模言語モデルのフル パラメーター微調整 ?: この作業では、低メモリ最適化手法である LOMO が導入され、限られた GPU リソースで大規模な LLM のフル パラメーター微調整が可能になります。
• LoRA: 大規模言語モデルの低ランク適応 ?: LoRA は、トレーニング可能なランク分解行列を各層に注入することで、大規模な事前トレーニング済みモデルを特定のタスクに適応させ、モデルの品質を維持しながらトレーニング可能なパラメーターの数を減らす方法論を提案しています。
• ニュース概要生成のための進化的微調整による LLM の強化?: この文書では、遺伝的アルゴリズムと強力な自然言語理解機能を組み込んだ、LLM を使用したニュース概要生成の新しいパラダイムを紹介します。
• 言語は相互にどのような影響を及ぼしますか? LLM 微調整中の言語間データ共有の研究?: この研究では、多言語大規模言語モデル (MLLM) の微調整中の言語間データ共有を調査し、モデルのパフォーマンスに対するさまざまな言語の影響を分析します。
• Just Forward Passes による言語モデルの微調整 ?: メモリ効率の高い 0 次オプティマイザである MeZO を使用すると、メモリ要件を大幅に削減しながら、大規模な言語モデルの微調整が可能になります。
• Learning to Reasoning over Scene Graphs: A Case Study of Finetuning LLM ?: この研究では、ロボット タスク計画における GPT-2 LLM の適用可能性を調査し、長期的なタスク計画シナリオで LLM を使用する可能性を示します。
• 大規模言語モデルのプライベートな微調整: このペーパーでは、大規模言語モデル (LLM) の微調整にプライバシー保証を追加する差分プライバシーの適用について検討します。
• DISC-LawLLM: インテリジェントな法的システムのための微調整された大規模言語モデル: この文書では、法的推論機能を備えた微調整された LLM を利用して幅広い法律サービスを提供するインテリジェントな法的システムである DISC-LawLLM について説明します。
• 特定のシナリオ向けの LLaMa のマルチタスク命令チューニング: A: この論文では、基礎的な LLM である LLaMa を特定のライティング タスクで微調整する効果を調査し、ライティング能力の大幅な向上を示しています。
• 人間のフィードバックによる指示に従うように言語モデルをトレーニングする: この論文では、人間のフィードバックを使用して言語モデルを微調整することで、言語モデルをユーザーの意図に合わせて調整し、人間の評価において大規模なモデルよりも優先されるモデルを生成する方法を提案します。
• 大規模な言語モデルは自己改善可能: この論文は、LLM が自己生成ソリューションを使用して微調整することで推論能力を自己改善し、グラウンド トゥルース ラベルなしで最先端のパフォーマンスを達成できることを示しています。
• 医療アプリケーション向けの大規模言語モデルの採用: この文書では、医療アプリケーションにおける微調整された LLM の可能性を強調し、診断精度を向上させ、臨床上の意思決定をサポートします。
• 命令の微調整された言語モデルのスケーリング: この論文では、LLM での命令の微調整について調査し、パフォーマンスの大幅な向上と目に見えないタスクの一般化を実証しています。
• 数十億規模の言語モデルのフェデレーテッド微調整: この研究では、モバイル デバイス上で大規模な LLM を微調整する効率を高め、メモリと時間の効率を向上させるように設計されたフェデレーテッド ラーニング プロトコルである FwdLLM を導入します。
• 大規模言語モデルの包括的な概要: この文書では、大規模言語モデルの開発と応用、およびその転移学習機能の概要を説明します。
• 人間間の合意を見つけるための言語モデルの微調整: この論文では、多様な意見を持つ人々のグループの承認を最大化するコンセンサス ステートメントを生成するための大規模な LLM の微調整について検討しています。

動画

• Andrej Karpathy による大規模言語モデルの紹介: これは、大規模言語モデルについての 1 時間の入門書です。それらが何であるか、どこに向かっているのか、現在のオペレーティング システムとの比較と類似点、そしてこの新しいコンピューティング パラダイムのセキュリティ関連の課題のいくつかについて説明します。
• 独自のデータセットで Llama 2 を微調整する |あなたの ... に合わせて LLM をトレーニングする: カスタム データセットで Llama 2 モデルを微調整する方法を学びます。
• シングル GPU での QLoRA を使用した LLM の微調整: ... で Falcon-7b をトレーニング: このビデオでは、QLoRA を使用した Falcon 7b LLM の微調整プロセスを示します。
• PEFT を使用した LLM の微調整 |大規模言語の概要 ...: 必要なリソースが少ない手法である PEFT を使用して LLM を微調整する方法を学びます。
• LLAMA-2 オープンソース LLM: カスタム微調整を簡単に...: カスタム データセットで LLama 2 LLM モデルを微調整する方法に関するステップバイステップ ガイド。
• 新しいコース: 大規模言語モデルの微調整 - YouTube: このビデオでは、モデルの選択、データの準備、トレーニング、評価をカバーする LLM の微調整に関するコースを紹介します。
• Q: LLM を微調整するための命令データセットを作成する方法 ...: このチュートリアルでは、初心者が LLM の微調整について、いつ、どのように、なぜ行うのかを学びます。
• LLM モジュール 4: LLM の微調整と評価 | 4.13.1 ノートブック ...: LLM の微調整と評価に関するノートブックのデモ。
• Google LLM の微調整/適応/カスタマイズ - はじめに ...: ステップバイステップのガイドに従って、Google の PaLM 2 大規模言語モデルの微調整を開始します。
• LLM の事前トレーニング、微調整、コンテキスト内学習 (GPT-x ...): GPT-x などの LLM の事前トレーニング、微調整、およびコンテキスト内学習を説明する究極のガイド。
• PDF で LLM を微調整する方法 - Langchain チュートリアル - YouTube: Langchain と PDF ライブラリを使用して PDF ドキュメントを処理するために OpenAI の GPT LLM を微調整する方法を学びます。
• EasyTune ウォークスルー - YouTube - Falcon-7b を使用した単一 GPU 上の QLoRA による LLM の微調整のウォークスルー。
• トレーニングとファインでの ChatGPT レッスンの可能性を解き放つ... - 学生は、シンボルを使用して LLM の指示の微調整とコンテキスト内学習を示します。
• AI ニュース: コードなしで LLM を作成! - YouTube - Maya Akim が、知っておくべき LLM 微調整ユースケースのトップ 5 について説明します。
• 知っておくべき上位 5 つの LLM 微調整ユース ケース - YouTube - 上位 5 つの LLM 微調整ユース ケースを取り上げた詳細なビデオと、さらに詳しく調べるための追加リンク。
• Clip2 LLM emory - YouTube - 独自のデータセットで Llama 2 を微調整し、特定のユースケースに合わせて LLM をトレーニングする方法を学びます。
• ローカル マシン上で LLAMA-v2 を微調整する最も簡単な方法です。 - YouTube - カスタム データセットに合わせてローカル マシン上で LLAMA-v2 を微調整する最も簡単、シンプル、最速の方法を説明するステップバイステップのビデオ ガイド。
• LLM のトレーニングと微調整: 概要 - YouTube - 重要な概念や NeurIPS LLM 効率チャレンジを含む、LLM のトレーニングと微調整の概要。
• Fine-tuning LLMs with PEFT and LoRA - YouTube - LoRA の微調整とアップロードの基本を含む、PEFT を使用してデコーダー スタイルの GPT モデルを微調整する方法を説明する包括的なビデオ。
• RLHF および LLM 微調整のためのデータセットの構築とキュレーション ... - Argilla のスポンサーのもと、RLHF (ヒューマン フィードバックからの強化学習) および LLM (大規模言語モデル) 微調整のためのデータセットの構築とキュレーションについて学びます。
• Fine Tuning LLM (OpenAI GPT) with Custom Data in Python - YouTube - カスタム データセットを使用して LLM (OpenAI GPT) を微調整し、Q&A、概要、その他の ChatGPT のような機能を提供することで LLM (OpenAI GPT) を拡張する方法を学びます。

ツールとソフトウェア

• LLaMA の効率的なチューニング : 使いやすい LLM 微調整フレームワーク (LLaMA-2、BLOOM、Falcon)。
• H2O LLM Studio : LLM を微調整するためのフレームワークとコード不要の GUI。
• PEFT : 事前トレーニングされた言語モデルを下流のアプリケーションに効率的に適応させるためのパラメーター効率的微調整 (PEFT) 手法。
• ChatGPT のようなモデル : 高速な ChatGPT のようなモデルをデバイス上でローカルに実行します。
• Petals: BLOOM-176B のような大規模な言語モデルを共同で実行し、モデルの一部をロードして他のモデルとチームを組んで推論や微調整を行うことができます。 ?
• NVIDIA NeMo: 最先端の会話型 AI モデルを構築するためのツールキットで、Linux 向けに特別に設計されています。
• H2O LLM Studio: Windows 上で大規模な言語モデルを微調整するためのフレームワークおよびノー​​コード GUI ツール。 ⁉️
• Ludwig AI: カスタム LLM およびその他のディープ ニューラル ネットワークを構築するためのローコード フレームワーク。宣言型 YAML 構成ファイルを使用して、最先端の LLM を簡単にトレーニングできます。 ?
• bert4torch: トランスフォーマーのエレガントな PyTorch 実装。推論と微調整のために、さまざまなオープンソースの大規模モデルの重みをロードします。
• Alpaca.cpp: 高速な ChatGPT のようなモデルをデバイス上でローカルに実行します。 LLaMA 基礎モデルとスタンフォード アルパカのオープン レプリカを組み合わせたもので、指示に従って微調整できます。 ?
• プロンプトfoo: LLM 出力を評価および比較し、回帰を捕捉し、自動評価と代表的なユーザー入力を使用してプロンプトを改善します。

カンファレンスとイベント

• ML/AI カンバセーション: ニューロシンボリック AI - LLM の代替案 - このミートアップでは、LLM の微調整に関するエクスペリエンスについて話し合い、代替案としてのニューロシンボリック AI について検討します。
• AI Dev Day - シアトル、2023 年 10 月 30 日、月曜日、午後 5 時 - ベクトル類似性検索を使用した効果的な LLM 可観測性と微調整の機会に関する技術講演。
• DeepLearning.AI イベント - LLM 幻覚の軽減、PyTorch 2.0 と ChatGPT による LLM の微調整、AI 教育プログラムなどの一連のイベント。
• AI Dev Day - ニューヨーク、2023 年 10 月 26 日木曜日、午後 5 時 30 分 - GenAI アプリケーションのベスト プラクティスと、リアルタイムのパーソナライズされた通知のための LLM の使用について技術者が講演します。
• LLM と AI エージェントのチャット - Gen AI を使用して AI システムとエージェントを構築する - LLM、AI エージェント、およびチェーン データに焦点を当てたイベントで、イベント チャットを通じて交流する機会があります。
• NYC AI/LLM/ChatGPT 開発者グループ - AI、LLM、ChatGPT、NLP、ML、データなどに興味のある開発者向けの定期的な技術講演/ワークショップ。
• エンタープライズ データのための LLM の活用、2023 年 11 月 14 日火曜日、午後 2 時 - 迅速なエンジニアリングや取得など、非公開データ アプリケーション向けに調整された重要な LLM 戦略について詳しく説明します。
• Bellevue 応用機械学習ミートアップ - 応用機械学習テクニックとデータ サイエンティストと ML 実践者のスキル向上に焦点を当てたミートアップです。
• AI とプロンプト エンジニアリング ミートアップ、ドミニカ州ミュンヘン、オクトーバー 5 日。 2023 年 18:15 - LLM を微調整するための H2O LLM Studio を導入し、さまざまな背景を持つ AI 愛好家を集めます。
• Seattle AI/ML/Data Developers Group - LLM エージェントの評価と実践を通じた AI/ML/データの学習についての技術講演。
• データ サイエンス道場 - DC | Meetup: これは、データ サイエンスの教育、学習、知識と理解を共有することに関心のあるビジネス プロフェッショナル向けの DC ベースのミートアップ グループです。
• AE ドバイでデータ サイエンスのイベントやグループを探す: AE ドバイでデータ サイエンスのイベントやグループを見つけて、興味を共有する人々とつながりましょう。
• AI ミートアップ (対面): 生成 AI と LLM - ハロウィーン エディション: この AI ミートアップに参加して、オープンソース ツールやベスト プラクティスを含む、生成 AI と大規模言語モデル (LLM) に関する技術的なトークを楽しみましょう。
• ChatGPT Unleashed: NLP のライブ デモとベスト プラクティス: このオンライン イベントでは、大規模言語モデルの微調整ハックを検討し、ChatGPT と LLM の実践的なアプリケーションを紹介します。
• インディアナ州プネーでデータ サイエンスのイベントとグループを探す: インディアナ州プネーのデータ サイエンスに関連するオンラインまたは対面のイベントやグループを探します。
• DC AI/ML/データ開発者グループ | Meetup: このグループは、DC 地域の AI 愛好家を集めて、AI、機械学習、深層学習、データ サイエンスなどの AI テクノロジーを学習および実践することを目的としています。
• ボストン AI/LLM/ChatGPT 開発者グループ | Meetup: ボストンのこのグループに参加して、LLM、ChatGPT、機械学習、深層学習、データ サイエンスなどの AI テクノロジーを学び、実践しましょう。
• パリNLP |ミートアップ: このミートアップは、さまざまな分野での自然言語処理 (NLP) の応用に焦点を当てており、従来と最新の NLP アプローチの両方の技術、研究、応用について話し合います。
• SF AI/LLM/ChatGPT 開発者グループ | Meetup: サンフランシスコ/ベイエリアの AI 愛好家とつながり、LLM、ChatGPT、NLP、機械学習、ディープ ラーニング、データ サイエンスなどの AI テクノロジーを学び、実践します。
• AI ミートアップ (対面): GenAI と健康のための LLM: 医療における LLM の応用に関するこの技術講演に参加し、健康関連タスクに LLM を使用することで迅速に成功する方法について学びましょう。

スライドとプレゼンテーション

• 大規模な LM の微調整: GPT、BERT、RoBERTa などの大規模な言語モデルを微調整するプロセスについて説明するプレゼンテーション。
• LLaMa 2.pptx: Meta AI によって開発された強力な大規模言語モデルの後継である LLaMa 2 を紹介するスライド。
• LLM.pdf: BERT から GPT-3 まで、NLP におけるトランスフォーマーの役割を探るプレゼンテーション。
• 大規模言語モデルのブートキャンプ: スクラッチからのトレーニングや微調整など、大規模言語モデルのさまざまな側面をカバーするブートキャンプ スライド。
• CNN による LHC の説明: CNN と画像モデルの微調整を使用して LHC (大型ハドロン衝突型加速器) を説明するスライド。
• 10 行のコードで大規模な言語モデルを使用する: わずか 10 行のコードで大規模な言語モデルを使用する方法を示すプレゼンテーション。
• LLaMA-Adapter: ゼロ初期化アテンションによる言語モデルの効率的な微調整.pdf: ゼロ初期化アテンションで言語モデルを微調整するための効率的な手法である LLaMA-Adapter について説明するスライド。
• LLM の紹介: 基本モデルやプロンプト補完ペアによる微調整など、大規模な言語モデルの概要を提供するプレゼンテーション。
• LLM Fine-Tuning (東大松尾研LLM講座 Day5資料) - スピーカーデッキ: 特に東大松尾研サマースクール2023のための大規模言語モデルの微調整に関する講義に使用されたスライド。
• ChatGPT でジョブとビジネスを自動化する #3: ChatGPT の基礎と、ジョブの自動化とビジネス タスクのためのそのアプリケーションについて説明するプレゼンテーション。
• Unlocking the Power of Generative AI An Executive's Guide.pdf - 大規模言語モデル (LLM) を組織のニーズに合わせて微調整するプロセスを説明するガイド。
• Hugging Face NLP モデルを微調整して展開する | PPT - Hugging Face NLP を使用して LLM モデルを構築および展開する方法についての洞察を提供するプレゼンテーション。
• 大規模言語モデル時代のHuman-in-the-Loop機械学習 - Speaker Deck - 多様な好みを持つ人間の間で合意を見つけるために言語モデルを微調整するプロセスについて説明するスライドデッキ。
• AI と ML シリーズ - 生成 AI と LLM の概要 | PPT - 特定のアプリケーションでの使用法を含め、Generative AI と LLM を紹介するプレゼンテーション。
• 検索拡張生成の実践: スケーラブルな GenAI ... - 生成 AI のユースケース、大規模言語モデルの制限、検索拡張生成 (RAG) と微調整技術の使用について説明するプレゼンテーション。
• LLM プレゼンテーション最終回 | PPT - LLM に関連した 2013 年児童家族庁法と最善の利益の原則を取り上げたプレゼンテーション。
• LLM Paradigm Adaptations in Recommender Systems.pdf - LLM ベースのレコメンダー システムにおける微調整プロセスと目標適応を説明する PDF。
• Transformer モデルを使用した会話型 AI | PPT - 会話型 AI アプリケーションにおける Transformer モデルの使用を強調したプレゼンテーション。
• ラマインデックス | PPT - LLM の台頭と LLM を利用したアプリケーションの構築に関するプレゼンテーション。
• LLaMA-Adapter: ゼロ初期化アテンションによる言語モデルの効率的な微調整.pdf - LLaMA を使用したゼロ初期化アテンションによる言語モデルの効率的な微調整について説明した PDF。

ポッドキャスト

• 実用的な AI: 機械学習、データ サイエンス - 人工知能を実用的で生産性が高く、誰もが利用できるようにします。 AI、機械学習、ディープラーニング、ニューラル ネットワークなどについて活発なディスカッションを行います。初心者と経験豊富な実践者の両方にとって、アクセス可能な洞察と現実世界のシナリオ。
• 段階的な反対意見: 機械学習、AI、ディープ ラーニングの探求 - 舞台裏に潜入し、現実世界のシナリオでディープ ラーニングをどのように実装しているか業界リーダーから学びましょう。機械学習業界に関する洞察を得て、最新のトレンドで最新情報を入手してください。
• Weaviate Podcast- Weaviate PodcastシリーズにConnor Shortenに参加して、AI関連のトピックに関する専門家とのインタビューや議論を紹介します。
• 潜在スペース：AIエンジニアポッドキャスト - コードゲン、エージェント、コンピュータービジョン、データサイエンス、AI UXなどのすべてのソフトウェア3.0-コード生成、コンピュータービジョン、データサイエンス、最新の進歩などのトピックをカバーするAIエンジニアリングの世界に飛び込みますai uxで。
• 監視されていない学習 - 急速に発展しているAI景観と、ビジネスと世界への影響に関する洞察を得る。 LLMアプリケーション、トレンド、および破壊的なテクノロジーに関するディスカッションを調べてください。
• TWIML AIポッドキャスト（以前は今週の機械学習） - AI、LLM機能、制限で使用される微調整アプローチに深く掘り下げ、この分野の専門家から学びます。
• AIとApple Podcastsの作業の未来：SC Moattiが主催するポッドキャストは、仕事の将来に対するAIの影響について議論しています。
• 実用的なAI：機械学習、データサイエンス：微調整vsラグ：このエピソードでは、機械学習とデータサイエンスにおける微調整と検索の増強生成の比較を探ります。
• Appleポッドキャストに関する監視されていない学習：エピソード20は、AGIとAIの将来に関する人類のCEOであるDario Amodeiとのインタビューを取り上げています。
• ai |について読みますSpotifyのポッドキャスト：このポッドキャストでは、コンピューターサイエンスの分野で最新のトレンドと最高のパフォーマンスのアーキテクチャを最新の状態に保ちます。
• この日はApple PodcastsのAIポッドキャストで：さまざまなAI関連のトピックをカバーするこのポッドキャストは、AIの世界に関するエキサイティングな洞察を提供します。
• LLMアプリケーションの評価に関するすべて// Shahul ES //＃179 MLOPS：このエピソードでは、Shahul ESは、デバッグ、トラブルシューティング、ベンチマークに関する洞察など、オープンソースモデルの評価に関する専門知識を共有しています。
• AI Daily on Apple Podcasts：Conner、Ethan、およびFarbが主催するこのポッドキャストは、魅力的なAI関連の物語を探ります。
• Yannic Kilcherビデオ（オーディオのみ）| Spotifyのポッドキャスト：Yannic Kilcherは、機械学習の研究論文、プログラミング、および社会におけるAIのより広範な影響について説明します。
• LessWrongキュレーションポッドキャスト| Spotifyのポッドキャスト：LessWrongキュレーションされたニュースレターで共有された投稿のオーディオバージョン。
• SAI：Apple PodcastsのセキュリティとAIポッドキャスト：Openaiのサイバーセキュリティ助成プログラムに焦点を当てたエピソード。

---

Awesomeリストのこの初期バージョンは、Awesome List Generatorの助けを借りて生成されました。これは、GPTモデルのパワーを使用して、特定のトピックに関連するリソースリストの出発点を自動的にキュレートおよび生成するオープンソースPythonパッケージです。