ainovelprompter下載ainovelprompter源代碼下載

ainovelprompter

Ai源碼

1.0.0

下載

人工智能小說提示者

AI新穎的提示者可以根據用戶指定特徵為小說生成寫作提示。

基於wails的工具

AI Novel Novel Propter是一個桌面應用程序，旨在幫助作家為Chatgpt和Claude等人工智能寫作助理創建一致且結構良好的提示。該工具有助於管理故事元素，角色細節，並生成正確格式的提示，以繼續您的小說。

可執行文件在構建/bin上可執行

特徵

1。任務和章節管理

任務類型選擇：定義和自定義不同類型的寫作任務
樣本章節管理：存儲和參考樣本章節的樣式一致性
章節內容選項卡：
- 故事節拍：計劃下一章的要點
- 上一章：參考最後一章
- 未來筆記：跟踪計劃的未來發展

AI小說1

2。故事元素管理

每個類別都可以在不同的提示中進行編輯，保存和重複使用：

規則：定義寫作規則和样式準則
字符：管理角色配置文件和細節
位置：跟踪故事位置及其描述
法典：存儲世界建設元素和知識

3。及時生成

雙AI支持：
- chatgpt優化格式
- 克勞德優化的XML格式
實時預覽：在構建時，請參閱格式的提示
令牌計數：AI模型限制的跟踪令牌用法
自定義說明：添加具體要求或指南

4。數據持久性

所有數據均自動保存本地
類別包括：
- 任務類型
- 樣本章節
- 規則
- 人物
- 位置
- 法典條目

5。用戶界面

乾淨，現代設計：使用ShadCN/UI組件構建
響應式佈局：適應不同的窗口尺寸
標籤接口：有組織的內容訪問
模態編輯器：故事元素的簡單編輯

技術堆棧

前端：
- 反應
- 打字稿
- 尾風CSS
- ShadCN/UI組件
後端：
- 去
- wails框架

文件管理

將數據保存在用戶的主目錄中.ai-novel-prompter
支持最多500kb的文件
包括文件和文件夾選擇功能

安裝

 # Clone the repository
git clone [repository-url]

# Install frontend dependencies
cd frontend
npm install

# Build and run the application
cd ..
wails dev

建造生產

要構建可重新分配的生產模式包，請使用wails build 。

wails build

可執行文件在構建/bin上可執行

或以：

 wails build -nsis

可以為Mac完成此指南的最新部分

構建應用程序將在build目錄中可用。

用法指南

初始設置：
- 定義您的任務類型（例如，“寫下一章”，“修訂章”）
- 添加樣品章節以供樣式參考
- 制定您的規則和準則
創建一個提示：
- 選擇您的任務類型
- 參考或添加您的上一章
- 寫你的故事節拍
- 選擇相關規則，角色和位置
- 添加任何自定義說明
生成輸出：
- 在Chatgpt或Claude格式之間進行選擇
- 查看生成的提示
- 複製到剪貼板
- 粘貼到您首選的AI助手

發展

添加新功能

該代碼庫可輕鬆添加新的選擇器和選項
模態組件遵循一致的模式
數據持久性自動處理

定制

所有組件都使用Tailwind CSS進行樣式
可以通過ShadCN/UI自定義UI組件
及時格式可以在提示器實用程序中修改

基於Web的工具

特徵

用戶註冊和身份驗證
文字創建和管理
章創建和管理
反饋提交和管理
基於特徵的迅速產生
與當地的Ollama服務集成
基於漿果模板（https://codedthemes.gitbook.io/berry）
受到Jason Hamilton YouTube的啟發（https://www.youtube.com/@thenerdynovelist）

使用的技術

前端：
- 反應
- 打字稿
- 軸
- 反應路由器
- 反應烤
後端：
- 去
- 杜松子酒框架
- GORM（GO ORM）
- Postgresql

先決條件

在運行應用程序之前，請確保已安裝以下內容：

node.js（v18或更高）
去（v1.18或更高）
Postgresql
Docker
Docker組成

入門

克隆存儲庫：

 git clone https://github.com/danielsobrado/ainovelprompter.git

導航到項目目錄：
```
 cd ainovelprompter
```
設置後端：

導航到server目錄：
```
 cd server
```
安裝GO依賴性：
```
 go mod download
```
使用您的數據庫配置更新config.yaml文件。
運行數據庫遷移：
```
 go run cmd/main.go migrate
```
啟動後端服務器：
```
 go run cmd/main.go
```

設置前端：

導航到client端目錄：
```
 cd ../client
```
安裝前端依賴性：
```
 npm install
```
啟動前端開發服務器：
```
 npm start
```

打開您的Web瀏覽器並訪問http://localhost:3000訪問應用程序。

入門（Docker）

克隆存儲庫：

 git clone https://github.com/danielsobrado/ainovelprompter.git

 cd ainovelprompter

使用您的數據庫配置更新docker-compose.yml文件。
使用Docker組成啟動應用程序：

 docker-compose up -d

打開您的Web瀏覽器並訪問http://localhost:3000訪問應用程序。

配置

可以在server/config.yaml文件中修改後端配置。
可以在client/src/config.ts文件中修改前端配置。

建造

要構建生產前端，請在client目錄中運行以下命令：

 npm run build

可以在client/build目錄中生成生產的文件。

WSL上的PostgreSQL的安裝和管理指南

該小指南提供了有關如何在Linux（WSL）的Windows子系統上安裝PostgreSQL的說明，以及管理用戶權限並解決常見問題的步驟。

先決條件

Windows 10或更高版本啟用了WSL。（或只是Ubuntu）
對Linux命令行和SQL的基本熟悉。

安裝

打開WSL終端：啟動您的WSL發行版（建議使用Ubuntu）。
更新軟件包：
```
sudo apt update
```

安裝PostgreSQL ：

sudo apt install postgresql postgresql-contrib

檢查安裝：
```
psql --version
```
設置PostgreSQL用戶密碼：
```
sudo passwd postgres
```

數據庫操作

創建數據庫：
```
createdb mydb
```
訪問數據庫：
```
psql mydb
```

來自SQL文件的導入表：

psql -U postgres -q mydb < /path/to/file.sql

列出數據庫和表：

l  # List databases
dt # List tables in the current database

開關數據庫：
```
c dbname
```

用戶管理

創建新用戶：

 CREATE USER your_db_user WITH PASSWORD ' your_db_password ' ;

授予特權：
```
 ALTER USER your_db_user CREATEDB;
```

故障排除

角色不存在錯誤：切換到“ Postgres”用戶：
```
sudo -i -u postgres
createdb your_db_name
```
拒絕創建擴展名的權限：登錄為'Postgres'並執行：
```
CREATE EXTENSION IF NOT EXISTS pg_trgm;
```
未知用戶錯誤：確保您使用已識別的系統用戶或正確地涉及SQL環境中的PostgreSQL用戶，而不是通過sudo 。

生成自定義培訓數據以微調語言模型（手動步驟）

為了生成自定義培訓數據，以微調語言模型來模仿喬治·麥克唐納（George MacDonald）的寫作風格，該過程始於Gutenberg Project Gutenberg的一部小說“公主和哥布林”的全文。然後，使用提示提示將文本分解為單個故事節奏或關鍵時刻，該提示指示AI為每個節拍生成一個JSON對象，捕獲作者，情感語氣，寫作類型和實際文本摘錄。

接下來，GPT-4用於用自己的文字重寫每個故事節拍，從而生成一組帶有唯一標識符的JSON數據，將每個重寫的節拍鏈接到其原始對應物。為了簡化數據並使其對訓練更有用，使用Python功能將各種情感色調映射到較小的核心音調。然後使用兩個JSON文件（原始和重寫的節拍）來生成訓練提示，在此要求該模型以原始作者的樣式重新繪製GPT-4生成的文本。最後，將這些提示及其目標輸出格式化為JSONL和JSON文件，準備用於微調語言模型以捕獲MacDonald的獨特寫作樣式。

生成自定義培訓數據以微調語言模型（自動化）

在上一個示例中，使用語言模型生成解釋文本的過程涉及一些手動任務。用戶必須手動提供輸入文本，運行腳本，然後查看生成的輸出以確保其質量。如果輸出不符合所需的標準，則用戶將需要手動用不同的參數重試生成過程或對輸入文本進行調整。

但是，隨著process_text_file函數的更新版本，整個過程已完全自動化。該函數需要讀取輸入文本文件，將其分成段落，並自動將每個段落髮送到語言模型以進行釋義。它結合了各種檢查和重試機制，以處理生成的輸出不符合指定標準的情況，例如包含不必要的短語，太短或太長或由多個段落組成。

自動化過程包括幾個關鍵功能：

從最後一個處理的段落恢復：如果腳本被中斷或需要多次運行，它將自動檢查輸出文件並從最後一段成功地解釋段落中恢復處理。這樣可以確保進步不會丟失，並且腳本可以在其停止的位置接收。
帶有隨機種子和溫度的重試機制：如果生成的釋義無法滿足指定的標準，則腳本將自動將生成過程檢驗到指定的次數。每次重試時，它會隨機更改種子和溫度值以引入生成的響應中的變化，從而增加了獲得令人滿意的輸出的機會。
進度保存：腳本將進度保存到輸出文件中，每個指定的段落數（例如，每500段）。如果在處理大型文本文件期間發生任何中斷或錯誤的情況下，這種防止數據丟失。
詳細的日誌記錄和摘要：腳本提供詳細的日誌記錄信息，包括輸入段落，生成的輸出，重試嘗試以及失敗的原因。它還在結尾產生了一個摘要，顯示了段落的總數，成功的段落，跳過段落以及回程總數。

使用ORPO生成定制培訓數據，以使用本地LLM和LM Studio微調語言模型

為了生成ORPO自定義培訓數據，以微調語言模型，以模仿喬治·麥克唐納（George MacDonald）的寫作風格。

輸入數據應為JSONL格式，每行包含一個包括提示和選擇響應的JSON對象。（從上一個微調）要使用腳本，您需要使用API鍵設置OpenAI客戶端並指定輸入和輸出文件路徑。運行腳本將處理JSONL文件並生成一個帶有提示，選擇響應和生成的拒絕響應的CSV文件。腳本可以節省每100行的進度，並且可以在中斷的情況下恢復到關閉的位置。完成後，它提供了處理的總線路，書麵線，跳過線條和重試詳細信息的摘要。

微調課程

數據集質量重要：95％的結果取決於數據集質量。乾淨的數據集是必不可少的，因為即使有一點糟糕的數據也會損害模型。
手動數據審查：清潔和評估數據集可以大大改善模型。這是一個耗時但必要的步驟，因為沒有任何參數調整可以修復有缺陷的數據集。
訓練參數不應改善，而應防止模型降解。在強大的數據集中，目標應該是在指導模型時避免負面影響。沒有最佳的學習率。
模型尺度和硬件限制：較大的型號（33B參數）可能會啟用更好的微調，但至少需要48GB VRAM，這使得它們在大多數家庭設置中都不切實際。
梯度積累和批處理大小：梯度積累有助於通過增強不同數據集的概括來減少過度擬合，但是幾批後它可能會降低質量。
與調整良好的模型相比，數據集的大小對於微調基本模型更為重要。超負荷具有過多的數據，可能會降低其先前的微調。
理想的學習率時間表從熱身階段開始，保持穩定，以使一個時代穩定，然後使用餘弦時間表逐漸減少。
模型等級和概括：可訓練參數的數量會影響模型的細節和概括。較低的模型可以更好地推廣但丟失細節。
LORA的適用性：參數有效的微調（PEFT）適用於大型語言模型（LLMS）和諸如穩定擴散（SD）之類的系統，證明其多功能性。

截至2024年5月

Unsploth社區幫助解決了Finetuning Llama3的幾個問題。以下是要記住的一些關鍵點：

雙BOS令牌：固定期間的雙BOS令牌可能會破壞東西。 Unsploth會自動解決此問題。
GGUF轉換：GGUF轉換被打破。小心雙BOS，然後使用CPU代替GPU進行轉換。 Unsploth具有內置的自動GGUF轉換。
故障基礎重量：Llama 3的某些基數（不是指令）的權重為“ buggy”（未訓練）： <|reserved_special_token_{0->250}|> <|eot_id|> <|start_header_id|> <|end_header_id|> 。這可能會導致NAN和越野車結果。不絨布會自動修復此問題。
系統提示：根據Unsploth社區的說法，添加系統提示可以使指示版本（可能是基本版本）更好。
量化問題：量化問題很常見。請參閱此比較，表明您可以通過Llama3獲得良好的性能，但是使用錯誤的量化會損害性能。要進行填充，請使用BitsandBytes NF4提高準確性。對於GGUF，請盡可能使用i版本。
長上下文模型：長上下文模型受過良好的訓練。他們只是將繩索伸展，有時沒有任何培訓，然後在怪異的串聯數據集上訓練以使其成為長數據集。這種方法無法正常工作。如果從8K到1M上下文長度縮放，則平穩，連續的長上下文縮放會更好。

為了解決其中一些問題，請使用不塞來進行固定的乳白色3。

評估指標

在微調以作者風格釋義的語言模型時，評估產生的釋義的質量和有效性很重要。

以下評估指標可用於評估模型的性能：

BLEU（雙語評估研究）：
- BLEU測量生成的釋義和參考文本之間的n-gram重疊，提供了0到1之間的分數。
- 要計算BLEU分數，您可以使用Python中的sacrebleu庫。
- 示例用法： from sacrebleu import corpus_bleu; bleu_score = corpus_bleu(generated_paraphrases, [original_paragraphs])
Rouge（以召回的研究為目標評估）：
- Rouge衡量生成的釋義和參考文本之間的NGram的重疊，重點是回憶。
- 要計算Rouge分數，您可以使用Python中的rouge庫。
- 示例用法： from rouge import Rouge; rouge = Rouge(); scores = rouge.get_scores(generated_paraphrases, original_paragraphs)
困惑：
- 複雜性在生成文本時量化模型的不確定性或混亂。
- 要計算困惑，您可以使用微調語言模型本身。
- 示例用法： perplexity = model.perplexity(generated_paraphrases)
造型測量指標：
- 造型測量指標捕獲了目標作者的寫作樣式特徵。
- 為了提取口號功能，您可以使用Python中的stylometry學庫。
- 示例用法： from stylometry import extract_features; features = extract_features(generated_paraphrases)

與Axolotl集成

要將這些評估指標集成到您的Axolotl管道中，請執行以下步驟：

通過創建目標作者作品的段落數據集並將其分為培訓和驗證集來準備培訓數據。
按照前面討論的方法，使用培訓集對您的語言模型進行微調。
使用微型模型為驗證集中的段落生成釋義。
使用相應的庫（ sacrebleu ， rouge ， stylometry ）實現評估指標，併計算每個生成的釋義的分數。
通過收集人類評估者的評分和反饋來進行人類評估。
分析評估結果，以評估產生的釋義的質量和样式，並做出明智的決定以改善您的微調過程。

這是如何將這些指標集成到管道中的示例：

 from sacrebleu import corpus_bleu
from rouge import Rouge
from stylometry import extract_features

# Fine-tune the model using the training set
fine_tuned_model = train_model ( training_data )

# Generate paraphrases for the validation set
generated_paraphrases = generate_paraphrases ( fine_tuned_model , validation_data )

# Calculate evaluation metrics
bleu_score = corpus_bleu ( generated_paraphrases , [ original_paragraphs ])
rouge = Rouge ()
rouge_scores = rouge . get_scores ( generated_paraphrases , original_paragraphs )
perplexity = fine_tuned_model . perplexity ( generated_paraphrases )
stylometric_features = extract_features ( generated_paraphrases )

# Perform human evaluation
human_scores = collect_human_evaluations ( generated_paraphrases )

# Analyze and interpret the results
analyze_results ( bleu_score , rouge_scores , perplexity , stylometric_features , human_scores )

請記住要安裝必要的庫（Sacrebleu，Rouge，樣式測定法），並調整代碼以適合您的Axolotl或類似實現。

AI寫作模型比較

在此實驗中，我探討了各種AI模型之間根據詳細提示生成1500字文本的功能和差異。我從https://chat.lmsys.org/，Chatgpt4，Claude 3 Opus和LM Studio中的一些本地型號測試了模型。每個模型都生成文本三次，以觀察其輸出的可變性。我還創建了一個單獨的提示，以評估每個模型的第一次迭代的寫作，並詢問Chatgpt 4和Claude Opus 3提供反饋。

通過此過程，我觀察到某些模型在執行之間表現出更高的可變性，而另一些模型傾向於使用相似的措辭。每種模型產生的單詞數量以及對話，描述和段落的數量也存在顯著差異。評估反饋表明，Chatgpt提出了更“精緻”的散文，而Claude建議較少的紫色散文。根據這些發現，我編制了一系列外賣列表，以將其納入下一個提示中，重點介紹精確的，多樣化的句子結構，強大的動詞，獨特的幻想，幻想主題，一致的語氣，獨特的敘述者聲音和引人入勝的節奏。要考慮的另一種技術是尋求反饋，然後根據反饋重寫文本。

我願意與他人合作，以進一步調整每個模型的提示，並探索他們在創意寫作任務中的能力。

提示小LLM

直接說明：
- 使用乾淨，特定和直接命令。
- 避免冗長和不必要的短語。
形容詞管理：
- 對形容詞謹慎；它們可能不適當地影響模型的響應。
分界符和降價：
- 使用反向，括號或降價來分開文本的不同部分。
- 降價有效地有效地結構和分離部分。
結構化格式：
- 利用JSON，Markdown，HTML等進行輸入和輸出。
- 必要時使用JSON模式約束輸出。
幾個示例：
- 提供來自各個壁ni的示例，以避免過度擬合。
- 使用這些示例在過程中“教”模型步驟。
經過思考鏈：
- 實施思想鏈提示提高推理和程序理解。
- 將任務分解為步驟，並通過它們指導模型。
說明完成前：
- 提示模型在回答之前描述實體。
- 確保描述不會無意中的完成。
上下文管理：
- 僅提供基本上下文，避免非結構化的段落轉儲。
- 以足夠但簡潔的上下文將模型引導到所需的答案。
測試和驗證：
- 測試提示多次接收意外的輸出。
- 將完成排名用於相關性，清晰度和連貫性。
使用故事：
- 用講故事的技術控制輸出。
- 例如，寫一個包括所需輸出格式的敘述。
GBNF語法：
- 探索GBNF語法以限制和控制模型輸出。
閱讀和完善：
- 審查並完善生成的提示，以刪除不必要的短語並確保清晰度。

提示駱駝3 8b

模型具有固有的格式偏差。有些型號更喜歡列表的連字符，而另一些則喜歡星號。使用這些模型時，有助於反映其偏好以獲得一致的輸出。

Llama 3的要點提示：

格式傾向：
- Llama 3更喜歡用大膽的標題和星號列表。
- 示例：大膽的標題案例標題
  - 在兩個新線後列出帶有星號的項目
  - 列出由一個newline隔開的項目
  下一個列表
  - 更多列表項目
  - ETC...
幾個示例：
- Llama 3遵循系統提示和很少的示例。
- 提示方法是靈活的，但可以逐字引用幾個示例。
系統及時依從性：
- Llama 3對系統提示的響應很好，並提供了詳細的說明。
- 結合系統提示和少量示例可以產生更好的結果。
上下文窗口：
- 當前的上下文窗口很小，限制了廣泛的示例的使用。
- 這可以在以後的更新中解決。
審查制度：
- 指令版具有一定的審查制度，但比以前的版本的限制少。
智力：
- 在零拍的推理中表現良好。
- 能夠理解和適應各種輸入。
一致性：
- 通常一致，但可能會直接引用示例。
- 性能會以較高的溫度降解。