AI Writer

===

最新のプロジェクト: RWKV-Runner https://github.com/josStorer/RWKV-Runner には、より強力な 1.5B/3B/7B オープンソース Web テキスト大規模モデルがあります。

最新の Web ページ オンライン バージョン: https://modelscope.cn/studios/BlinkDL/RWKV-CHN/summary

以下の情報は古いです!時代遅れのモデル！あくまで参考として！

===

AIライター

AI は小説を書き、N/A/I カードの GPU アクセラレーションをサポートします。 GPT よりも高速な RWKV モデルを使用します。トレーニング コード: https://github.com/BlinkDL/RWKV-LM。

N カード モデル: https://github.com/BlinkDL/AI-Writer/releases/tag/v2022-02-15

A/I カード モデル: https://github.com/BlinkDL/AI-Writer/releases/tag/v2022-02-15-A

新しいユーザーは、Web バージョンを参照してください: https://blinkdl.github.io/AI-Writer/ (はるかに弱いですが、携帯電話でクリックすると書き込めます)

Python版のインストール方法：

1. まずは下記の【インストール方法】をお読みください。右側の [Release] モデルをダウンロードし (または QQ グループ ファイルを参照)、モデル ディレクトリに抽出します。
2. python run.py を実行します (または run.bat をダブルクリックします)。エラー メッセージを確認するには、cmd で実行することをお勧めします。ご不明な点は【インストール方法】と【よくあるご質問】をご覧ください。

CPU exe 生成もサポートしています。ダウンロードするには、ユーザー QQ グループ 553456870 を追加してください (参加時に簡単な自己紹介をお願いします)。研究開発能力を持つ友人は、グループ 325154699 に参加できます。ユーザー TG グループもあります: https://t.me/ai_writer。

また、このページの最後には、コンピュータに詳しくなくても理解できるモデルの原理を説明していますので、ぜひ読んでください。

Python バージョンの Web インターフェイス: python server.py を実行 (または server.bat をダブルクリック) し、Web クライアントで Index.html を開きます (Chrome を推奨)。

注: モデルのトレーニング データはすべてオンライン記事からのものであり、日常生活の常識に欠けています。生成されたテキストは娯楽目的のみに使用されます。法令等を遵守してください。

同時に、特別なサンプリング方法を使用して、小規模モデルの生成品質を向上させます (概要については、https://zhuanlan.zhihu.com/p/394766831 を参照)。

私のZhihuはhttps://www.zhihu.com/people/bopengbopengです。

ネチズンによって移植された Paddle バージョン: https://github.com/JunnYu/Paddle-AI-Writer。

インストール方法 (正確なバージョンをインストールしてください。たとえば、Python 3.8.x をインストールします。Windows の場合は、win10 64 ビット 21H1 にアップグレードしてください):

 Windows小白：先试QQ群文件的【纯CPU exe版】，但CPU需要AVX2（例如intel四代以上），不支持AVX2就用【WindowsCPU版】
Windows有N卡：装python3.8，CUDA 11.1，CUDNN，torch1.9.1+cu111（在QQ群文件都有）。用940mx也能跑。用1050ti就挺快。目前只需要2G显存，以后需要4G显存
Windows有A/I卡：装python3.8，pip install torch onnxruntime-directml。用A/I卡模型。在 run.py 和 server.py 设置为 dml 模式
WindowsCPU版：装python3.8，pip install torch，用N卡模型。在 run.py 和 server.py 设置为 cpu 模式
Linux有N卡：和【Windows有N卡】相同
Linux有A/I卡：可以用https://onnxruntime.ai/加速，自己研究。不懂就用CPU版
LinuxCPU版：和【WindowsCPU版】相同
Mac：目前只能CPU版。和【WindowsCPU版】相同。某些Mac需要用pip3装包，用python3运行。

よくある質問：

 1. 先打开 run.py 和 server.py 看里面的设置。例如，玄幻和言情模型，需要在里面手工切换。
2. no module named 'xxx' --> 执行 pip install xxx 缺什么就装什么。注意N卡GPU版需要装pytorch的cuda版。注意A/I卡GPU版需要装onnxruntime-directml。
3. module 'torch' has no attribute 'tile' --> 需要 pytorch 1.9 以后版本。
4. no such file or directory: 'model/xxx' --> 先确定模型解压到 model 目录。然后在命令行需要先进入项目所在的目录，再用python运行py。
5. 怎么设置每次续写多少字 --> 修改run.py和server.py的LENGTH_OF_EACH。可以设置9999999也没问题，但是，单次写很长，容易出现无限循环。
6. 怎么训练 --> https://github.com/BlinkDL/RWKV-LM 不懂就加QQ群143626394（加入时请简单自我介绍）。
7. 写作原理 --> 每次分析最后的512个字，得到下一个字的概率分布（xx%概率是x字，等等），根据概率写一个字。这样一个个字写下去。
8. ctx_len是什么意思 --> 模型的记忆长度，就是每次只看最后的多少个字。越大效果越好也越慢。目前最大512。

グループの友人が作成したトレーニング チュートリアル:

https://zhuanlan.zhihu.com/p/432263234

https://zhuanlan.zhihu.com/p/432715547

https://zhuanlan.zhihu.com/p/435972716

トレーニング後のランニング方法:

 1. 默认 RWKV-LM 训练的模型很小，所以，需要修改 AI-writer 的 run.py，设置 ctx_len n_layer n_head 和 RWKV-LM 的 train.py 一致。还有 WORD_NAME（json词表） MODEL_NAME。
2. 在 run.py 的 UNKNOWN_CHAR，将 ue083 改成词表中一个不可能在正常文字出现的uxxxx乱码，或某个最罕见的字（字不需要符号）。意思是，如果看见不在词表里面的字，就用 UNKNOWN_CHAR 代表。
3. 如果用 server.py，也同样修改。

役立つと思われる場合は、プロジェクトをサポートしていただけます:

新しいファンタジー モデルの効果:

ロマンス モデル効果 [黄色の文字はユーザー入力の始まりであり、その後にモデルの継続が続きます]:

  当霏微萧瑟与车水马龙相遇，烟雨朦胧，如雾如尘，古巷的一切热闹都被包裹在这片忽然而至的雨色夜空中。淅淅沥沥的雨声没能完全掩盖烟火 燃放的砰响，一切显得真切而又隐约。烟雨如墨，月光铺在地上，将沙发、沙发、小沙发都点染成一片银色，触目惊心。
  地面上铺着黑灰的地毯，门上挂着一幅中世纪的红旗，帘子里隐隐传来有节奏的电梯咔嗒声，一双乌黑的眼睛正无声地望着雨雾中的一切。
  “美丽的地毯啊！”霏轻轻地一声轻笑，用指头轻轻叩击着沙发的扶手，“小烟，一张漂亮的脸蛋啊！”
  霏慢条斯理地翻着手上的金色的绸缎，从一旁抽出一只金色的羽绒枕套，将金色的帷幔翻了起来，伸向了霏微雨：“真的好漂亮啊，这个东西，一定很漂亮。”
  “这是你要的。”霏也拿过自己的金色缎带，把小毯子挂回到霏轻舒的肩上，用一种隐秘的方式，告诉霏一个真相：“我很喜欢这个地毯。”
  “喜欢吗？”霏再度靠近霏的耳边，小声问道。霏睁大眼睛，只看见霏手中那对金色的缎带，她记得很清楚，这是雨幕天气下，霏会在烟雨里寻求
一种温柔的慰藉，金色的缎带。
  霏从霏的身边爬了下来，在霏的脸上亲了一下，然后就站了起来，迈着自信的步子，跟在霏的身后。
  零落的鸟儿叫声在雨中久久回响，当雨声停止，雨声渐渐变小，霏终于抬起头来，却发现身后站着一个陌生的男人，不由得呆了呆，但瞬间，霏
的泪水已经流了出来，她抬起头，这个男人一张脸，难道刚刚是眼泪？
  霏连忙把刚刚的那个东西拿过
------------------------------------------------------------
  当霏微萧瑟与车水马龙相遇，烟雨朦胧，如雾如尘，古巷的一切热闹都被包裹在这片忽然而至的雨色夜空中。淅淅沥沥的雨声没能完全掩盖烟火 燃放的砰响，一切显得真切而又隐约。
  等到那火光消散在暗夜里，当那个方才被淋了一头水的昏暗夜色，却已然完完全全消失不见。雨势，只是轻轻的在四周飘过。
  修长如柳的指尖，指尖的指节深深的陷入掌心，陆泽还是在心底感叹，自己竟然还有那么一丝丝的悸动。
  单手搭在衣袖的烟灰色长袖上，衣袖轻轻晃动，卷起一点暗淡的雨丝，却已然是安然无恙。
  吹了口气，烟灰已经在鼻尖处旋转，呼出一片极淡的清冷烟丝，伴随着烟雨湿漉的蒸汽，陆泽微微眯起的眼，让烟丝有些变幻的黑白色，此刻已
经与刚刚的情况一般无二。
  目光悄然落在烟丝身上，陆泽双手十指飞快的在腰间的破洞处轻轻一点，以一个最简单，不起眼的动作，朝烟丝的动作来回挪移。
  长指，极其缓慢的落在烟丝的位置。
  流水一般的流线，在烟丝之后，变为一种莫名的黏稠，连绵不绝，一眨眼的功夫，烟丝便已经彻底消失了一般。
  长长的睫毛微微抖动着，烟丝的长长的睫毛下，眼眸看不出什么神采，此刻的烟丝只有几丝，但是看上去却十分的柔和，充满了少女般的光泽，
眼眸之间的神采，与她的眼眸一模一样。
  微微一笑，烟丝轻声道：“你已经变成了一个成熟美丽的少女。”
  陆泽顿了顿，又是轻笑：“虽然这个身份不值得一提，但是不管怎么说，也比我在这里要好。”
  “你之前在黑市遇到的那

旧モデルの影響:

モデル原理（簡易版）

コンピュータの原理は質問の海の戦術+愚かな鳥が最初に飛ぶ。単語を多くの数値に変換し、これらの数値の数学的 (統計的) 法則を見つけます。

コンピューターの学習目標: 大量の単語を入力し、次の単語を予測すること。

• これさえ覚えれば、一語一語書き留めることができます。
• 何万ものトレーニング小説があり、毎回 512 語の段落がランダムに選択されて入力され、コンピューターが次の単語を推測して正しく推測できるかどうかを確認します。
• これを繰り返して試験を受け続けてください。
• このゲームは自分でプレイすることもできます (次のテキストをカバーし、次の単語を推測します)。正しくプレイするには、前のテキストを理解する必要があることがわかります。

私の小さなモデルは 8849 文字をサポートしています。各単語は 2 つの数字グループに対応し、各グループには 768 個の数字があります。

• 例: "I" = [0.123 -1.53​​4...]、[-0.827 2.343...]。これは、[入力グループ] および [出力グループ] と呼ばれる場合があります。
• 大規模なモデルの場合、各ワードは数万の数値に対応します。

まずはエンコードです。

• それぞれの単語は[入力グループ]に応じて768個の数字になり、それぞれの数字はある隠された意味を表します。
• たとえば、各単語の A 番目の数字は「良い-悪い」の次元を表し、B 番目の数字は「名詞-非名詞」の次元を表します。

見つかった実際のコードは、必ずしも簡単に説明できる次元の意味を持っているとは限りません。

• 特定のエンコーディングは手動介入なしでコンピューターによって自動的に検出されるためです。
• 最初はランダムにコード化されます。コンピューターは引き続き [微分] メソッドを使用して計算し、コーディングを修正し、予測結果を改善します。
• コンピューターは、特定の単語の数を 0.001 増やすと予測結果が改善されると判断した場合、そのようにする、と大まかに考えることができます。
• なぜなら、予測結果が正しいかどうかは客観的な基準だからです。つまり、ここで +0.001、あそこで -0.001 を維持している限り、徐々に目標に近づいていきます。

つまり、512文字を入力すると、512*768 = 393216個の数字になります。

次に、モデルはこれらの 393216 個の数値に対して計算を実行し (他の数千万個の数値を操作し、これらの数千万個の数値も継続的に調整されます)、最終的に 768 個の数値を取得します。このプロセスが最も興味深いので、後で説明します。

3 番目に、768 個の数値を 8849 単語の [出力グループ] と比較し、各単語への近接性、つまりこの単語が出力される確率を計算します。