JamSpell
v0.0.12
JamSpell 是一个拼写检查库，具有以下功能：
Colab 示例
jamspell.com - 查看具有以下功能的新 jamspell 版本
en, ru, de, fr, it, es, tr, uk, pl, nl, pt, hi, noJava, C#, Ruby支持| 错误 | 前 7 个错误 | 修复率 | 修复率前 7 位 | 破碎的 | 速度 （字/秒） | |
| 拼音 | 3.25% | 1.27% | 79.53% | 84.10% | 0.64% | 4854 |
| 诺维格 | 7.62% | 5.00% | 46.58% | 66.51% | 0.69% | 第395章 |
| 亨斯佩尔 | 13.10% | 10.33% | 47.52% | 68.56% | 7.14% | 163 |
| 假的 | 13.14% | 13.14% | 0.00% | 0.00% | 0.00% | - |
模型接受了 300K 维基百科句子 + 300K 新闻句子（英语）的训练。 95%用于训练，5%用于评估。错误模型用于从原始文本生成错误文本。 JamSpell 校正器与 Norvig 的校正器、Hunspell 和虚拟校正器（无校正）进行了比较。
我们使用以下指标：
为了确保我们的模型不会过于适合维基百科+新闻，我们在“福尔摩斯历险记”文本中检查了它：
| 错误 | 前 7 个错误 | 修复率 | 修复率前 7 位 | 破碎的 | 速度（每秒字数） | |
| 拼音 | 3.56% | 1.27% | 72.03% | 79.73% | 0.50% | 5524 |
| 诺维格 | 7.60% | 5.30% | 35.43% | 56.06% | 0.45% | 第647章 |
| 亨斯佩尔 | 9.36% | 6.44% | 39.61% | 65.77% | 2.95% | 第284章 |
| 假的 | 11.16% | 11.16% | 0.00% | 0.00% | 0.00% | - |
有关复制的更多详细信息，请参阅“训练”部分。
安装swig3 （通常位于您的发行版包管理器中）
安装jamspell ：
pip install jamspell下载或训练语言模型
使用它：
import jamspell
corrector = jamspell . TSpellCorrector ()
corrector . LoadLangModel ( 'en.bin' )
corrector . FixFragment ( 'I am the begt spell cherken!' )
# u'I am the best spell checker!'
corrector . GetCandidates ([ 'i' , 'am' , 'the' , 'begt' , 'spell' , 'cherken' ], 3 )
# (u'best', u'beat', u'belt', u'bet', u'bent', ... )
corrector . GetCandidates ([ 'i' , 'am' , 'the' , 'begt' , 'spell' , 'cherken' ], 5 )
# (u'checker', u'chicken', u'checked', u'wherein', u'coherent', ...)将jamspell和contrib目录添加到您的项目中
使用它：
# include < jamspell/spell_corrector.hpp >
int main ( int argc, const char ** argv) {
NJamSpell::TSpellCorrector corrector;
corrector. LoadLangModel ( " model.bin " );
corrector. FixFragment ( L" I am the begt spell cherken! " );
// "I am the best spell checker!"
corrector. GetCandidates ({ L" i " , L" am " , L" the " , L" begt " , L" spell " , L" cherken " }, 3 );
// "best", "beat", "belt", "bet", "bent", ... )
corrector. GetCandidates ({ L" i " , L" am " , L" the " , L" begt " , L" spell " , L" cherken " }, 3 );
// "checker", "chicken", "checked", "wherein", "coherent", ... )
return 0 ;
}您可以使用 swig 教程生成其他语言的扩展。 swig 接口文件是jamspell.i 。欢迎使用构建脚本请求请求。
安装cmake
克隆并构建 jamspell（它包括 http 服务器）：
git clone https://github.com/bakwc/JamSpell.git
cd JamSpell
mkdir build
cd build
cmake ..
make./web_server/web_server en.bin localhost 8080$ curl " http://localhost:8080/fix?text=I am the begt spell cherken "
I am the best spell checker$ curl -d " I am the begt spell cherken " http://localhost:8080/fix
I am the best spell checkercurl " http://localhost:8080/candidates?text=I am the begt spell cherken "
# or
curl -d " I am the begt spell cherken " http://localhost:8080/candidates {
"results" : [
{
"candidates" : [
"best" ,
"beat" ,
"belt" ,
"bet" ,
"bent" ,
"beet" ,
"beit"
] ,
"len" : 4 ,
"pos_from" : 9
} ,
{
"candidates" : [
"checker" ,
"chicken" ,
"checked" ,
"wherein" ,
"coherent" ,
"cheered" ,
"cherokee"
] ,
"len" : 7 ,
"pos_from" : 20
}
]
}这里pos_from - 拼写错误的单词第一个字母位置， len - 拼写错误的单词 len
要训练自定义模型，您需要：
安装cmake
克隆并构建 jamspell：
git clone https://github.com/bakwc/JamSpell.git
cd JamSpell
mkdir build
cd build
cmake ..
make准备一个 utf-8 文本文件，其中包含要训练的句子（例如sherlockholmes.txt ）和另一个包含语言字母表的文件（例如alphabet_en.txt ）
列车型号：
./main/jamspell train ../test_data/alphabet_en.txt ../test_data/sherlockholmes.txt model_sherlock.binevaluate/evaluate.py脚本： python evaluate/evaluate.py -a alphabet_file.txt -jsp your_model.bin -mx 50000 your_test_data.txtevaluate/generate_dataset.py生成训练/测试数据。它支持txt文件、Leipzig Corpora Collection格式和fb2书籍。 这是一些简单的模型。他们训练了 30 万条新闻 + 30 万条维基百科句子。我们强烈建议您训练自己的模型，至少训练几百万个句子，以达到更好的质量。请参阅上面的“火车”部分。
