Код сегментации слов на китайском языке PHP использует словарь, основанный на Unicode, и использует сегментацию слов в режиме обратного сопоставления. Он теоретически совместим с более широким диапазоном кодировок и особенно удобен для кодировки UTF-8. Поскольку PhpanAанализ представляет собой систему без компонентов, скорость будет немного медленнее, чем при использовании компонентов. Однако при большом количестве сегментаций слов, поскольку загрузка базы данных слов завершается во время сегментации слов, чем больше контента, тем выше будет скорость. Это нормальное явление. Для серверов, поддерживающих PHP-APC, эта программа поддерживает кэширование словарей. После этого теоретическая скорость не будет ниже, чем у программ сегментации слов с компонентами.
Система сегментации слов — это метод сегментации слов, основанный на сопоставлении строк . Этот метод также называется методом механической сегментации слов. Он сопоставляет анализируемую строку китайских символов с записями в «достаточно большом» машинном словаре в соответствии с определенной стратегией. Если строка найдена в словаре, совпадение успешное (слово распознано). В соответствии с различными направлениями сканирования метод сегментации слов сопоставления строк можно разделить на прямое сопоставление и обратное сопоставление в соответствии с приоритетом сопоставления различной длины, его можно разделить на максимальное (самое длинное) сопоставление и минимальное (самое короткое) сопоставление; связано ли это с процессом маркировки части речи. В комбинированном виде его можно разделить на простой метод сегментации слов и интегрированный метод, который сочетает в себе сегментацию слов и аннотацию. Ниже приведены несколько часто используемых методов механической сегментации слов:
1) Метод прямого максимального сопоставления (направление слева направо);
2) метод обратного максимума (направление справа налево);
3) Минимальная сегментация (минимизировать количество слов в каждом предложении).
Различные способы, упомянутые выше, также могут быть объединены друг с другом. Например, метод прямого сопоставления по максимуму и метод обратного сопоставления по максимуму могут быть объединены для формирования способа двустороннего сопоставления. Из-за особенностей формирования односимвольных слов в китайском языке прямое минимальное соответствие и обратное минимальное соответствие обычно используются редко. Вообще говоря, точность сегментации обратного сопоставления немного выше, чем точность сегментации прямого сопоставления, и возникает меньше неоднозначностей. Статистические результаты показывают, что частота ошибок при простом использовании прямого максимального сопоставления составляет 1/169, а частота ошибок при простом использовании обратного максимального сопоставления составляет 1/245. Однако эта точность далека от удовлетворения реальных потребностей. Все фактически используемые системы сегментации слов используют механическую сегментацию слов в качестве предварительного метода сегментации, и необходимо дальнейшее повышение точности сегментации за счет использования различной другой лингвистической информации.
Один из способов — усовершенствовать метод сканирования, который называется сканированием признаков или сегментацией меток. Он отдает приоритет выявлению и сегментированию некоторых слов с очевидными характеристиками в анализируемой строке. Используя эти слова в качестве точек останова, исходную строку можно разделить на механические слова. сегментация выполняется для меньших строк, чтобы уменьшить частоту ошибок сопоставления. Другой метод состоит в том, чтобы объединить сегментацию слов и маркировку частей речи, использовать обширную информацию о частях речи для принятия решений о сегментации слов и, в свою очередь, проверять и корректировать результаты сегментации слов в процессе маркировки, тем самым значительно повышая точность сегментация.
Расширять
