PHP Science TextRank

ТекстРанк

Этот исходный код представляет собой реализацию алгоритма TextRank на языке программирования PHP под лицензией MIT.

TextRank против ChatGPT

GPT, такие как ChatGPT, представляют собой контролируемые языковые модели, которые понимают контекст и генерируют новый контент на основе заданных входных данных, используя огромные ресурсы, а TextRank — это экономичный и недорогой алгоритм извлечения текста. Алгоритм TextRank также можно использовать в качестве препроцессора для модели GPT, чтобы уменьшить размер текста и сэкономить на потреблении ресурсов.

TextRank или автоматическое суммирование

Автоматическое реферирование — это процесс сокращения текстового документа с помощью компьютерной программы с целью создания резюме, сохраняющего наиболее важные моменты исходного документа. Технологии, которые могут составить связное резюме, учитывают такие переменные, как длина, стиль письма и синтаксис. Автоматическое суммирование данных является частью машинного обучения и интеллектуального анализа данных. Основная идея суммирования состоит в том, чтобы найти репрезентативное подмножество данных, содержащее информацию всего набора. Технологии обобщения сегодня используются во многих отраслях промышленности. - Википедия

Алгоритм реализации такой:

• Извлекает предложения,
• Удаляет стоп-слова,
• Добавляет целочисленные значения к словам, находя и подсчитывая совпадающие слова.
• Взвешивает значения слов,
• Нормализует значения для получения оценок,
• Сортировка по баллам

Установите, чтобы использовать его в своем проекте.

 cd your-project-folder
composer require php-science/textrank

Установите, чтобы внести свой вклад

 cd git-project-folder
docker-compose build
docker-compose up -d
composer install
composer test

Примеры

 use PhpScience  TextRank  Tool  StopWords  English ;

// String contains a long text, see the /res/sample1.txt file.
$ text = " Lorem ipsum... " ;

$ api = new TextRankFacade ();
// English implementation for stopwords/junk words:
$ stopWords = new English ();
$ api -> setStopWords ( $ stopWords );

// Array of the most important keywords:
$ result = $ api -> getOnlyKeyWords ( $ text ); 

// Array of the sentences from the most important part of the text:
$ result = $ api -> getHighlights ( $ text ); 

// Array of the most important sentences from the text:
$ result = $ api -> summarizeTextBasic ( $ text );

Еще примеры:

• тесты/TextRankFacadeTest.php
• https://php.наука

Авторы, участники

Имя	Пользователь GitHub
Дэвид Белица	@DavidBelicza
Риккардо Мартон	@riccardomarton
Синдези	@Синдези
Винцентш	@vincentsch
Эндрю Уэлч	@khalwat
Андрей Асташов	@mvcaaa
Лео Тонефф	@bragle
Вилли Ариски	@willyarisky
Роберт-Ян Кайзер	@КейзерДев
Морти	@evil1morty
Сезер Фиданджи	@SezerFidanci