ai crawler
1.0.0
Программа-сканер, написанная с помощью ChatGPT, может анализировать текущие технологические тенденции на основе содержания текущих блогов о технологиях в Интернете.
Основные функции:
Определите целевой веб-сайт технологического блога программы-сканера, определите страницы, которые необходимо сканировать, и информацию, которую необходимо извлечь. Эта информация может включать название статьи, автора, дату публикации, аннотацию, содержание и т. д.
Используйте платформу OkHttp3, чтобы инициировать HTTP-запрос для получения HTML-кода веб-страницы. Чтобы избежать блокировки веб-сайтом, вам необходимо установить соответствующие параметры, такие как User-Agent и время задержки. Для большого количества запросов вы можете рассмотреть возможность использования таких стратегий, как IP-прокси, чтобы предотвратить блокировку.
Используйте платформу Jsoup для анализа HTML-кода и извлечения необходимой информации. Вы можете использовать селекторы для поиска необходимых элементов и использовать API для получения атрибутов и текстового содержимого элементов. Следует отметить, что некоторые веб-сайты могут использовать технологии защиты от сканирования, такие как установка кодов проверки, динамическое создание страниц и т. д., которые необходимо обрабатывать в зависимости от конкретных обстоятельств.
Используйте платформу Mybatis Plus для хранения данных в базе данных. Сначала вам необходимо определить структуру и классы сущностей таблицы данных, а затем использовать API, предоставляемый платформой, для добавления, удаления, изменения и запроса данных. Чтобы избежать дублирования хранилища, вы можете рассмотреть возможность использования таких механизмов, как первичные ключи или уникальные индексы, для дедупликации данных.
Используйте запланированные задачи для периодического запуска программ-обходчиков, чтобы обеспечить своевременное обновление данных. Необходимо установить соответствующую частоту и время выполнения, чтобы избежать чрезмерно частого доступа к целевому веб-сайту, что может привести к сбоям в работе веб-сайта.
Настал волнующий момент : пусть ChatGPT сгенерирует исходный код. Информация, которую мы предоставляем ИИ, включает в себя: название проекта ai-crawler, версию Java 1.8, зависимости: mybatis-plus-boot-starter, okhttp, hutool-all, jsoup. Какой код будет генерировать ИИ ?
Что ж, это вполне удовлетворительно. Я знаю, как создать два класса инструментов на основе okhttp и jsoup.
Затем дайте ему еще одну подсказку и сообщите ИИ конкретную модель данных, которая в настоящее время предварительно называется «Блог», и позвольте ИИ генерировать конкретные коды добавления, удаления, изменения и запроса.
Давайте посмотрим на его выступление:
Неплохо: сгенерированный класс сущности Blog использует аннотацию @TableName из MybatisPlus, наследуемую от IService из MybatisPlus; Аннотация @Service Spring также используется сознательно.
Этот код не хуже, чем у младшего Java-инженера ?
В дополнение к базовому логическому коду, приведенному выше, давайте посмотрим на классы конфигурации и файлы конфигурации.
Заменит ли ИИ программистов? Возможно, в будущем, но, вероятно, не сейчас. Я думаю, что ИИ — это скорее удобный инструмент.
