Searchor

Pesquisador

Descrição

Searchor é uma biblioteca PyPi Python completa que simplifica a web scraping, a obtenção de informações sobre um tópico e a geração de URLs de consulta de pesquisa. Searchor é uma ferramenta eficiente para desenvolvedores Python, com muitas necessidades de desenvolvimento web em um, com suporte para mais de 100 mecanismos e mecanismos personalizados permitidos, tornando mais fácil para os desenvolvedores usarem para suas necessidades de programação web em Python sem depender de muitos terceiros. dependências partidárias. Além disso, Searchor possui uma ampla gama de suporte, incluindo interface de linha de comando e pip.

Instalação

Python 3.7+ é necessário

 # MacOS / Linux (via Terminal)
python3 -m pip install -U searchor

# Windows (via CMD Prompt)
py -3 -m pip install -U searchor

Início rápido

 >> > from searchor import Engine
>> > Engine . Google . search ( "Hello, World!" ))
' https : // www . google . com / search ? q = Hello % 2 C % 20 World % 21 '

Mecanismo personalizado

 >> > from searchor import Engine
>> > Engine . new ( "Colgate" , "https://www.colgate.com/en-us/search/all?term=" )
>> > Engine . Colgate . search ( "Hi world!" )
' https : // www . colgate . com / en - us / search / all ? term = Hi % 20 world !"

Início rápido da CLI do Searchor

$ searchor Google " Hello World! " --copy

Raspagem da Web

 >> > from searchor import Information
>> > Information . scrape ( "https://google.com" )
>> > '{' title ': ' Google ', ' paragraphs ': [<p style="font-size:8pt;color:#70757a">© 2023 - <a href="/intl/en/policies/privacy/">Privacy</a> - <a href="/intl/en/policies/terms/">Terms</a></p>]}' 

Obtenha informações

 >> > from searchor import Information
>> > Information . getinfo ( "GitHub" )
>> > 'GitHub, Inc. is an Internet hosting service for software development and version control using Git. It provides the distributed version control of Git plus access control, bug tracking, software feature requests, task management, continuous integration, and wikis for every project. Headquartered in California, it has been a subsidiary of Microsoft since 2018.'

Dê uma olhada em mais exemplos na pasta de exemplos!

Nota : Os nomes dos motores seguem a convenção UpperCamelCase (por exemplo: ChromeWebStore).

Docker

Construindo a imagem do Docker

$ docker build -t searchor .

Executando o searchor no contêiner do docker

$ docker run --rm -it searchor sh
/usr/src/searchor/examples # python searchamazon.py
https://www.amazon.com/s ? k=Hello%2C%20World%21

v2.5.2 Mudanças

v2.5.0

• [ADICIONADO] Adicionada uma nova classe Enum Information .
• [ADICIONADO] Adicionada função getinfo no Information Enum para coletar informações sobre um determinado tópico, usando a Wikipedia.
• [ADDED] Adicione a função web_scraper no Information Enum, para web scrape um URL fornecido.
• [ADICIONADO] Adicionado bs4 e solicitações como dependências.
• [MODIFICADO] O pacote Searchor agora está se tornando oficialmente uma biblioteca e, portanto, não é mais considerado um pacote.

v2.5.2

• [CORRIGIDO] Corrigido problema com web scraping, erros de atributos e problemas de CLI

Migração

Em vez de funções diferentes para cada mecanismo, o Searchor v2.2.0 usa uma única função com uma enumeração Engine . Isso torna mais fácil de usar e manter. Se você estiver migrando da v2.0.0 , compare as diferenças entre os seguintes snippets:

 # Searchor 2.0.0
from searchor import search , Engine
search ( "Hello, World!" , Engine . Google )

 # Searchor v2.2.0
from searchor import Engine
Engine . Google . search ( "Hello, World!" )

Quer contribuir?

Dê uma olhada nas diretrizes de contribuição!

---

© Arjun Sharda 2022 até o presente
Todos os direitos reservados