Mortgage Scraper

Raspador hipotecário moneysupermarket.com

MoneysuPperMarket.com O raspador hipotecário está escrito em Python. O código descarta hipotecas em http://www.moyysupermarket.com e insere os detalhes da mortama em um banco de dados SQL.

Criei esse código porque queria comprar minha primeira casa. Eu queria ficar de olho nas ofertas de hipotecas para que eu pudesse ficar de olho nas tendências do mercado. Eu poderia facilmente executar algumas consultas para comparar hipotecas para encontrar o melhor negócio.

Os arquivos de origem

Mortgage.py - armazena todas as informações sobre cada oferta de hipoteca, com um método 'salvar' que insere os dados no banco de dados SQL.
Results.py - armazena todas as informações em cada página de resultados, que são divididas em links para hipotecas específicas, e também o link para a página mais resultados da sequência (ou seja: o link 'Mostrar mais').
scrapemortgage.py - Quando recebe um URL de hipoteca, isso cria e preenche um objeto hipotecário.
rasperesults.py - Quando recebe um URL de hipoteca, isso cria e preenche um objeto de resultados.
scrapesequence.py - Isso passa por uma série de hipotecas, chamando raspas e raspá -los para todos eles.

Instruções para uso

Estas são algumas instruções para você começar:

Banco de dados SQL

No seu banco de dados SQL, execute a seguinte consulta para criar a tabela

 CREATE TABLE ` mortgages ` (
  ` id ` int ( 11 ) NOT NULL AUTO_INCREMENT,
  ` rundate ` date NOT NULL ,
  ` url ` varchar ( 500 ) NOT NULL DEFAULT ' ' ,
  ` lender ` text NOT NULL ,
  ` typeOfMortgage ` text NOT NULL ,
  ` borrowAmount ` decimal ( 10 , 2 ) NOT NULL ,
  ` houseValue ` decimal ( 10 , 2 ) NOT NULL ,
  ` term ` int ( 2 ) NOT NULL ,
  ` initialRate ` text NOT NULL ,
  ` revertRate ` text NOT NULL ,
  ` maxLTV ` text NOT NULL ,
  ` initialPeriod ` text NOT NULL ,
  ` minMaxMortgageAmount ` text NOT NULL ,
  ` minimumAge ` text NOT NULL ,
  ` initialMonthlyRepayments ` text NOT NULL ,
  ` monthlyRepaymentsAfter ` text NOT NULL ,
  ` totalAmountToRepay ` decimal ( 10 , 2 ) NOT NULL ,
  ` TotalAmountOfInterest ` decimal ( 10 , 2 ) NOT NULL ,
  ` overpayments ` text NOT NULL ,
  ` paymentHolidays ` text NOT NULL ,
  ` portable ` text NOT NULL ,
  ` cashback ` text NOT NULL ,
  ` fees ` decimal ( 10 , 2 ) NOT NULL ,
  ` valuationReport ` text NOT NULL ,
  ` homebuyerSurvey ` text NOT NULL ,
  PRIMARY KEY ( ` id ` )
) ENGINE = MyISAM DEFAULT CHARSET = latin1;

Edite os detalhes da conexão SQL no arquivo Mortgage.py para apontá -lo para o seu banco de dados SQL.

Definir valores "Montante emprestado", "valor da casa" e "termo de hipoteca"

Você pode alterar os parâmetros "Montante do Avanço", "Valor da Casa" e "Termo da Hipoteca" no arquivo Scrapesequence.py.

Executando o raspador

Para executar, execute o arquivo scrapesequence.py