Mortgage Scraper

Moneysupermarket.com raspador de hipotecas

Moneysupermarket.com Mortgage Scraper está escrito en Python. El código raspa las hipotecas de http://www.moneysupermarket.com e inserta los detalles de la mortaje en una base de datos SQL.

Creé este código ya que quería comprar mi primera casa. Quería vigilar las ofertas de hipotecas para poder vigilar las tendencias del mercado. Entonces podría ejecutar fácilmente algunas consultas para comparar hipotecas para encontrar la mejor oferta.

Los archivos de origen

Mortgage.py : almacena toda la información sobre cada oferta de hipotecas, con un método 'Save' que inserta los datos en la base de datos SQL.
Results.py : almacena toda la información en cada página de resultados, que se divide en enlaces para hipotecas específicas, y también el enlace a la página de más resultados en la secuencia (es decir: el enlace 'show más').
scrapemortgage.py : cuando se le da una URL de hipoteca, esto crea y llena un objeto hipotecario.
sCRAPERESULTS.py : cuando se le da una URL de la hipoteca, esto crea y poca un objeto de resultados.
scrapeSequence.py : esto pasa a través de una serie de hipotecas, llamando a ScraperSults y Scrapemortgage para todos ellos.

Instrucciones de uso

Estas son algunas instrucciones para comenzar:

Base de datos SQL

En su base de datos SQL, ejecute la siguiente consulta para crear la tabla

 CREATE TABLE ` mortgages ` (
  ` id ` int ( 11 ) NOT NULL AUTO_INCREMENT,
  ` rundate ` date NOT NULL ,
  ` url ` varchar ( 500 ) NOT NULL DEFAULT ' ' ,
  ` lender ` text NOT NULL ,
  ` typeOfMortgage ` text NOT NULL ,
  ` borrowAmount ` decimal ( 10 , 2 ) NOT NULL ,
  ` houseValue ` decimal ( 10 , 2 ) NOT NULL ,
  ` term ` int ( 2 ) NOT NULL ,
  ` initialRate ` text NOT NULL ,
  ` revertRate ` text NOT NULL ,
  ` maxLTV ` text NOT NULL ,
  ` initialPeriod ` text NOT NULL ,
  ` minMaxMortgageAmount ` text NOT NULL ,
  ` minimumAge ` text NOT NULL ,
  ` initialMonthlyRepayments ` text NOT NULL ,
  ` monthlyRepaymentsAfter ` text NOT NULL ,
  ` totalAmountToRepay ` decimal ( 10 , 2 ) NOT NULL ,
  ` TotalAmountOfInterest ` decimal ( 10 , 2 ) NOT NULL ,
  ` overpayments ` text NOT NULL ,
  ` paymentHolidays ` text NOT NULL ,
  ` portable ` text NOT NULL ,
  ` cashback ` text NOT NULL ,
  ` fees ` decimal ( 10 , 2 ) NOT NULL ,
  ` valuationReport ` text NOT NULL ,
  ` homebuyerSurvey ` text NOT NULL ,
  PRIMARY KEY ( ` id ` )
) ENGINE = MyISAM DEFAULT CHARSET = latin1;

Edite los detalles de la conexión SQL en el archivo Mortgage.py para señalarlo a su base de datos SQL.

Establecer "Monto de préstamo", "Valor de la casa" y valores de "Término de la hipoteca"

Puede cambiar el "monto de préstamo", el "valor de la casa" y los parámetros del "término hipotecario" en el archivo scrapeSequence.py.

Ejecutando el raspador

Para ejecutarse, ejecute el archivo shrapeSequence.py