Mortgage Scraper

MONEYSUPERMARKET.COM SCHAPER MORTYPOSIQUE

MoneySuperMarket.com Mortgage Scraper est écrit en Python. Le code arrête les hypothèques de http://www.moneyspermarket.com et insère les détails du promotion dans une base de données SQL.

J'ai créé ce code car je voulais acheter ma première maison. Je voulais garder un œil sur les offres hypothécaires afin que je puisse garder un œil sur les tendances du marché. Je pouvais alors exécuter facilement certaines requêtes pour comparer les hypothèques pour trouver la meilleure offre.

Les fichiers source

Mortgage.py - stocke toutes les informations sur chaque offre hypothécaire, avec une méthode «sauvegarder» qui insère les données dans la base de données SQL.
result.py - stocke toutes les informations sur chaque page de résultats, qui est divisée en liens pour des hypothèques spécifiques, ainsi que le lien vers la page de résultats plus dans la séquence (c'est-à-dire: le lien `` Show More '').
Scrapemortgage.py - Lorsqu'on lui donne une URL hypothécaire, cela crée et remplit un objet hypothécaire.
scraperresults.py - Lorsqu'on lui donne une URL hypothécaire, cela crée et remplit un objet de résultats.
ScrapeseQuence.py - Cela traverse une série de prêts hypothécaires, appelant des scrapésultes et du scrapmortgage pour chacun d'eux.

Instructions pour une utilisation

Ce sont quelques instructions pour vous aider à démarrer:

Base de données SQL

Dans votre base de données SQL, exécutez la requête suivante pour créer le tableau

 CREATE TABLE ` mortgages ` (
  ` id ` int ( 11 ) NOT NULL AUTO_INCREMENT,
  ` rundate ` date NOT NULL ,
  ` url ` varchar ( 500 ) NOT NULL DEFAULT ' ' ,
  ` lender ` text NOT NULL ,
  ` typeOfMortgage ` text NOT NULL ,
  ` borrowAmount ` decimal ( 10 , 2 ) NOT NULL ,
  ` houseValue ` decimal ( 10 , 2 ) NOT NULL ,
  ` term ` int ( 2 ) NOT NULL ,
  ` initialRate ` text NOT NULL ,
  ` revertRate ` text NOT NULL ,
  ` maxLTV ` text NOT NULL ,
  ` initialPeriod ` text NOT NULL ,
  ` minMaxMortgageAmount ` text NOT NULL ,
  ` minimumAge ` text NOT NULL ,
  ` initialMonthlyRepayments ` text NOT NULL ,
  ` monthlyRepaymentsAfter ` text NOT NULL ,
  ` totalAmountToRepay ` decimal ( 10 , 2 ) NOT NULL ,
  ` TotalAmountOfInterest ` decimal ( 10 , 2 ) NOT NULL ,
  ` overpayments ` text NOT NULL ,
  ` paymentHolidays ` text NOT NULL ,
  ` portable ` text NOT NULL ,
  ` cashback ` text NOT NULL ,
  ` fees ` decimal ( 10 , 2 ) NOT NULL ,
  ` valuationReport ` text NOT NULL ,
  ` homebuyerSurvey ` text NOT NULL ,
  PRIMARY KEY ( ` id ` )
) ENGINE = MyISAM DEFAULT CHARSET = latin1;

Modifiez les détails de la connexion SQL dans le fichier Mortgage.py pour le pointer vers votre base de données SQL.

Définir les valeurs du "montant d'emprunteur", de la "valeur de la maison" et de la "termes hypothécaires"

Vous pouvez modifier les paramètres "Montant d'emprunter", "valeur de la maison" et "Mortgage Term" dans le fichier ScraSesence.py.

Exécuter le grattoir

Pour exécuter, exécutez le fichier StrATRACHEDECT.PY