Download Mortgage Scraper - Download für Mortgage Scraper -Quellcode

Mortgage Scraper

Anderer Quellcode

1.0.0

Herunterladen

Moneysupermarket.com Hypothekenschaber

Moneysupermarket.com Hypothekenschaber ist in Python geschrieben. Der Code erkrankt Hypotheken von http://www.moneysupermarket.com und fügt die Verderbendetails in eine SQL -Datenbank ein.

Ich habe diesen Code erstellt, als ich mein erstes Haus kaufen wollte. Ich wollte das Hypothekenangebot im Auge behalten, damit ich die Markttrends im Auge behalten konnte. Ich konnte dann leicht einige Fragen ausführen, um Hypotheken zu vergleichen, um das beste Angebot zu finden.

Die Quelldateien

Mortgage.py - Speichert alle Informationen zu jedem Hypothekenangebot mit einer "Speichern" -Methode, die die Daten in die SQL -Datenbank einfügt.
results.py - speichert alle Informationen auf jeder Ergebnisseite, die in Links für bestimmte Hypotheken unterteilt ist, und auch den Link zu mehr Ergebnisseite in der Sequenz (dh das Link "More").
Scrapemortgage.py - Wenn eine Hypotheken -URL gegeben wird, wird ein Hypothekenobjekt erstellt und bevölkert.
Scraperesults.py - Wenn eine Hypotheken -URL erhalten wird, wird ein Ergebnisobjekt erstellt und gefüllt.
Scrapesequence.py - Dies geht durch eine Reihe von Hypotheken, nennt Scraperesults und Scrapemortgüter für alle.

Anweisungen zur Verwendung

Dies sind einige Anweisungen, um Ihnen den Einstieg zu erleichtern:

SQL -Datenbank

Führen Sie in Ihrer SQL -Datenbank die folgende Abfrage aus, um die Tabelle zu erstellen

 CREATE TABLE ` mortgages ` (
  ` id ` int ( 11 ) NOT NULL AUTO_INCREMENT,
  ` rundate ` date NOT NULL ,
  ` url ` varchar ( 500 ) NOT NULL DEFAULT ' ' ,
  ` lender ` text NOT NULL ,
  ` typeOfMortgage ` text NOT NULL ,
  ` borrowAmount ` decimal ( 10 , 2 ) NOT NULL ,
  ` houseValue ` decimal ( 10 , 2 ) NOT NULL ,
  ` term ` int ( 2 ) NOT NULL ,
  ` initialRate ` text NOT NULL ,
  ` revertRate ` text NOT NULL ,
  ` maxLTV ` text NOT NULL ,
  ` initialPeriod ` text NOT NULL ,
  ` minMaxMortgageAmount ` text NOT NULL ,
  ` minimumAge ` text NOT NULL ,
  ` initialMonthlyRepayments ` text NOT NULL ,
  ` monthlyRepaymentsAfter ` text NOT NULL ,
  ` totalAmountToRepay ` decimal ( 10 , 2 ) NOT NULL ,
  ` TotalAmountOfInterest ` decimal ( 10 , 2 ) NOT NULL ,
  ` overpayments ` text NOT NULL ,
  ` paymentHolidays ` text NOT NULL ,
  ` portable ` text NOT NULL ,
  ` cashback ` text NOT NULL ,
  ` fees ` decimal ( 10 , 2 ) NOT NULL ,
  ` valuationReport ` text NOT NULL ,
  ` homebuyerSurvey ` text NOT NULL ,
  PRIMARY KEY ( ` id ` )
) ENGINE = MyISAM DEFAULT CHARSET = latin1;