Mortgage Scraper

MoneySupermarket.com ипотечный скребок

MoneySupermarket.com ипотечный скребок написан на Python. Код скрещивает ипотеку с http://www.moneysupermarket.com и вставляет данные о задержании в базу данных SQL.

Я создал этот код, так как хотел купить свой первый дом. Я хотел следить за предложениями ипотеки, чтобы я мог следить за рыночными тенденциями. Затем я мог бы легко запустить некоторые запросы, чтобы сравнить ипотеку, чтобы найти лучшую сделку.

Исходные файлы

Mortgage.py - хранит всю информацию о каждом предложении ипотеки, с методом «Сохранить», который вставляет данные в базу данных SQL.
Results.py - хранит всю информацию на каждой странице результатов, которая разбита на ссылки для конкретных ипотечных кредитов, а также ссылку на страницу больше результатов в последовательности (то есть ссылка «показывать больше»).
scrapemortgage.py - Когда дается ипотечный URL, это создает и заполняет ипотечный объект.
scraperesults.py - когда ему дают ипотечный URL, это создает и заполняет объект результатов.
ScrapeSequence.py - это проходит через серию ипотечных кредитов, вызывая ScrapeSults и Scrapemortgage для всех из них.

Инструкции для использования

Это некоторые инструкции, чтобы начать вас:

База данных SQL

В вашей базе данных SQL запустите следующий запрос, чтобы создать таблицу

 CREATE TABLE ` mortgages ` (
  ` id ` int ( 11 ) NOT NULL AUTO_INCREMENT,
  ` rundate ` date NOT NULL ,
  ` url ` varchar ( 500 ) NOT NULL DEFAULT ' ' ,
  ` lender ` text NOT NULL ,
  ` typeOfMortgage ` text NOT NULL ,
  ` borrowAmount ` decimal ( 10 , 2 ) NOT NULL ,
  ` houseValue ` decimal ( 10 , 2 ) NOT NULL ,
  ` term ` int ( 2 ) NOT NULL ,
  ` initialRate ` text NOT NULL ,
  ` revertRate ` text NOT NULL ,
  ` maxLTV ` text NOT NULL ,
  ` initialPeriod ` text NOT NULL ,
  ` minMaxMortgageAmount ` text NOT NULL ,
  ` minimumAge ` text NOT NULL ,
  ` initialMonthlyRepayments ` text NOT NULL ,
  ` monthlyRepaymentsAfter ` text NOT NULL ,
  ` totalAmountToRepay ` decimal ( 10 , 2 ) NOT NULL ,
  ` TotalAmountOfInterest ` decimal ( 10 , 2 ) NOT NULL ,
  ` overpayments ` text NOT NULL ,
  ` paymentHolidays ` text NOT NULL ,
  ` portable ` text NOT NULL ,
  ` cashback ` text NOT NULL ,
  ` fees ` decimal ( 10 , 2 ) NOT NULL ,
  ` valuationReport ` text NOT NULL ,
  ` homebuyerSurvey ` text NOT NULL ,
  PRIMARY KEY ( ` id ` )
) ENGINE = MyISAM DEFAULT CHARSET = latin1;

Отредактируйте детали подключения SQL в файле Mortgage.py, чтобы указать его в базу данных SQL.

Установка «заимствовать сумму», «стоимость дома» и значения «ипотечные сроки»

Вы можете изменить параметры «заимствования», «стоимость дома» и «ипотечный термин» в файле scrapeSequence.py.

Запуск скребка

Чтобы запустить, запустите файл scrapeSequence.py