cookidump

Cookidump

Mudah membuang resep Cookidoo dari situs web resmi

Keterangan

Program ini memungkinkan Anda untuk membuang semua resep di situs web Cookidoo (tersedia untuk berbagai negara) untuk offline dan pasca -pembacaan. Resep -resep tersebut berlaku khusus untuk perangkat Thermomix/Bimby. Untuk membuang resep, diperlukan langganan yang valid.

Konsep awal program ini didasarkan pada jakubszalaty/cookidoo-parser.

Menyebutkan

Jika Anda bermaksud menyelidiki atau memperluas CookIdump secara ilmiah, silakan pertimbangkan mengutip makalah berikut.

 @article{cambiaso2022cookidump,
title = {Web security and data dumping: The Cookidump case},
journal = {Software Impacts},
volume = {14},
pages = {100426},
year = {2022},
issn = {2665-9638},
doi = {https://doi.org/10.1016/j.simpa.2022.100426},
url = {https://www.sciencedirect.com/science/article/pii/S2665963822001105},
author = {Enrico Cambiaso and Maurizio Aiello},
keywords = {Cyber-security, Data dump, Database security, Browser automation},
abstract = {In the web security field, data dumping activities are often related to a malicious exploitation. In this paper, we focus on data dumping activities executed legitimately by scraping/storing data shown on the browser. We evaluate such operation by proposing Cookidump, a tool able to dump all recipes available on the Cookidoo© website portal. While such scenario is not relevant, in terms of security and privacy, we discuss the impact of such kind of activity for other scenarios including web applications hosting sensitive information.}
}

Informasi lebih lanjut dapat ditemukan di https://www.sciencyirect.com/science/article/pii/s2665963822001105.

Fitur

• Mudah dijalankan
• Output HTML yang mudah dibuka
• Output termasuk daftar resep yang dapat dibuang
• Pencarian yang dapat disesuaikan

Instalasi

nix

 nix run github:auino/cookidump -- <outputdir> [--separate-json]

NIX PENYEDIAAN google-chrome bersama dengan chromedriver . Hanya argumen <outputdir> dan [--separate-json] yang diharapkan.

manual

1. Klon Repositori:

 git clone https://github.com/auino/cookidump.git

2. cd ke folder unduhan

3. Pasang persyaratan Python:

 pip install -r requirements.txt

4. Instal browser Google Chrome, jika belum diinstal

5. Unduh Chrome Webdriver dan simpan di folder cookidump

6. Anda siap membuang resep Anda

Penggunaan

Cukup jalankan perintah berikut untuk memulai program. Program ini interaktif untuk menyederhanakan penggunaannya.

 python cookidump.py [--separate-json] <webdriverfile> <outputdir>

Di mana:

• webdriverfile mengidentifikasi jalur ke Chrome WebDriver yang diunduh (misalnya, chromedriver.exe untuk host Windows, ./chromedriver untuk host Linux dan macOS)
• outputdir mengidentifikasi jalur direktori output (akan dibuat, jika belum ada)
• --separate-json memungkinkan untuk menghasilkan file JSON terpisah untuk setiap resep, bukan satu file agregat termasuk semua resep

Program ini akan membuka jendela Google Chrome dan menunggu sampai Anda masuk ke akun Cookidoo Anda (berbagai negara didukung).

Setelah itu, ikuti intruksi yang disediakan oleh skrip itu sendiri untuk melanjutkan dengan dump.

Pertimbangan

Dengan mengikuti instruksi skrip, dimungkinkan juga untuk menerapkan filter khusus untuk mengekspor resep yang dipilih (misalnya, di dasar hidangan, judul dan bahan, versi Thermomix/Bimby, dll.).

Output diwakili oleh file index.html , termasuk dalam outputdir , ditambah satu set resep di dalam folder terstruktur. Dengan membuka file index.html yang dihasilkan di browser Anda, dimungkinkan untuk memiliki daftar resep yang diunduh dan berselancar ke resep yang diinginkan.

Jumlah resep yang diekspor terbatas sekitar 1000 untuk setiap eksekusi. Oleh karena itu, penggunaan filter dapat membantu dalam kasus ini untuk mengurangi jumlah resep yang diekspor.

Pendekatan lain

Pendekatan yang berbeda, yang sebelumnya diadopsi, didasarkan pada pengambilan data terstruktur pada resep. Informasi lebih lanjut dapat ditemukan di cabang struktur data. Output diwakili dalam kasus ini dalam format yang berbeda (terstruktur), oleh karena itu, harus ditafsirkan. Interpretasi semacam itu tidak diimplementasikan dalam komit sebelumnya yang ditautkan.

Todo

• Memotong terbatas jumlah resep yang diekspor
• Resep yang diunduh parse untuk menyimpannya di database, atau untuk menghasilkan PDF tertaut yang unik
• Buat chrome run headless untuk kecepatan yang lebih baik
• Siapkan wadah khusus untuk program ini

Pendukung

• @vikramsoni2, tentang penyelamatan json plus peningkatan kecil
• @mrwogu, mengenai informasi tambahan yang akan diekstraksi pada file JSON yang dihasilkan, ditambah saran tentang kemungkinan untuk menyimpan resep pada file JSON khusus
• @nilskrause, mengenai argumen parsing dan pembaruan pada tautan untuk mengunduh webdriver chrome
• @Nightprogramming, mengenai penggunaan Selenium Versi 3
• @morela, mengenai pembaruan alat untuk mendukung versi selenium yang lebih baru
• @ndjc, memperbaiki beberapa peringatan penghentian

Penafian

Penulis program ini tidak bertanggung jawab atas penggunaannya. Program ini dirilis hanya untuk tujuan penelitian dan penyebaran. Juga, program ini memberikan pengguna kemampuan untuk menyimpan resep yang dapat diakses secara lokal dan sementara yang dapat diakses melalui langganan yang sah. Sebelum menggunakan program ini, periksa persyaratan layanan langganan Cookidoo, sesuai dengan negara yang terkait dengan langganan yang dieksploitasi. Berbagi resep yang diperoleh bukanlah kegiatan yang sah dan penulis program ini tidak bertanggung jawab atas aktivitas illecit dan berbagi yang dicapai oleh pengguna.

Kontak

Anda dapat menemukan saya di Twitter sebagai @auino.