Web crawler novels

Novel perayap web

Unduh dan kompilasi buku dari situs literatur online

Situs web yang didukung:

Situs web	Contoh halaman indeks buku
无忧书城	https://www.51shucheng.net/wangluo/huaqiangu
七猫小说	https://www.qm11.cc/book/9436/
九九藏书网	https://www.99csw.com/book/3952/136682.htm

Pengakuan

Skrip bypass Cloudflare

Memasang

Pengguna seharusnya sudah familiar dengannya $LaTeX$ kode. Karena artikel mungkin berisi kata-kata yang dilindungi undang-undang $LaTeX$ dan akan menyebabkan kegagalan kompilasi, pengguna harus dapat mengidentifikasi dan menghindarinya.

Buat lingkungan virtual Python dan jalankan perintah berikut.

 pip install -r requirements.txt

Instal XeLaTex dan pastikan sistem operasi dapat mengenalinya saat memanggil xelatex di terminal.

Unduh font yang diperlukan untuk mendukung penanganan buku yang ditulis dalam rangkaian karakter yang sesuai.

Font yang diperlukan

Kumpulan karakter	huruf
Latin	(Tidak ada)
Cina	SumberHanSerifCN-Regular.ttf

Jika buku yang ditargetkan ditulis dalam berbagai bahasa, pengguna harus menemukan satu font yang dapat menampilkan semua bahasa dengan benar. Program ini tidak mendukung penggunaan banyak font.

Penggunaan

Unduh buku

Nyatakan halaman indeks buku adalah $book_index , folder lokal untuk menyimpan buku adalah $local . Jalankan perintah berikut untuk mengunduh buku.

 python main.py -s "$book_index" -t "$local"

Untuk fitur lainnya, jalankan perintah berikut.

 python main.py -h

Ekspor ke Lateks

1. Jalankan perintah berikut.

    python export_latex.py -t "$local"
   

2. Koreksi teks di $local/book.tex , dan ubah konten secara manual.

3. Salin font yang diperlukan ke $local .

4. Jalankan perintah berikut, dan tinjau konten $local/book.pdf . Jika daftar isi hilang, jalankan kembali (coba maksimal 3 kali).

    cd $local
   xelatex book.tex
   

5. Ubah konten $local/book.tex secara manual dan ulangi langkah 4, hingga konten $local/book.pdf benar.

6. Jalankan perintah berikut untuk menghapus file setelah menggunakan. Itu $LaTeX$ file dan buku yang dirender tidak akan dihapus.

    python clear_cache.py -t "$local"