vk url scraper

vk-url-scraper

Pustaka Python untuk mengambil data, dan khususnya tautan media seperti video dan foto, dari URL vk.com.

Anda dapat menggunakannya melalui baris perintah atau sebagai perpustakaan python, periksa dokumentasinya .

Instalasi

Anda dapat menginstal rilis terbaru dari pypi melalui pip install vk-url-scraper .

Saat ini Anda perlu menghapus instalasi secara manual dan menginstal ulang satu dependensi (karena diinstal dari github dan bukan pypi):

pip uninstall vk-api
pip install git+https://github.com/python273/vk_api.git@b99dac0ec2f832a6c4b20bde49869e7229ce4742

Untuk menggunakan perpustakaan, Anda memerlukan kombinasi nama pengguna/kata sandi yang valid untuk vk.com.

Penggunaan baris perintah

output.json # download any photos or videos found in these URLS # this will use or create an output/ folder and dump the files there vk_url_scraper -u "username here" -p "password here" --download --urls https://vk.com/wall12345_6789 # or vk_url_scraper -u "username here" -p "password here" -d --urls https://vk.com/wall12345_6789">

 # run this to learn more about the parameters
vk_url_scraper --help

# scrape a URL and get the JSON result in the console
vk_url_scraper --username " username here " --password " password here " --urls https://vk.com/wall12345_6789
# OR
vk_url_scraper -u " username here " -p " password here " --urls https://vk.com/wall12345_6789
# you can also have multiple urls
vk_url_scraper -u " username here " -p " password here " --urls https://vk.com/wall12345_6789 https://vk.com/photo-12345_6789 https://vk.com/video12345_6789

# you can pass a token as well to avoid always authenticating 
# and possibly getting captcha prompts
# you can fetch the token from the vk_config.v2.json file generated under by searching for "access_token"
vk_url_scraper -u " username " -p " password " -t " vktoken goes here " --urls https://vk.com/wall12345_6789

# save the JSON output into a file
vk_url_scraper -u " username here " -p " password here " --urls https://vk.com/wall12345_6789 > output.json

# download any photos or videos found in these URLS
# this will use or create an output/ folder and dump the files there
vk_url_scraper -u " username here " -p " password here " --download --urls https://vk.com/wall12345_6789
# or
vk_url_scraper -u " username here " -p " password here " -d --urls https://vk.com/wall12345_6789

Penggunaan perpustakaan Python

to get the text from code">

 from vk_url_scraper import VkScraper

vks = VkScraper ( "username" , "password" )

# scrape any "photo" URL
res = vks . scrape ( "https://vk.com/photo1_278184324?rev=1" )

# scrape any "wall" URL
res = vks . scrape ( "https://vk.com/wall-1_398461" )

# scrape any "video" URL
res = vks . scrape ( "https://vk.com/video-6596301_145810025" )
print ( res [ 0 ][ "text" ]) # eg: -> to get the text from code 

 # Every scrape* function returns a list of dict like
{
	"id" : "wall_id" ,
	"text" : "text in this post" ,
	"datetime" : utc datetime of post ,
	"attachments" : {
		# if photo, video, link exists
		"photo" : [ list of urls with max quality ],
		"video" : [ list of urls with max quality ],
		"link" : [ list of urls with max quality ],
	},
	"payload" : " original JSON response converted to dict which you can parse for more data
}

lihat [dokumen] untuk semua fungsi yang tersedia.

TODO

• mengikis tautan album
• mengikis tautan profil
• dokumen online dari sphinx

Perkembangan

(info lebih lanjut di CONTRIBUTING.md).

1. atur lingkungan dev dengan pip install -r dev-requirements.txt atau pipenv install -r dev-requirements.txt
2. lingkungan penyiapan dengan pip install -r requirements.txt atau pipenv install -r requirements.txt
3. Untuk menjalankan semua pemeriksaan untuk make run-checks (gaya perbaikan) atau satu per satu
   1. Untuk memperbaiki gaya: black . dan isort . -> flake8 . untuk memvalidasi serat
   2. Untuk melakukan pengecekan tipe: mypy .
   3. Untuk menguji: pytest . ( pytest -v --color=yes --doctest-modules tests/ vk_url_scraper/ untuk menggunakan contoh verbose, warna, dan uji docstring)
4. make docs untuk menghasilkan dokumen shpynx -> edit config.py jika perlu

Untuk menguji antarmuka baris perintah yang tersedia di .py utama Anda harus meneruskan opsi -m ke python seperti: python -m vk_url_scraper -u "" -p "" --urls ...

Merilis versi baru

1. edit version.py dengan versi yang tepat
2. pastikan untuk menjalankan pipenv run pip freeze > requirements.txt jika Anda mengelola lib dengan pipenv
   1. jika versi hardcode dari vk_api masih digunakan, maka Anda harus mengomentari/menghapus baris tersebut dari file persyaratan yang dihasilkan dan menginstruksikan pengguna untuk menginstal versi secara manual dari sumber karena pypi tidak mengizinkan tag repo/komit. Selain itu, tambahkan versi rilis terbaru, saat ini vk-api==11.9.9 .
3. jalankan ./scripts/release.sh untuk membuat tag dan push, sebagai alternatif
   1. git tag vx.yz untuk menandai versi
   2. git push origin vx.yz -> ini akan memicu alur kerja dan meletakkan proyek di pypi
4. buka https://readthedocs.org/ untuk menerapkan versi dokumen baru (jika webhook tidak disiapkan)

Memperbaiki rilis yang gagal

Jika karena alasan tertentu alur kerja rilis Tindakan GitHub gagal dengan kesalahan yang perlu diperbaiki, Anda harus menghapus tag dan rilis terkait dari GitHub. Setelah Anda melakukan perbaikan, hapus tag dari klon lokal Anda dengan

git tag -l | xargs git tag -d && git fetch -t

Kemudian ulangi langkah di atas.