vk url scraper

vk-url-scraper

ไลบรารี Python เพื่อดึงข้อมูล และโดยเฉพาะลิงก์มีเดีย เช่น วิดีโอและรูปภาพ จาก URL ของ vk.com

คุณสามารถใช้มันผ่านทางบรรทัดคำสั่งหรือเป็นไลบรารีหลาม ตรวจสอบ เอกสารประกอบ

การติดตั้ง

คุณสามารถติดตั้งรุ่นล่าสุดได้จาก pypi ผ่าน pip install vk-url-scraper

ขณะนี้คุณต้องถอนการติดตั้งด้วยตนเองและติดตั้งการพึ่งพาอีกครั้งหนึ่ง (เนื่องจากติดตั้งจาก github ไม่ใช่ pypi):

pip uninstall vk-api
pip install git+https://github.com/python273/vk_api.git@b99dac0ec2f832a6c4b20bde49869e7229ce4742

หากต้องการใช้ไลบรารี คุณจะต้องมีชื่อผู้ใช้/รหัสผ่านที่ถูกต้องสำหรับ vk.com

การใช้บรรทัดคำสั่ง

output.json # download any photos or videos found in these URLS # this will use or create an output/ folder and dump the files there vk_url_scraper -u "username here" -p "password here" --download --urls https://vk.com/wall12345_6789 # or vk_url_scraper -u "username here" -p "password here" -d --urls https://vk.com/wall12345_6789">

 # run this to learn more about the parameters
vk_url_scraper --help

# scrape a URL and get the JSON result in the console
vk_url_scraper --username " username here " --password " password here " --urls https://vk.com/wall12345_6789
# OR
vk_url_scraper -u " username here " -p " password here " --urls https://vk.com/wall12345_6789
# you can also have multiple urls
vk_url_scraper -u " username here " -p " password here " --urls https://vk.com/wall12345_6789 https://vk.com/photo-12345_6789 https://vk.com/video12345_6789

# you can pass a token as well to avoid always authenticating 
# and possibly getting captcha prompts
# you can fetch the token from the vk_config.v2.json file generated under by searching for "access_token"
vk_url_scraper -u " username " -p " password " -t " vktoken goes here " --urls https://vk.com/wall12345_6789

# save the JSON output into a file
vk_url_scraper -u " username here " -p " password here " --urls https://vk.com/wall12345_6789 > output.json

# download any photos or videos found in these URLS
# this will use or create an output/ folder and dump the files there
vk_url_scraper -u " username here " -p " password here " --download --urls https://vk.com/wall12345_6789
# or
vk_url_scraper -u " username here " -p " password here " -d --urls https://vk.com/wall12345_6789

การใช้งานไลบรารี Python

to get the text from code">

 from vk_url_scraper import VkScraper

vks = VkScraper ( "username" , "password" )

# scrape any "photo" URL
res = vks . scrape ( "https://vk.com/photo1_278184324?rev=1" )

# scrape any "wall" URL
res = vks . scrape ( "https://vk.com/wall-1_398461" )

# scrape any "video" URL
res = vks . scrape ( "https://vk.com/video-6596301_145810025" )
print ( res [ 0 ][ "text" ]) # eg: -> to get the text from code 

 # Every scrape* function returns a list of dict like
{
	"id" : "wall_id" ,
	"text" : "text in this post" ,
	"datetime" : utc datetime of post ,
	"attachments" : {
		# if photo, video, link exists
		"photo" : [ list of urls with max quality ],
		"video" : [ list of urls with max quality ],
		"link" : [ list of urls with max quality ],
	},
	"payload" : " original JSON response converted to dict which you can parse for more data
}

ดู [เอกสาร] สำหรับฟังก์ชันที่มีอยู่ทั้งหมด

สิ่งที่ต้องทำ

• ขูดลิงก์อัลบั้ม
• ขูดลิงค์โปรไฟล์
• เอกสารออนไลน์จากสฟิงซ์

การพัฒนา

(ข้อมูลเพิ่มเติมใน CONTRIBUTING.md)

1. ตั้งค่าสภาพแวดล้อม dev ด้วย pip install -r dev-requirements.txt หรือ pipenv install -r dev-requirements.txt
2. สภาพแวดล้อมการตั้งค่าด้วย pip install -r requirements.txt หรือ pipenv install -r requirements.txt
3. เพื่อดำเนินการตรวจสอบทั้งหมดเพื่อ make run-checks (รูปแบบการแก้ไข) หรือทีละรายการ
   1. วิธีแก้ไขสไตล์ : black . และ isort . -> flake8 . เพื่อตรวจสอบความถูกต้องของผ้าสำลี
   2. หากต้องการทำการตรวจสอบประเภท: mypy .
   3. วิธีทดสอบ: pytest . ( pytest -v --color=yes --doctest-modules tests/ vk_url_scraper/ เพื่อใช้ verbose, สี และตัวอย่าง docstring ทดสอบ)
4. make docs เพื่อสร้างเอกสาร shpynx -> แก้ไข config.py หากจำเป็น

ในการทดสอบอินเทอร์เฟซบรรทัดคำสั่งที่มีอยู่ใน main .py คุณต้องส่งตัวเลือก -m ไปยัง python ดังนี้: python -m vk_url_scraper -u "" -p "" --urls ...

ออกเวอร์ชั่นใหม่

1. แก้ไข version.py ด้วยการกำหนดเวอร์ชันที่เหมาะสม
2. ตรวจสอบให้แน่ใจว่าได้รัน pipenv run pip freeze > requirements.txt หากคุณจัดการ libs ด้วย pipenv
   1. หากยังคงใช้ vk_api เวอร์ชันฮาร์ดโค้ดอยู่ คุณจะต้องแสดงความคิดเห็น/ลบบรรทัดนั้นออกจากไฟล์ข้อกำหนดที่สร้างขึ้น และแนะนำให้ผู้ใช้ติดตั้งเวอร์ชันจากแหล่งที่มาด้วยตนเอง เนื่องจาก pypi ไม่อนุญาตให้ใช้แท็ก repo/commit นอกจากนี้ ให้เพิ่มเวอร์ชันที่ออกล่าสุด ซึ่งปัจจุบันคือ vk-api==11.9.9
3. เรียกใช้ ./scripts/release.sh เพื่อสร้างแท็กแล้วกดหรืออีกวิธีหนึ่ง
   1. git tag vx.yz เพื่อแท็กเวอร์ชัน
   2. git push origin vx.yz -> สิ่งนี้จะทริกเกอร์เวิร์กโฟลว์และวางโปรเจ็กต์บน pypi
4. ไปที่ https://readthedocs.org/ เพื่อปรับใช้เอกสารเวอร์ชันใหม่ (หากไม่ได้ตั้งค่า webhook)

แก้ไขการปล่อยที่ล้มเหลว

หากเวิร์กโฟลว์การเปิดตัว GitHub Actions ล้มเหลวด้วยเหตุผลบางประการโดยมีข้อผิดพลาดที่ต้องแก้ไข คุณจะต้องลบทั้งแท็กและรุ่นที่เกี่ยวข้องออกจาก GitHub หลังจากที่คุณได้ผลักดันการแก้ไขแล้ว ให้ลบแท็กออกจากโคลนในเครื่องของคุณด้วย

git tag -l | xargs git tag -d && git fetch -t

จากนั้นทำซ้ำขั้นตอนข้างต้น