vk url scraper

vk-url-scraper

用于从 vk.com URL 中抓取数据，尤其是视频和照片等媒体链接的 Python 库。

您可以通过命令行使用它或将其作为 python 库使用，请查看文档。

安装

您可以通过pip install vk-url-scraper从 pypi 安装最新版本。

目前，您需要手动卸载并重新安装一个依赖项（因为它是从 github 安装的，而不是 pypi）：

pip uninstall vk-api
pip install git+https://github.com/python273/vk_api.git@b99dac0ec2f832a6c4b20bde49869e7229ce4742

要使用该库，您需要 vk.com 的有效用户名/密码组合。

命令行使用

output.json # download any photos or videos found in these URLS # this will use or create an output/ folder and dump the files there vk_url_scraper -u "username here" -p "password here" --download --urls https://vk.com/wall12345_6789 # or vk_url_scraper -u "username here" -p "password here" -d --urls https://vk.com/wall12345_6789">

 # run this to learn more about the parameters
vk_url_scraper --help

# scrape a URL and get the JSON result in the console
vk_url_scraper --username " username here " --password " password here " --urls https://vk.com/wall12345_6789
# OR
vk_url_scraper -u " username here " -p " password here " --urls https://vk.com/wall12345_6789
# you can also have multiple urls
vk_url_scraper -u " username here " -p " password here " --urls https://vk.com/wall12345_6789 https://vk.com/photo-12345_6789 https://vk.com/video12345_6789

# you can pass a token as well to avoid always authenticating 
# and possibly getting captcha prompts
# you can fetch the token from the vk_config.v2.json file generated under by searching for "access_token"
vk_url_scraper -u " username " -p " password " -t " vktoken goes here " --urls https://vk.com/wall12345_6789

# save the JSON output into a file
vk_url_scraper -u " username here " -p " password here " --urls https://vk.com/wall12345_6789 > output.json

# download any photos or videos found in these URLS
# this will use or create an output/ folder and dump the files there
vk_url_scraper -u " username here " -p " password here " --download --urls https://vk.com/wall12345_6789
# or
vk_url_scraper -u " username here " -p " password here " -d --urls https://vk.com/wall12345_6789

Python 库的使用

to get the text from code">

 from vk_url_scraper import VkScraper

vks = VkScraper ( "username" , "password" )

# scrape any "photo" URL
res = vks . scrape ( "https://vk.com/photo1_278184324?rev=1" )

# scrape any "wall" URL
res = vks . scrape ( "https://vk.com/wall-1_398461" )

# scrape any "video" URL
res = vks . scrape ( "https://vk.com/video-6596301_145810025" )
print ( res [ 0 ][ "text" ]) # eg: -> to get the text from code 

 # Every scrape* function returns a list of dict like
{
	"id" : "wall_id" ,
	"text" : "text in this post" ,
	"datetime" : utc datetime of post ,
	"attachments" : {
		# if photo, video, link exists
		"photo" : [ list of urls with max quality ],
		"video" : [ list of urls with max quality ],
		"link" : [ list of urls with max quality ],
	},
	"payload" : " original JSON response converted to dict which you can parse for more data
}

有关所有可用功能，请参阅[文档]。

待办事项

• 抓取专辑链接
• 抓取个人资料链接
• sphinx 在线文档

发展

（更多信息请参见 CONTRIBUTING.md）。

1. 使用pip install -r dev-requirements.txt或pipenv install -r dev-requirements.txt设置开发环境
2. 使用pip install -r requirements.txt或pipenv install -r requirements.txt设置环境
3. 运行所有检查以make run-checks （修复样式）或单独进行
   1. 固定样式： black .和isort . -> flake8 .验证 lint
   2. 进行类型检查： mypy .
   3. 测试： pytest . （ pytest -v --color=yes --doctest-modules tests/ vk_url_scraper/使用详细、颜色和测试文档字符串示例）
4. make docs生成 shpynx 文档 -> 如果需要，编辑 config.py

要测试main .py 中可用的命令行界面，您需要将-m选项传递给 python，如下所示： python -m vk_url_scraper -u "" -p "" --urls ...

发布新版本

1. 使用正确的版本控制编辑 version.py
2. 如果您使用 pipelinenv 管理库，请确保运行pipenv run pip freeze > requirements.txt
   1. 如果仍在使用 vk_api 的硬编码版本，那么您必须从生成的需求文件中注释/删除该行，并指示用户从源手动安装该版本，因为 pypi 不允许 repo/commit 标签。另外，添加最新发布的版本，当前vk-api==11.9.9 。
3. 运行./scripts/release.sh创建标签并推送，或者
   1. git tag vx.yz来标记版本
   2. git push origin vx.yz -> 这将触发工作流程并将项目放在 pypi 上
4. 转到 https://readthedocs.org/ 部署新的文档版本（如果未设置 webhook）

修复失败的发布

如果由于某种原因 GitHub Actions 发布工作流程失败并出现需要修复的错误，您必须从 GitHub 中删除标签和相应的版本。推送修复后，使用以下命令从本地克隆中删除标签

git tag -l | xargs git tag -d && git fetch -t

然后重复上述步骤。