vk url scraper

vk-url-스크레이퍼

vk.com URL에서 데이터, 특히 비디오 및 사진과 같은 미디어 링크를 스크랩하는 Python 라이브러리입니다.

명령줄을 통해 또는 Python 라이브러리로 사용할 수 있습니다. 설명서를 확인하세요.

설치

pip install vk-url-scraper 통해 pypi의 최신 릴리스를 설치할 수 있습니다.

현재 종속성 하나를 수동으로 제거하고 다시 설치해야 합니다(pypi가 아닌 github에서 설치되므로).

pip uninstall vk-api
pip install git+https://github.com/python273/vk_api.git@b99dac0ec2f832a6c4b20bde49869e7229ce4742

라이브러리를 사용하려면 vk.com에 대한 유효한 사용자 이름/비밀번호 조합이 필요합니다.

명령줄 사용법

output.json # download any photos or videos found in these URLS # this will use or create an output/ folder and dump the files there vk_url_scraper -u "username here" -p "password here" --download --urls https://vk.com/wall12345_6789 # or vk_url_scraper -u "username here" -p "password here" -d --urls https://vk.com/wall12345_6789">

 # run this to learn more about the parameters
vk_url_scraper --help

# scrape a URL and get the JSON result in the console
vk_url_scraper --username " username here " --password " password here " --urls https://vk.com/wall12345_6789
# OR
vk_url_scraper -u " username here " -p " password here " --urls https://vk.com/wall12345_6789
# you can also have multiple urls
vk_url_scraper -u " username here " -p " password here " --urls https://vk.com/wall12345_6789 https://vk.com/photo-12345_6789 https://vk.com/video12345_6789

# you can pass a token as well to avoid always authenticating 
# and possibly getting captcha prompts
# you can fetch the token from the vk_config.v2.json file generated under by searching for "access_token"
vk_url_scraper -u " username " -p " password " -t " vktoken goes here " --urls https://vk.com/wall12345_6789

# save the JSON output into a file
vk_url_scraper -u " username here " -p " password here " --urls https://vk.com/wall12345_6789 > output.json

# download any photos or videos found in these URLS
# this will use or create an output/ folder and dump the files there
vk_url_scraper -u " username here " -p " password here " --download --urls https://vk.com/wall12345_6789
# or
vk_url_scraper -u " username here " -p " password here " -d --urls https://vk.com/wall12345_6789

Python 라이브러리 사용

to get the text from code">

 from vk_url_scraper import VkScraper

vks = VkScraper ( "username" , "password" )

# scrape any "photo" URL
res = vks . scrape ( "https://vk.com/photo1_278184324?rev=1" )

# scrape any "wall" URL
res = vks . scrape ( "https://vk.com/wall-1_398461" )

# scrape any "video" URL
res = vks . scrape ( "https://vk.com/video-6596301_145810025" )
print ( res [ 0 ][ "text" ]) # eg: -> to get the text from code 

 # Every scrape* function returns a list of dict like
{
	"id" : "wall_id" ,
	"text" : "text in this post" ,
	"datetime" : utc datetime of post ,
	"attachments" : {
		# if photo, video, link exists
		"photo" : [ list of urls with max quality ],
		"video" : [ list of urls with max quality ],
		"link" : [ list of urls with max quality ],
	},
	"payload" : " original JSON response converted to dict which you can parse for more data
}

사용 가능한 모든 기능은 [문서]를 참조하세요.

TODO

• 스크랩 앨범 링크
• 프로필 링크 스크랩
• 스핑크스의 온라인 문서

개발

(CONTRIBUTING.md에서 더 많은 정보를 확인하세요).

1. pip install -r dev-requirements.txt 또는 pipenv install -r dev-requirements.txt 사용하여 개발 환경 설정
2. pip install -r requirements.txt 또는 pipenv install -r requirements.txt 를 사용하여 환경 설정
3. 모든 검사를 실행하여 make run-checks 거나 개별적으로 실행하려면
   1. 스타일을 수정하려면: black . 그리고 isort . -> flake8 . 린트를 검증하기 위해
   2. 유형 검사를 수행하려면: mypy .
   3. 테스트하려면: pytest . (자세한 내용, 색상 및 테스트 독스트링 예제를 사용하려면 pytest -v --color=yes --doctest-modules tests/ vk_url_scraper/ )
4. shpynx 문서를 생성하기 위한 make docs -> 필요한 경우 config.py 편집

main .py에서 사용할 수 있는 명령줄 인터페이스를 테스트하려면 다음과 같이 -m 옵션을 python에 전달해야 합니다: python -m vk_url_scraper -u "" -p "" --urls ...

새 버전 출시

1. 적절한 버전 관리로 version.py 편집
2. Pipenv를 사용하여 libs를 관리하는 경우 pipenv run pip freeze > requirements.txt 실행하세요.
   1. vk_api의 하드코딩된 버전이 여전히 사용되고 있는 경우 생성된 요구 사항 파일에서 해당 줄을 주석 처리/제거하고 pypi가 repo/commit 태그를 허용하지 않으므로 사용자에게 소스에서 버전을 수동으로 설치하도록 지시해야 합니다. 또한 최신 릴리스 버전인 현재 vk-api==11.9.9 추가하세요.
3. ./scripts/release.sh 실행하여 태그를 생성하고 푸시하세요.
   1. git tag vx.yz 버전 태그로 지정
   2. git push origin vx.yz -> 워크플로가 실행되고 프로젝트가 pypi에 배치됩니다.
4. 새 문서 버전을 배포하려면 https://readthedocs.org/로 이동하세요(웹훅이 설정되지 않은 경우).

실패한 릴리스 수정

어떤 이유로든 수정이 필요한 오류로 인해 GitHub Actions 릴리스 워크플로가 실패한 경우 GitHub에서 태그와 해당 릴리스를 모두 삭제해야 합니다. 수정 사항을 푸시한 후 다음을 사용하여 로컬 복제본에서 태그를 삭제하세요.

git tag -l | xargs git tag -d && git fetch -t

그런 다음 위의 단계를 반복하십시오.