vk url scraper

vk-url-スクレーパー

データ、特にビデオや写真などのメディア リンクを vk.com URL から収集するための Python ライブラリ。

コマンドライン経由で使用することも、Python ライブラリとして使用することもできます。ドキュメントを確認してください。

インストール

pip install vk-url-scraperを介して pypi から最新リリースをインストールできます。

現在、1 つの依存関係を手動でアンインストールして再インストールする必要があります (依存関係は pypi ではなく github からインストールされるため)。

pip uninstall vk-api
pip install git+https://github.com/python273/vk_api.git@b99dac0ec2f832a6c4b20bde49869e7229ce4742

ライブラリを使用するには、vk.com の有効なユーザー名とパスワードの組み合わせが必要です。

コマンドラインの使用法

output.json # download any photos or videos found in these URLS # this will use or create an output/ folder and dump the files there vk_url_scraper -u "username here" -p "password here" --download --urls https://vk.com/wall12345_6789 # or vk_url_scraper -u "username here" -p "password here" -d --urls https://vk.com/wall12345_6789">

 # run this to learn more about the parameters
vk_url_scraper --help

# scrape a URL and get the JSON result in the console
vk_url_scraper --username " username here " --password " password here " --urls https://vk.com/wall12345_6789
# OR
vk_url_scraper -u " username here " -p " password here " --urls https://vk.com/wall12345_6789
# you can also have multiple urls
vk_url_scraper -u " username here " -p " password here " --urls https://vk.com/wall12345_6789 https://vk.com/photo-12345_6789 https://vk.com/video12345_6789

# you can pass a token as well to avoid always authenticating 
# and possibly getting captcha prompts
# you can fetch the token from the vk_config.v2.json file generated under by searching for "access_token"
vk_url_scraper -u " username " -p " password " -t " vktoken goes here " --urls https://vk.com/wall12345_6789

# save the JSON output into a file
vk_url_scraper -u " username here " -p " password here " --urls https://vk.com/wall12345_6789 > output.json

# download any photos or videos found in these URLS
# this will use or create an output/ folder and dump the files there
vk_url_scraper -u " username here " -p " password here " --download --urls https://vk.com/wall12345_6789
# or
vk_url_scraper -u " username here " -p " password here " -d --urls https://vk.com/wall12345_6789

Pythonライブラリの使用法

to get the text from code">

 from vk_url_scraper import VkScraper

vks = VkScraper ( "username" , "password" )

# scrape any "photo" URL
res = vks . scrape ( "https://vk.com/photo1_278184324?rev=1" )

# scrape any "wall" URL
res = vks . scrape ( "https://vk.com/wall-1_398461" )

# scrape any "video" URL
res = vks . scrape ( "https://vk.com/video-6596301_145810025" )
print ( res [ 0 ][ "text" ]) # eg: -> to get the text from code 

 # Every scrape* function returns a list of dict like
{
	"id" : "wall_id" ,
	"text" : "text in this post" ,
	"datetime" : utc datetime of post ,
	"attachments" : {
		# if photo, video, link exists
		"photo" : [ list of urls with max quality ],
		"video" : [ list of urls with max quality ],
		"link" : [ list of urls with max quality ],
	},
	"payload" : " original JSON response converted to dict which you can parse for more data
}

利用可能なすべての機能については、[ドキュメント] を参照してください。

TODO

• アルバムリンクをスクレイピング
• プロフィールリンクをスクレイピング
• スフィンクスからのオンラインドキュメント

発達

(詳細については CONTRIBUTING.md を参照してください)。

1. pip install -r dev-requirements.txtまたはpipenv install -r dev-requirements.txtを使用して開発環境をセットアップします
2. pip install -r requirements.txtまたはpipenv install -r requirements.txtを使用して環境をセットアップします。
3. すべてのチェックを実行してmake run-checksか、個別に実行するには
   1. スタイルを修正するには: black .そしてisort . -> flake8 . lint を検証するには
   2. 型チェックを行うには: mypy .
   3. テストするには: pytest . ( pytest -v --color=yes --doctest-modules tests/ vk_url_scraper/冗長、色、およびテスト docstring の例を使用します)
4. shpynx ドキュメントを生成するためにmake docs -> 必要に応じて config.py を編集します

main .py で利用可能なコマンド ライン インターフェイスをテストするには、次のように Python に-mオプションを渡す必要があります: python -m vk_url_scraper -u "" -p "" --urls ...

新しいバージョンのリリース

1. 適切なバージョン管理を使用して version.py を編集します
2. Pipenv でライブラリを管理する場合は、必ずpipenv run pip freeze > requirements.txt実行してください。
   1. vk_api のハードコードされたバージョンがまだ使用されている場合は、生成された要件ファイルからその行をコメント化または削除し、pypi では repo/commit タグが許可されていないため、ソースからバージョンを手動でインストールするようにユーザーに指示する必要があります。さらに、最新リリースのバージョン (現時点ではvk-api==11.9.9を追加します。
3. ./scripts/release.shを実行してタグを作成し、プッシュすることもできます。
   1. git tag vx.yzにバージョンをタグ付けする
   2. git push origin vx.yz -> これによりワークフローがトリガーされ、プロジェクトが pypi に配置されます
4. https://readthedocs.org/ に移動して新しいドキュメント バージョンをデプロイします (Webhook がセットアップされていない場合)

失敗したリリースを修正する

何らかの理由で、GitHub Actions リリース ワークフローが修正が必要なエラーで失敗した場合は、タグと対応するリリースの両方を GitHub から削除する必要があります。修正をプッシュした後、ローカル クローンからタグを削除します。

git tag -l | xargs git tag -d && git fetch -t

その後、上記の手順を繰り返します。