identify

識別する

Python 用のファイル識別ライブラリ。

ファイル (またはファイルに関する情報) を指定すると、そのファイルが何であるかを識別する標準化されたタグのセットを返します。

インストール

pip install identify

使用法

ディスク上のファイルがある場合

ディスク上に実際のファイルがある場合は、可能な限り多くの情報を取得できます (他のすべての方法のスーパーセット)。

 >> > from identify import identify
>> > identify . tags_from_path ( '/path/to/file.py' )
{ 'file' , 'text' , 'python' , 'non-executable' }
>> > identify . tags_from_path ( '/path/to/file-with-shebang' )
{ 'file' , 'text' , 'shell' , 'bash' , 'executable' }
>> > identify . tags_from_path ( '/bin/bash' )
{ 'file' , 'binary' , 'executable' }
>> > identify . tags_from_path ( '/path/to/directory' )
{ 'directory' }
>> > identify . tags_from_path ( '/path/to/symlink' )
{ 'symlink' }

ディスク上のファイルを使用する場合、次のチェックが実行されます。

• ファイルタイプ (ファイル、シンボリックリンク、ディレクトリ、ソケット)
• モード (実行可能か?)
• ファイル名 (主に拡張子に基づく)
• 実行可能であれば、シバンが読み取られ、インタプリタが解釈されます。

ファイル名だけがわかっている場合

 >> > identify . tags_from_filename ( 'file.py' )
{ 'text' , 'python' }

通訳しかいない場合

 >> > identify . tags_from_interpreter ( 'python3.5' )
{ 'python' , 'python3' }
>> > identify . tags_from_interpreter ( 'bash' )
{ 'shell' , 'bash' }
>> > identify . tags_from_interpreter ( 'some-unrecognized-thing' )
set ()

クリとして

 $ identify-cli --help
usage: identify-cli [-h] [--filename-only] path

positional arguments:
  path

optional arguments:
  -h, --help       show this help message and exit
  --filename-only

$ identify-cli setup.py ; echo $?
["file", "non-executable", "python", "text"]
0
$ identify-cli setup.py --filename-only ; echo $?
["python", "text"]
0
$ identify-cli wat.wat ; echo $?
wat.wat does not exist.
1
$ identify-cli wat.wat --filename-only ; echo $?
1

LICENSE ファイルの識別

identifyファイルにどのような種類のライセンスが含まれているかを判断するための API もあります。このルーチンは、ライセンシー (リポジトリのライセンスを把握するために github が使用する Ruby gem) が使用するアプローチにほぼ基づいています。

用途をidentifyアプローチは次のとおりです。

1. 著作権ラインを削除する
2. すべての空白を正規化する
3. 完全に一致するものを返します
4. 編集距離によって最も近いものを返します (編集距離 < 5%)

API を使用するには、 pip install identify[license]経由でインストールします。

>>> from identify import identify
>>> identify.license_id( ' LICENSE ' )
'MIT'

license_id関数の戻り値は SPDX ID です。現在、ライセンスはchoosealicense.comから提供されています。

仕組み

tags_from_pathを呼び出すと、次のようになります。

1. タイプは何ですか: ファイル、シンボリックリンク、ディレクトリ?ファイルでない場合は、ここで終了します。
2. 実行可能ですか?適切なタグを追加します。
3. ファイル拡張子を認識できますか?その場合は、適切なタグを追加して、ここで終了します。これらのタグにはバイナリ/テキストが含まれます。
4. ファイルの最初の X バイトを調べます。これらを使用してバイナリかテキストかを判断し、適切なタグを追加します。
5. 上記のテキストとして識別された場合は、シバンを読んで解釈し、適切なタグを追加してください。

設計上、これは、ファイル拡張子が認識されるファイルを部分的に読み取る必要がないことを意味します。