ホーム>プログラミング関連>パイソン
ダウンロード

テスト

開発者向けのjc Python パッケージのドキュメントを確認してください。

jc Web デモと REST API を試してみる

jc 、 community.generalコレクションの Ansible フィルター プラグインとして利用できます。例については、このブログ投稿を参照してください。

JC

JSON変換

jcスクリプトでの解析を容易にするために、多くの CLI ツール、ファイル タイプ、一般的な文字列の出力を JSON 化します。サポートされているコマンド、ファイル タイプ、文字列については、 「パーサー」セクションを参照してください。 

dig example.com | jc --dig
[{ "id" : 38052 , "opcode" : " QUERY " , "status" : " NOERROR " , "flags" :[ " qr " , " rd " , " ra " ],
"query_num" : 1 , "answer_num" : 1 , "authority_num" : 0 , "additional_num" : 1 ,
"opt_pseudosection" :{ "edns" :{ "version" : 0 , "flags" :[], "udp" : 4096 }}, "question" :
{ "name" : " example.com. " , "class" : " IN " , "type" : " A " }, "answer" :[{ "name" :
" example.com. " , "class" : " IN " , "type" : " A " , "ttl" : 39049 , "data" : " 93.184.216.34 " }],
"query_time" : 49 , "server" : " 2600:1700:bab0:d40::1#53(2600:1700:bab0:d40::1) " ,
"when" : " Fri Apr 16 16:09:00 PDT 2021 " , "rcvd" : 56 , "when_epoch" : 1618614540 ,
"when_epoch_utc" : null }]

これにより、コマンドをパイプすることにより、 jqやjelloなどのツールを使用して出力をさらにコマンドラインで処理できるようになります。 

$ dig example.com | jc --dig | jq -r ' .[].answer[].data '
93.184.216.34

または、代替の「マジック」構文を使用します。 

$ jc dig example.com | jq -r ' .[].answer[].data '
93.184.216.34

jc Python ライブラリとしても使用できます。この場合、戻り値は、JSON ではなく、Python 辞書、辞書のリスト、または辞書の遅延反復可能です。 

 > >> import subprocess
> >> import jc
> >>
>> > cmd_output = subprocess . check_output ([ 'dig' , 'example.com' ], text = True )
> >> data = jc . parse ( 'dig' , cmd_output )
> >>
>> > data [ 0 ][ 'answer' ]
[{ 'name' : 'example.com.' , 'class' : 'IN' , 'type' : 'A' , 'ttl' : 29658 , 'data' :
'93.184.216.34' }]

jc Python パッケージのドキュメントについては、 help('jc') 、 help('jc.lib')を使用するか、オンライン ドキュメントを参照してください。

データの 2 つの表現が利用可能です。デフォルトの表現では、パーサーごとに厳密なスキーマが使用され、既知の数値が int/float JSON 値に変換されます。特定の既知のNone値は JSON nullに変換され、既知のブール値は変換され、場合によっては追加のセマンティック コンテキスト フィールドが追加されます。

生の前処理された JSON にアクセスするには、 jc Python ライブラリとして使用する場合、 -r cli オプションまたはparse()のraw=True関数パラメーターを使用します。

各パーサーのスキーマは、以下の各パーサーの横にあるドキュメント リンクにあります。

リリース ノートは、Github のリリース セクションにあります。

なぜ誰もがこんなことをするのでしょうか？

このプロジェクトの動機の詳細については、Unix 哲学を 21 世紀にもたらすに関する私のブログ投稿および Console とのインタビューを参照してください。

以下も参照してください。

  • FreeBSD 上の libxo
  • パワーシェル
  • ブログ: Linux アプリには json フラグが必要です
  • ハッカーニュースのディスカッション
  • Redditのディスカッション

使用例:

  • Bash スクリプト
  • Ansible コマンド出力の解析
  • Saltstack コマンド出力の解析
  • Nornir コマンド出力の解析
  • FortiSOAR コマンド出力の解析

インストール

jc取得するにはいくつかの方法があります。 pip 、OS パッケージ リポジトリを介してインストールすることも、アーキテクチャに適したバイナリをダウンロードしてファイル システム上の任意の場所で実行することによってもインストールできます。

Pip (macOS、Linux、UNIX、Windows) 

pip3 install jc

OSパッケージリポジトリ

OS指示
Debian/Ubuntu Linux apt-get install jc
Fedora Linux dnf install jc
openSUSE Linux zypper install jc
アーチリナックスpacman -S jc
NixOS Linux nix-env -iA nixpkgs.jcまたはnix-env -iA nixos.jc
Guix システム Linux guix install jc
Gentoo Linux emerge dev-python/jc
フォトンリナックスtdnf install jc
macOS brew install jc
FreeBSD portsnap fetch update && cd /usr/ports/textproc/py-jc && make install clean
Ansibleフィルタープラグインansible-galaxy collection install community.general
FortiSOAR コネクタFortiSOAR コネクタ マーケットプレイスからインストールする

その他の OS パッケージについては、https://repology.org/project/jc/versions を参照してください。

バイナリ

プリコンパイルされたバイナリについては、Github のリリースを参照してください。

使用法

jc STDINからのパイプ入力を受け入れ、前のコマンドの出力の JSON 表現をSTDOUTに出力します。 

COMMAND | jc [SLICE] [OPTIONS] PARSER
cat FILE | jc [SLICE] [OPTIONS] PARSER
echo STRING | jc [SLICE] [OPTIONS] PARSER

あるいは、変換するコマンドの先頭にjc追加するか、Proc ファイルの絶対パスの前に「マジック」構文を追加することによって、「マジック」構文を使用することもできます。オプションは、コマンドまたは Proc ファイルのパスが指定される直前にjcに渡すことができます。 (注: コマンドエイリアスとシェルビルトインはサポートされていません) 

jc [SLICE] [OPTIONS] COMMAND
jc [SLICE] [OPTIONS] /proc/ < path-to-procfile >

JSON 出力は、コンパクト (デフォルト) にすることも、 -pオプションを使用して整形式にすることもできます。

パーサー

口論コマンドまたはファイルタイプドキュメント
--acpi acpiコマンドパーサー詳細
--airport airport -Iコマンドパーサー詳細
--airport-s airport -sコマンドパーサー詳細
--apt-cache-show apt-cache showコマンドパーサー詳細
--apt-get-sqq apt-get -sqqコマンドパーサー詳細
--arp arpコマンドパーサー詳細
--asciitable ASCII および Unicode テーブル パーサー詳細
--asciitable-m複数行の ASCII および Unicode テーブル パーサー詳細
--blkid blkidコマンドパーサー詳細
--bluetoothctl bluetoothctlコマンドパーサー詳細
--cbt cbt (Google Bigtable) コマンド パーサー詳細
--cef CEF文字列パーサー詳細
--cef-s CEF文字列ストリーミングパーサー詳細
--certbot certbotコマンドパーサー詳細
--chage chage --listコマンドパーサー詳細
--cksum cksumおよびsumコマンド パーサー詳細
--clf共通および複合ログ形式ファイルパーサー詳細
--clf-s共通および複合ログ形式ファイル ストリーミング パーサー詳細
--crontab crontabコマンドとファイルパーサー詳細
--crontab-uユーザーサポート付きのcrontabファイルパーサー詳細
--csv CSVファイルパーサー詳細
--csv-s CSVファイルストリーミングパーサー詳細
--curl-head curl --headコマンドパーサー詳細
--date dateコマンドパーサー詳細
--datetime-iso ISO 8601 日時文字列パーサー詳細
--debconf-show debconf-showコマンドパーサー詳細
--df dfコマンドパーサー詳細
--dig digコマンドパーサー詳細
--dir dirコマンドパーサー詳細
--dmidecode dmidecodeコマンドパーサー詳細
--dpkg-l dpkg -lコマンドパーサー詳細
--du duコマンドパーサー詳細
--efibootmgr efibootmgrコマンド パーサー詳細
--email-address電子メールアドレス文字列パーサー詳細
--env envコマンドパーサー詳細
--ethtool ethtoolコマンドパーサー詳細
--file fileコマンドパーサー詳細
--findコマンドパーサーをfind詳細
--findmnt findmntコマンドパーサー詳細
--finger fingerコマンドパーサー詳細
--free freeコマンドパーサー詳細
--fstab /etc/fstabファイルパーサー詳細
--git-log git logコマンドパーサー詳細
--git-log-s git logコマンド ストリーミング パーサー詳細
--git-ls-remote git ls-remoteコマンドパーサー詳細
--gpg gpg --with-colonsコマンドパーサー詳細
--group /etc/groupファイルパーサー詳細
--gshadow /etc/gshadowファイルパーサー詳細
--hash hashコマンドパーサー詳細
--hashsumハッシュサム コマンド パーサー ( md5sum 、 shasumなど)詳細
--hciconfig hciconfigコマンドパーサー詳細
--history historyコマンドパーサー詳細
--host hostコマンドパーサー詳細
--hosts /etc/hostsファイルパーサー詳細
--http-headers HTTPヘッダーパーサー詳細
--id idコマンドパーサー詳細
--ifconfig ifconfigコマンドパーサー詳細
--ini INI ファイルパーサー詳細
--ini-dup重複キーファイルパーサーを使用したINI詳細
--iostat iostatコマンドパーサー詳細
--iostat-s iostatコマンド ストリーミング パーサー詳細
--ip-address IPv4 および IPv6 アドレス文字列パーサー詳細
--ipconfig ipconfig Windows コマンドパーサー詳細
--iptables iptablesコマンドパーサー詳細
--ip-route ip routeコマンド パーサー詳細
--iw-scan iw dev [device] scanコマンド パーサー詳細
--iwconfig iwconfigコマンドパーサー詳細
--jar-manifest Java MANIFEST.MF ファイル パーサー詳細
--jobs jobsコマンドパーサー詳細
--jwt JWT文字列パーサー詳細
--kvキー/値ファイルと文字列パーサー詳細
--kv-dup重複キーファイルと文字列パーサーを使用したキー/値詳細
--last lastおよびlastbコマンド パーサー詳細
--ls lsコマンドパーサー詳細
--ls-s lsコマンド ストリーミング パーサー詳細
--lsattr lsattrコマンドパーサー詳細
--lsb-release lsb_releaseコマンドパーサー詳細
--lsblk lsblkコマンドパーサー詳細
--lsmod lsmodコマンドパーサー詳細
--lsof lsofコマンドパーサー詳細
--lspci lspci -mmvコマンドパーサー詳細
--lsusb lsusbコマンドパーサー詳細
--m3u M3U および M3U8 ファイル パーサー詳細
--mdadm mdadmコマンドパーサー詳細
--mount mountコマンドパーサー詳細
--mpstat mpstatコマンドパーサー詳細
--mpstat-s mpstatコマンド ストリーミング パーサー詳細
--needrestart needrestart -bコマンドパーサー詳細
--netstat netstatコマンドパーサー詳細
--nmcli nmcliコマンドパーサー詳細
--nsd-control nsd-controlコマンドパーサー詳細
--ntpq ntpq -pコマンドパーサー詳細
--openvpn openvpn-status.log ファイル パーサー詳細
--os-prober os-proberコマンドパーサー詳細
--os-release /etc/os-releaseファイルパーサー詳細
--pacman pacmanコマンドパーサー詳細
--passwd /etc/passwdファイルパーサー詳細
--path POSIX パス文字列パーサー詳細
--path-list POSIX パス リスト文字列パーサー詳細
--pci-ids pci.idsファイルパーサー詳細
--pgpass PostgreSQL パスワード ファイル パーサー詳細
--pidstat pidstat -Hコマンドパーサー詳細
--pidstat-s pidstat -Hコマンド ストリーミング パーサー詳細
--ping pingおよびping6コマンド パーサー詳細
--ping-s pingおよびping6コマンド ストリーミング パーサー詳細
--pip-list pip listコマンドパーサー詳細
--pip-show pip showコマンドパーサー詳細
--pkg-index-apk Alpine Linux パッケージ インデックス ファイル パーサー詳細
--pkg-index-deb Debian パッケージ インデックス ファイル パーサー詳細
--plist PLIST ファイルパーサー詳細
--postconf postconf -Mコマンドパーサー詳細
--proc /proc/ファイルパーサー詳細
--ps psコマンドパーサー詳細
--resolve-conf /etc/resolve.confファイルパーサー詳細
--route routeコマンドパーサー詳細
--rpm-qi rpm -qiコマンドパーサー詳細
--rsync rsyncコマンドパーサー詳細
--rsync-s rsyncコマンド ストリーミング パーサー詳細
--semverセマンティック バージョン文字列パーサー詳細
--sfdisk sfdiskコマンドパーサー詳細
--shadow /etc/shadowファイルパーサー詳細
--srt SRT ファイルパーサー詳細
--ss ssコマンドパーサー詳細
--ssh-conf ssh構成ファイルとssh -Gコマンド パーサー詳細
--sshd-conf sshd構成ファイルとsshd -Tコマンド パーサー詳細
--stat statコマンドパーサー詳細
--stat-s statコマンド ストリーミング パーサー詳細
--swapon swaponコマンドパーサー詳細
--sysctl sysctlコマンドパーサー詳細
--syslog Syslog RFC 5424 文字列パーサー詳細
--syslog-s Syslog RFC 5424 文字列ストリーミング パーサー詳細
--syslog-bsd Syslog RFC 3164 文字列パーサー詳細
--syslog-bsd-s Syslog RFC 3164 文字列ストリーミング パーサー詳細
--systemctl systemctlコマンドパーサー詳細
--systemctl-lj systemctl list-jobsコマンドパーサー詳細
--systemctl-ls systemctl list-socketsコマンドパーサー詳細
--systemctl-luf systemctl list-unit-filesコマンドパーサー詳細
--systeminfo systeminfoコマンドパーサー詳細
--time /usr/bin/timeコマンドパーサー詳細
--timedatectl timedatectl statusコマンドパーサー詳細
--timestamp Unix エポック タイムスタンプ文字列パーサー詳細
--toml TOML ファイルパーサー詳細
--top top -bコマンドパーサー詳細
--top-s top -bコマンド ストリーミング パーサー詳細
--tracepath tracepathおよびtracepath6コマンドパーサー詳細
--traceroute tracerouteおよびtraceroute6コマンド パーサー詳細
--tune2fs tune2fs -lコマンドパーサー詳細
--udevadm udevadm infoコマンドパーサー詳細
--ufw ufw statusコマンドパーサー詳細
--ufw-appinfo ufw app info [application]コマンド パーサー詳細
--uname uname -aコマンドパーサー詳細
--update-alt-gs update-alternatives --get-selectionsコマンド パーサー詳細
--update-alt-q update-alternatives --queryコマンド パーサー詳細
--upower upowerコマンドパーサー詳細
--uptime uptimeコマンドパーサー詳細
--url URL文字列パーサー詳細
--verバージョン文字列パーサー詳細
--veracrypt veracryptコマンド パーサー詳細
--vmstat vmstatコマンド パーサー詳細
--vmstat-s vmstatコマンド ストリーミング パーサー詳細
--w wコマンドパーサー詳細
--wc wcコマンドパーサー詳細
--wg-show wg showコマンドパーサー詳細
--who whoコマンドパーサー詳細
--x509-cert X.509 PEM および DER 証明書ファイル パーサー詳細
--x509-csr X.509 PEM および DER 証明書要求ファイル パーサー詳細
--xml XMLファイルパーサー詳細
--xrandr xrandrコマンドパーサー詳細
--yaml YAML ファイルパーサー詳細
--zipinfo zipinfoコマンドパーサー詳細
--zpool-iostat zpool iostatコマンドパーサー詳細
--zpool-status zpool statusコマンドパーサー詳細

オプション

短い長さ説明
-a --about jcについて。 jcとパーサーに関する情報を出力します (もちろん、JSON または YAML で!)
-C --force-colorパイプを使用している場合でもカラー出力を強制します ( -mおよびNO_COLOR環境変数をオーバーライドします)
-d --debugデバッグモード。解析の問題が発生した場合はトレース メッセージを出力します (詳細なデバッグには-ddを使用します)。
-h --helpヘルプ。パーサーのドキュメントについては、 jc -h --parser_nameを使用してください。非表示のパーサーを表示するには 2 回使用します (例: -hh )。パーサー カテゴリを表示するには 3 回使用します (例: -hhh )。
-m --monochromeモノクロ出力
-M --meta-outタイムスタンプ、パーサー名、マジック コマンド、マジック コマンド終了コードなどのメタデータを出力に追加します。
-p --pretty JSON 出力を整形する
-q --quiet静かモード。パーサー警告メッセージを抑制します (ストリーミング パーサー エラーを無視するには-qqを使用します)
-r --raw生の出力。通常は文字列値を使用し、追加のセマンティック処理を行わずに、よりリテラルな出力を提供します。
-s --slurp複数の行を配列に丸めて入れます。 (互換性のあるパーサーを見つけるには-hhhを使用します)
-u --unbuffer出力のバッファリングを解除する
-v --versionバージョン情報
-y --yaml-out YAML出力
-B --bash-comp Bash シェル完了スクリプトを生成する (詳細)
-Z --zsh-comp Zsh シェル完了スクリプトを生成する (詳細)

スライス

行スライスは、Python スライスと同様のSTART:STOP構文を使用してサポートされます。これにより、 jcに変換させたいSTDIN入力の先頭および/または末尾の行をスキップできます。

STARTとSTOP正または負の整数、または空白を指定でき、スキップする行数と処理する行数を指定できます。正のスライスと空のスライスが最もメモリ効率が高くなります。スライス内の負の整数は、より多くのメモリを使用します。

たとえば、次のテキストの最初と最後の行をスキップするには、いくつかの方法でスライスを表現できます。 

$ cat table.txt
      # ## We want to skip this header ###
          col1       col2
          foo        1
          bar        2
      # ## We want to skip this footer ###
$ cat table.txt | jc 1:-1 --asciitable
[{ " col1 " : " foo " , " col2 " : " 1 " },{ " col1 " : " bar " , " col2 " : " 2 " }]
$ cat table.txt | jc 1:4 --asciitable
[{ " col1 " : " foo " , " col2 " : " 1 " },{ " col1 " : " bar " , " col2 " : " 2 " }]

この例では、 1:-1と1:4ライン スライスが同じ出力を提供します。

正の整数を使用する場合、 STOPのインデックス位置は包括的ではありません。正のスライスは、入力の最初の行から最後に向かって最初の行として0からカウントされます。ネガティブ スライスは、最後の行として-1から始まり、最後の行から先頭に向かってカウントされます。これは、Python のスライス機能の動作方法でもあります。

ラインスライスオプションの内訳は次のとおりです。

スライス表記処理された入力行
START:STOP行STARTからSTOP - 1
START:行STARTから残りの出力まで
:STOP先頭からSTOP - 1までの行
-START:STOP最後から STOP までのSTART行STOP - 1
START:-STOP START行からSTOP行まで末尾から
-START:-STOP START行を最後から、 STOP行を最後から
-START:出力の最後から残りの部分までのSTART行
:-STOP先頭からの行から最後までのSTOP行まで
:全行

すする

一部のパーサーは複数項目の入力をサポートし、単一パスで結果の配列を出力できます。 Slurping は、単一行の入力を受け入れる文字列パーサーに対して機能します。 (例: urlとip-address ) --slurpオプションをサポートするパーサーのリストを表示するには、 jc -hhhを使用します。

たとえば、 --slurpオプションを使用して複数の IP アドレス (1 行に 1 つ) を持つファイルをjcに送信すると、結果の配列が出力されます。 

$ cat ip-addresses.txt | jc --slurp --ip-address
[ < multiple output objects > ]

/procファイルのマジック構文は、複数のファイルの丸呑みを自動的にサポートします ( --slurpオプションを使用する必要はありません)。たとえば、多くの PID ファイルを一度に変換できます。 

$ jc /proc/ * /status
[ < multiple output objects > ]

/procマジック構文が使用され、複数のファイルが選択されている場合、追加の_fileフィールドが出力に挿入されるため、各出力オブジェクトがどのファイルを参照しているのかが簡単にわかります。

最後に、 --meta-outオプションは、丸呑み出力と組み合わせて使用​​できます。この場合、丸呑みされた出力は次の構造のオブジェクトでラップされます。 

{
  "result" : [ <multiple output objects> ],
  "_jc_meta" : {
    "parser" : " url " ,
    "timestamp" : 1706235558.654576 ,
    "slice_start" : null ,
    "slice_end" : null ,
    "input_list" : [
      " http://www.google.com " ,
      " https://www.apple.com " ,
      " https://www.microsoft.com "
    ]
  }
}

--meta-out使用すると、 input_listは入力 (実際の入力文字列または/procファイル名) のリストが含まれるため、どの出力オブジェクトが各入力文字列または/procファイル名に関連するかを識別できます。

終了コード

jc内の致命的なエラーは終了コード100を生成します。それ以外の場合、終了コードは0になります。

「マジック」構文 (例: jc ifconfig eth0 ) を使用する場合、 jc解析中のプログラムの終了コードを保存し、それをjc終了コードに追加します。こうすることで、エラーが解析されたプログラムによるものなのか、 jcによるものなのかを判断しやすくなります。

ifconfigを使用した次の例を考えてみましょう。

ifconfig終了コードjc終了コード結合された終了コード解釈
0 0 0エラーなし
1 0 1 ifconfigのエラー
0 100 100 jcのエラー
1 100 101 ifconfigとjc両方でエラーが発生しました

「マジック」構文を使用する場合、 --meta-outまたは-Mオプションを使用して、呼び出されたプログラムの終了コードを取得することもできます。これにより、終了コードを含むマジック コマンド情報を含む出力に_jc_metaオブジェクトが追加されます。

以下はpingを使用した例です。 

$ jc --meta-out -p ping -c2 192.168.1.252
{
  " destination_ip " : " 192.168.1.252 " ,
  " data_bytes " : 56,
  " pattern " : null,
  " destination " : " 192.168.1.252 " ,
  " packets_transmitted " : 2,
  " packets_received " : 0,
  " packet_loss_percent " : 100.0,
  " duplicates " : 0,
  " responses " : [
    {
      " type " : " timeout " ,
      " icmp_seq " : 0,
      " duplicate " : false
    }
  ],
  " _jc_meta " : {
    " parser " : " ping " ,
    " timestamp " : 1661357115.27949,
    " magic_command " : [
      " ping " ,
      " -c2 " ,
      " 192.168.1.252 "
    ],
    " magic_command_exit " : 2
  }
}
$ echo $?
2

環境変数によるカスタムカラーの設定

JC_COLORS環境変数を介してカスタム色を指定できます。 JC_COLORS環境変数は、次の形式の 4 つのカンマ区切り文字列値を受け取ります。 

JC_COLORS= < keyname_color > , < keyword_color > , < number_color > , < string_color >

色は次のとおりです: black 、 red 、 green 、 yellow 、 blue 、 magenta 、 cyan 、 gray 、 brightblack 、 brightred 、 brightgreen 、 brightyellow 、 brightblue 、 brightmagenta 、 brightcyan 、 white 、またはdefault

たとえば、デフォルトの色に設定するには: 

JC_COLORS=blue,brightblack,magenta,green

または

JC_COLORS=default,default,default,default

環境変数を介して色を無効にする

NO_COLOR環境変数を任意の値に設定して、 jcでのカラー出力を無効にすることができます。 -Cオプションを使用してカラー出力を強制すると、 NO_COLOR環境変数と-mオプションの両方がオーバーライドされることに注意してください。

ストリーミングパーサー

ほとんどのパーサーは、 STDINからすべてのデータをロードして解析し、JSON ドキュメント全体をシリアルに出力します。いくつかのストリーミング パーサー (例: ls-sやping-s ) は、 STDINからデータを受信して​​いる間にすぐに処理を開始し、データを 1 行ずつ JSON ライン (別名 NDJSON) として出力します。これにより、大量のコマンド出力 (例: ls -lR / ) を解析するために必要なメモリ量が大幅に削減され、場合によってはデータをより迅速に処理できるようになります。以下に概説するように、ストリーミング パーサーの動作は標準パーサーとは若干異なります。

注: ストリーミング パーサーは「magic」構文では使用できません。

エラーを無視する

ストリーミング パーサーは存続期間の長い処理パイプラインで使用される可能性があり、エラーによってパイプが破損する可能性があるため、ストリーミング パーサーを使用する場合は、解析エラーを無視することをお勧めします。解析エラーを無視するには、 parse()関数で-qq cli オプションを使用するか、 ignore_exceptions=True引数を使用します。これにより、 success属性を持つ_jc_metaオブジェクトが JSON 出力に追加されます。 successがtrueの場合、行の解析に問題はありませんでした。 successがfalseの場合は、解析の問題が見つかったので、短いエラーの説明と解析できない行の内容をそれぞれ含めるために、 errorフィールドとlineフィールドが追加されます。

-qqオプションを使用して行が正常に解析されました: 

{
  "command_data" : " data " ,
  "_jc_meta" : {
    "success" : true
  }
}

-qqオプションを使用した行の解析に失敗しました: 

{
  "_jc_meta" : {
    "success" : false ,
    "error" : " error message " ,
    "line" : " original line data "
  }
}

出力のバッファリング解除

ほとんどのオペレーティング システムは、プロセス間でパイプされる出力をバッファーします。バッファーは通常約 4KB です。端末で出力を表示する場合、OS バッファは使用されないため、出力はすぐに画面に表示されます。ただし、複数のプロセスを一緒にパイプする場合、入力データが非常に遅い場合 (例: ping )、出力がハングしているように見える場合があります。 

 $ ping 1.1.1.1 | jc --ping-s | jq
<slow output>

これは、この例では OS がjcとjq間で 4KB バッファを使用するためです。端末上にリアルタイムでデータを表示するには、 -u (バッファ解除) cli オプションを使用してバッファを無効にします。 

 $ ping 1.1.1.1 | jc --ping-s -u | jq
{"type":"reply","pattern":null,"timestamp":null,"bytes":"64","respons...}
{"type":"reply","pattern":null,"timestamp":null,"bytes":"64","respons...}
...

注: 大きなデータ ストリームの場合、バッファなしの出力は遅くなる可能性があります。

ストリーミング パーサーを Python モジュールとして使用する

ストリーミング パーサーは、任意の反復可能オブジェクトを受け入れ、反復可能オブジェクトを返し、データの遅延処理を可能にします。入力データは文字列データの行を反復する必要があります。適切な入力データの例は、 sys.stdinまたはstr.splitlines()です。

返された反復可能オブジェクトをコード内で使用するには、それをループするか、 next() 組み込み関数を使用します。 

 import jc

result = jc . parse ( 'ls_s' , ls_command_output . splitlines ())
for item in result :
    print ( item [ "filename" ])

パーサープラグイン

パーサー プラグインは、ローカルの「アプリ データ ディレクトリ」のjc/jcparsersフォルダーに配置できます。

  • Linux/unix: $HOME/.local/share/jc/jcparsers
  • macOS: $HOME/Library/Application Support/jc/jcparsers
  • Windows: $LOCALAPPDATAjcjcjcparsers

パーサー プラグインは、標準の Python モジュール ファイルです。 jc/parsers/foo.pyまたはjc/parsers/foo_s.py (streaming)パーサーをテンプレートとして使用し、 .pyファイルをjcparsersサブフォルダーに配置するだけです。依存関係はすべてjcparsers上のjcフォルダーに配置でき、パーサー コードにインポートできます。

パーサー プラグインのファイル名は有効な Python モジュール名である必要があるため、文字で始まり、完全に英数字とアンダースコアで構成されている必要があります。ローカル プラグインはデフォルトのパーサーをオーバーライドする場合があります。

注: アプリケーション データ ディレクトリは、XDG ベース ディレクトリ仕様に従います。

注意事項

ロケール

最良の結果を得るには、 LC_ALL変数を変更して、ロケール環境変数をCまたはen_US.UTF-8に設定します。 

 $ LC_ALL=C date | jc --date

ロケール変数を個別に設定することもできます。 

 $ export LANG=C
$ export LC_NUMERIC=C

一部の古いシステムでは、 Cロケールが UTF-8 エンコーディングをサポートしていない場合、UTF-8 出力は\uエスケープ シーケンスを使用して ASCII にダウングレードされます。

タイムゾーン

一部のパーサーでは、計算されたエポック タイムスタンプ フィールドが出力に追加されます。タイムスタンプ フィールド名に_utc接尾辞が付いていなければ、それは単純であるとみなされます。 (つまり、 jcパーサーが実行されたシステムのローカル タイムゾーンに基づきます)。

コマンド出力のテキストで UTC タイムゾーンが検出できる場合、タイムスタンプはタイムゾーンを認識し、キー名に_utcサフィックスが付きます。 (例: epoch_utc ) 他のタイムゾーンは、対応するタイムスタンプとしてサポートされません。

他のシェルでの使用

jcほとんどのシェルで使用できます。最新のシェルには、JSON 逆シリアル化機能とフィルタリング機能が組み込まれているため、 jcの使用がさらに便利になります。

たとえば、NGS (Next Generation Shell) では次のことが可能です。 

myvar = ` ` jc dig www.google.com ` ` [0].answer[0].data

これにより、 jcが実行され、出力 JSON が解析され、結果のデータ構造が 1 行のコードで変数に割り当てられます。

他のシェルでjc使用する方法のその他の例については、この Wiki ページを参照してください。

互換性

dig 、 xml 、 csvなどの一部のパーサーは、どのプラットフォームでも動作します。プラットフォーム固有の出力を変換する他のパーサーは、サポートされていないプラットフォームで実行されると警告メッセージを生成します。互換性を含むすべてのパーサー情報を表示するには、 jc -apを実行します。

サポートされていないプラットフォームでもパーサーを使用することができます。たとえば、macOS または Windows ラップトップ上で linux lsof出力を含むファイルを解析したい場合があります。その場合、 -q cli オプションまたはparse()のquiet=True関数パラメータを使用して警告メッセージを抑制できます。

macOS: 

cat lsof.out | jc -q --lsof

または Windows: 

 type lsof.out | jc -q --lsof

テスト対象:

  • セントス 7.7
  • Ubuntu 18.04
  • Ubuntu 20.04
  • Fedora32
  • macOS 10.11.6
  • macOS 10.14.6
  • NixOS
  • FreeBSD12
  • Windows 10
  • Windows 2016サーバー
  • Windows 2019サーバー

貢献

コードやパーサーを自由に追加/改善してください。 jc/parsers/foo.pyまたはjc/parsers/foo_s.py (streaming)パーサーをテンプレートとして使用し、プル リクエストでパーサーを送信できます。

詳細については、貢献ガイドラインを参照してください。

謝辞

  • Dean Serenevy によって提供されたローカル パーサー プラグイン機能
  • CI の自動化とコードの最適化 (philippeitis による)
  • KnightWhoSayNi によるifconfig-parserモジュール
  • xmltodictモジュール by Martín Blech
  • Anthon van der Neut によるruamel.yamlモジュール
  • trparseモジュール by Luis Benitez
  • Conor Heine の解析コードを一部のパーサーに適合させたもの
  • Ilya Sher からの素晴らしい建設的なフィードバック

例

jc出力の例をいくつか示します。その他の例については、ここまたはパーサーのドキュメントを参照してください。

アルプ

arp | jc -p --arp          # or:  jc -p arp 
[
  {
拡大する
追加情報
関連アプリ
おすすめ
関連情報 すべて