fq

fq

Alat, bahasa, dan dekoder untuk bekerja dengan data biner.

TLDR: bertujuan untuk menjadi jq, hexdump, dd dan gdb untuk file yang digabungkan menjadi satu.

Penggunaan dasar adalah fq . file , fq d file atau fq 'some query' file ... .

Untuk detailnya lihat penggunaan.md.

Latar belakang

fq terinspirasi oleh alat dan bahasa jq dan memungkinkan Anda bekerja dengan format biner dengan cara yang sama. Selain menggunakan ekspresi jq, ia juga dapat menyajikan struktur pohon yang didekodekan, mengubah, mengiris, dan menggabungkan data biner. Ini juga mendukung format bersarang dan menampilkan REPL interaktif dengan pelengkapan otomatis fungsi dan nama.

Awalnya dirancang untuk menanyakan, memeriksa dan men-debug codec dan container media seperti MP4, FLAC dan JPEG tetapi sejak itu telah diperluas untuk mendukung berbagai format seperti executable, pengambilan paket (dengan perakitan ulang TCP) dan format serialisasi seperti JSON, YAML, XML , CBOR, protobuf. Selain itu juga memiliki fungsi untuk bekerja dengan URL, mengkonversi ke/dari hex, basis angka, mencari pola dll.

Sasaran

• Jadikan binari lebih mudah diakses, dapat dikueri, dan dapat diiris.
• Format bersarang dan decoding berorientasi bit.
• Alat CLI yang cepat dan nyaman.
• Transformasi bit dan byte.

Harapan

• Jadikan itu cukup berguna sehingga orang mau membantu memperbaikinya.
• Menginspirasi orang untuk membuat alat serupa.

Format yang didukung

aac_frame, iklan, adts_frame, aiff, amf0, apev2, apple_bookmark, ar, asn1_ber, av1_ccr, av1_frame, av1_obu, avc_annexb, avc_au, avc_dcr, avc_nalu, avc_pps, avc_sei, avc_sps, avi, avro_ocf, bencode, bitcoin_blkdat, bitcoin_block, bitcoin_script, bitcoin_transaction, bits, bplist, bsd_loopback_frame, bson, bytes, bzip2, caff, cbor, csv, dns, dns_tcp, elf, ether8023_frame, Exim, fairplay_spc, fit, flac, flac_frame, flac_metadatablock, flac_metadatablocks, flac_picture, flac_streaminfo, gif, gzip, hevc_annexb, hevc_au, hevc_dcr, hevc_nalu, hevc_pps, hevc_sps, hevc_vps, html, icc_profile, icmp, icmpv6, id3v1, id3v11, id3v2, ipv4_packet, ipv6_packet, jp2c, jpeg, json, jsonl, leveldb_descriptor, leveldb_log, leveldb_table, luajit, macho, macho_fat, penurunan harga, matroska, midi, moc3, mp3, mp3_frame, mp3_frame_vbri, mp3_frame_xing, mp4, mpeg_asc, mpeg_es, mpeg_pes, mpeg_pes_packet, mpeg_spu, mpeg_ts, msgpack, negentropy, nes, ogg, ogg_page, opentimestamps, opus_packet, pcap, pcapng, pg_btree, pg_control, pg_heap, png, prores_frame, protobuf, protobuf_widevine, pssh_playready, rtmp, sll2_packet, sll_packet, ketuk, tar, tcp_segment, tiff, tls, toml, tzif, tzx, udp_datagram, vorbis_comment, vorbis_packet, vp8_frame, vp9_cfm, vp9_frame, vpx_ccr, wasm, wav, webp, xml, yaml, zip

Ia juga dapat bekerja dengan beberapa format teks umum seperti URL, hex, base64, PEM dll dan untuk beberapa format serialisasi seperti XML, YAML, dll. ia dapat mengubah nilai dari dan ke jq.

Untuk detailnya lihat format.md dan penggunaan.md.

Presentasi dan media

• PBS Tidbit 8 dari Y: Wawancara dengan jq Keeper Mattias Wadman - episode podcast berbahasa Inggris tentang jq dan beberapa fq.
• Kodsnack 585 - Polymorfisk JSON - Episode podcast Swedia tentang jq dan fq
• "fq - jq untuk format biner" di FOSDEM 2023 - video & slide
• "fq - jq untuk format biner" di Tidak ada waktu menunggu 6 - video - slide
• "fq - jq untuk format biner" di Binary Tools Summit 2022 - video - slide

Memasang

Gunakan salah satu metode yang tercantum di bawah atau unduh rilis bawaan untuk macOS, Linux, atau Windows. Batalkan pengarsipannya dan pindahkan file yang dapat dieksekusi ke PATH dll.

Di macOS, jika Anda tidak menginstal menggunakan salah satu metode di bawah ini, Anda mungkin harus mengizinkan biner berjalan secara manual. Hal ini dapat dilakukan dengan mencoba menjalankan biner, mengabaikan peringatan, lalu masuk ke preferensi keamanan dan mengizinkannya. Hal yang sama dapat dilakukan dengan perintah ini:

xattr -d com.apple.quarantine fq && spctl --add fq

Minuman rumahan (macOS)

brew install wader/tap/fq

MacPort

Di macOS, fq juga dapat diinstal melalui MacPorts. Lebih detailnya di sini.

sudo port install fq

jendela

fq dapat diinstal melalui scoop.

scoop install fq

Lengkungan Linux

fq dapat diinstal dari repositori tambahan menggunakan pacman:

pacman -S fq

Anda juga dapat membuat dan menginstal paket pengembangan (VCS) menggunakan pembantu AUR:

paru -S fq-git

Nix

nix-shell -p fq

FreeBSD

Gunakan port fq.

Alpen

Saat ini dalam pengujian edge tetapi juga akan berfungsi dengan baik secara stabil.

 apk add -X http://dl-cdn.alpinelinux.org/alpine/edge/testing fq

Bangun dari sumber

Pastikan Anda telah menginstal versi 1.22 atau lebih baru.

Untuk menginstal langsung dari repositori git (tidak perlu git clone):

 # build and install latest release
go install github.com/wader/fq@latest

# build and install latest master
go install github.com/wader/fq@master

# copy binary to $PATH if needed
cp " $( go env GOPATH ) /bin/fq " /usr/local/bin

Untuk membangun, menjalankan, dan menguji dari sumber:

 # build and run
go run .
# build and run with arguments
go run . -d mp3 . file.mp3
# just build
go build -o fq .
# run all tests and build binary
make test fq

Pengembangan dan penambahan decoder baru

Lihat dev.md

Terima kasih dan proyek terkait

Proyek ini tidak akan mungkin terwujud tanpa implementasi jq itchyny gojq. Saya juga ingin mengucapkan terima kasih kepada HexFiend atas inspirasi dan ide serta stedolan karena menciptakan bahasa jq.

Karya serupa atau terkait

Peralatan

• HexFiend - Hex editor untuk macOS dengan dukungan templat format.
• ImHex - Editor Hex untuk Insinyur Terbalik.
• binspector - Alat analisis format biner dengan bahasa kueri dan REPL.
• kaitai - Penguraian format biner deklaratif.
• Wireshark - Mendekode lalu lintas jaringan (tip: tshark -T json ).
• MediaInfo - Analisis file media (tip mediainfo --Output=JSON dan mediainfo --Details=1 ).
• GNU poke - Editor yang dapat diperluas untuk data biner terstruktur.
• ffmpeg/ffprobe - Pustaka dan alat media yang canggih.
• hexdump - Alat penampil hex.
• hex - Penampil hex interaktif dengan dukungan format melalui lua.
• hachoir - Pustaka python umum untuk mengerjakan data biner.
• scapy - Decode/Encode format, fokus pada protokol jaringan.

Proyek dan Standar

• Mari Selesaikan Masalah Format File.
• Registri format file PRONOM.
• Keberlanjutan Format Digital di Perpustakaan Kongres.
• Bahasa Deskripsi Format Data (DFDL).

TODO dan ide

Lihat TODO.md

Lisensi

fq didistribusikan berdasarkan ketentuan Lisensi MIT.

Lihat file LISENSI untuk rincian lisensi.

Lisensi ketergantungan langsung:

• Versi gojq bercabang - https://github.com/itchyny/gojq/blob/main/LICENSE (MIT)
• github.com/ergochat/readline - https://github.com/ergochat/readline/blob/master/LICENSE (MIT)
• github.com/BurntSushi/toml - https://github.com/BurntSushi/toml/blob/master/COPYING (MIT)
• github.com/creasty/defaults - https://github.com/creasty/defaults/blob/master/LICENSE (MIT)
• github.com/gomarkdown/markdown - https://github.com/gomarkdown/markdown/blob/master/LICENSE.txt (BSD)
• github.com/gopacket/gopacket - https://github.com/gopacket/gopacket/blob/master/LICENSE (BSD)
• github.com/mitchellh/copystructure - https://github.com/mitchellh/copystructure/blob/master/LICENSE (MIT)
• github.com/mitchellh/mapstructure - https://github.com/mitchellh/mapstructure/blob/master/LICENSE (MIT)
• github.com/pmezard/go-difflib - https://github.com/pmezard/go-difflib/blob/master/LICENSE (BSD)
• golang/snappy - https://github.com/golang/snappy/blob/master/LICENSE (BSD)
• golang/x/* - https://github.com/golang/text/blob/master/LICENSE (BSD)
• gopkg.in/yaml.v3 - https://github.com/go-yaml/yaml/blob/v3/LICENSE (MIT)
• Bagian dari go crypto/tls dan github.com/zmap/zcrypto - https://github.com/zmap/zcrypto/blob/master/LICENSE (Apache)