qダウンロード - qソースコードのダウンロード

q

パイソン

v3.1.6

ダウンロード

ビルドとパッケージ化

q - データとしてのテキスト

q の目的は、Linux コマンドラインに SQL の表現力をもたらし、実際のデータとしてテキストに簡単にアクセスできるようにすることです。

q では次のことが可能になります。

表形式のテキストデータに対して SQL のようなステートメントを直接実行し、同じファイルに対する追加のクエリを高速化するためにデータを自動キャッシュします。
複数ファイルの sqlite3 データベースをマージしたりメモリにロードしたりすることなく、SQL ステートメントを直接実行します。

次の表は、キャッシュを使用した場合の影響を示しています。

行	コラム	ファイルサイズ	キャッシュなしのクエリ時間	キャッシュを使用した場合のクエリ時間	速度の向上
5,000,000	100	4.8GB	4分47秒	1.92秒	×149
1,000,000	100	983MB	50.9秒	0.461秒	×110
1,000,000	50	477MB	27.1秒	0.272秒	x99
100,000	100	99MB	5.2秒	0.141秒	×36
100,000	50	48MB	2.7秒	0.105秒	×25

現在のバージョンでは、キャッシュはディスク領域を占有するため、デフォルトではキャッシュが有効になっていないことに注意してください。 -C readwriteまたは-C readを使用してクエリに対して有効にするか、 caching_mode .qrcに追加して新しいデフォルトを設定します。

q の Web サイトは https://harelba.github.io/q/ または https://q.textasdata.wiki です。そこには、q をダウンロードしてすぐに使用するために必要なものがすべて含まれています。

使用例

q は通常のファイルをデータベーステーブルとして扱い、 WHERE 、 GROUP BY 、 JOINなどのすべての SQL 構造をサポートします。自動列名と型検出をサポートし、複数の文字エンコーディングを完全にサポートします。

アイデアを得るためにコマンドの例をいくつか示します。

$ q " SELECT COUNT(*) FROM ./clicks_file.csv WHERE c3 > 32.3 "

$ ps -ef | q -H " SELECT UID, COUNT(*) cnt FROM - GROUP BY UID ORDER BY cnt DESC LIMIT 3 "

$ q " select count(*) from some_db.sqlite3:::albums a left join another_db.sqlite3:::tracks t on (a.album_id = t.album_id) "

詳細な例はここにあります