femto

について

FEMTO は、バイト シーケンスに対するクエリのインデックス作成および検索システムです。 FEMTO は、スループット最適化を備えた外部メモリの FM インデックスを表します。このツールは、MPI と並行して大規模なインデックスを構築し、マルチスレッド サーバーを使用して大規模なインデックスを検索することをサポートします。

要件

FEMTO の構築とテストには 64 ビット マシンが必要です。 32 ビット マシンは検索のみサポートされます。 FEMTO は、Linux/x86-64 用の GCC を使用してビルドすることが知られています。

リリース tarball から FEMTO をビルドするには、C++ コンパイラー、libssl-dev、およびオプションで MPI が必要です。ソースからビルドする場合は、flex、bison、autotools、libtool も必要になります。 GNU bison 2.5 および 2.4.1 で動作しました。

MPI は並列インデックス構築に必要です。異なるエンディアンのマシン間での MPI の実行はサポートされていないことに注意してください。

MPI 並列インデックス構築を使用したい場合は、スレッドをサポートするバージョンの MPI をインストールする必要があります。次の方法で構成された OpenMPI 1.8.8 を使用しました。

 ./configure --prefix=/opt/openmpi1.8.8 --enable-mpirun-prefix-by-default --enable-mpi-thread-multiple --with-threads
 作る
 すべての計算ノードに # インストールする
 # mpirun と mpicc が FEMTO で使用するパスにあることを確認するには
 エクスポート PATH=$PATH:/opt/openmpi1.8.8/bin
 エクスポート LD_LIBRARY_PATH=/opt/openmpi1.8.8/lib

編集

まず要件を満たしていることを確認してください。

https://github.com/femto-dev/femto/releases から FEMTO リリース tarball を使用して始めることをお勧めします。

ソース チェックアウトを使用する場合は、追加のビルド依存関係があります。

次のようにソースチェックアウトから始めている場合

 git clone https://github.com/femto-dev/femto.git
 CDフェムト

構成スクリプトも生成する必要があります。

 sh autogen.sh

FEMTO を構築するには、次のコマンドを実行します。

 ./configure
 作る

宣言/定義されているが使用されていないという警告が多数表示されます。これは正常であり、問​​題ではありません。エラーが発生してコンパイルが失敗した場合は、必要な開発ライブラリがすべてインストールされていない可能性があります。 (たとえば、g++ を実行していて -lssl が見つからない場合は、libssl をインストールする必要があることを示します)

付属の単体テストを実行するには、次を使用します。

 小切手をする

設置

FEMTO を特定の場所にインストールするには、次のように、configure 行に --prefix を必ず含めてください。

 ./configure --prefix ~/femto_install

いつものように、

 インストールする

./configure で指定された宛先に FEMTO ツールをインストールします。

ビルド ディレクトリからコマンドを実行することもできます。

FEMTO Apache モジュールのインストールについては、src/mod_femto/README を参照してください。

使用法

インデックスを構築するには、次のコマンドを実行します。

 femto/src/dcx_cc/femto_index --tmp /path/to/tmp_dir 
                             --outfileindex.femto
                             ファイルまたはディレクトリのインデックスへ

次に、インデックスをクエリするには、femto_search を使用します。出現回数をカウントするには (すばやく!)、次を使用します。

 femto/src/main_cc/femto_search /path/to/index_dir --count 'パターン'

一致したドキュメントを報告するには (時間は報告された数によって異なります)、次を使用します。

 femto/src/main_cc/femto_search /path/to/index_dir 'パターン'

一致したドキュメントとオフセットを報告するには (時間は報告された数によって異なります)、次を使用します。

 femto/src/main_cc/femto_search /path/to/index_dir --offsets 'パターン'

使用できるパターンの種類の詳細については、femto/src/main/QUERY_FORMAT.txt を参照してください。

サードパーティの謝辞

FEMTO ソースには、Google RE2 パッケージ、jQuery、jQuery SlickGrid、および jQuery SVG が含まれています。