metagraph

宏基因组图项目

MetaGraph 是一种用于可扩展构建带注释的基因组图和序列到图比对的工具。

MetaGraph 中的默认索引表示具有极高的可扩展性，支持构建具有数万亿个节点和数百万个注释标签的图。同时，所提供的工作流程及其精心实施，与核心数据结构的低级优化相结合，可实现卓越的查询和对齐性能。

主要特点：

• 大规模序列索引
• 用于服务器模式查询的Python API
• 编码源序列中的k-mer 计数（例如，表达值）和k-mer 坐标（例如，用于基因组的无损编码）
• 针对非常大的带注释图的序列比对（sub-k 种子允许使用任意短的种子）
• 可扩展清理非常大的 de Bruijn 图（以消除测序错误）
• 支持自定义字母（例如，{A,C,G,T,N} 或氨基酸）
• 微分装配算法

MetaGraph 中的设计选择：

• 使用简洁的数据结构和高效的表示方案来实现极高的可扩展性
• 与简洁数据结构一起有效工作的算法选择（例如，总是更喜欢批量操作）
• 不同图形和注释表示的模块化支持
• 使用通用和可扩展的接口来支持添加自定义索引表示/算法，而代码开销很少。

文档

在线文档位于 https://metagraph.ethz.ch/static/docs/index.html。离线资源都在这里。

安装

康达

使用 Anaconda 在 Linux 或 Mac OS X 上安装最新版本：

 conda install -c bioconda -c conda-forge metagraph

码头工人

如果系统上有可用的 docker，请立即开始使用

 docker pull ghcr.io/ratschlab/metagraph:master
docker run -v ${HOME}:/mnt ghcr.io/ratschlab/metagraph:master 
    build -v -k 10 -o /mnt/transcripts_1000 /mnt/transcripts_1000.fa

并将${HOME}替换为主机系统上的目录，以将其映射到容器中的/mnt下。

要运行为Protein字母表编译的二进制文件，只需添加--entrypoint metagraph_Protein ：

 docker run -v ${HOME}:/mnt --entrypoint metagraph_Protein ghcr.io/ratschlab/metagraph:master 
    build -v -k 10 -o /mnt/graph /mnt/protein.fa

如您所见，从 docker 容器运行 MetaGraph 非常简单。此外，以下命令（或类似命令）可以方便地查看容器中安装的目录或其他类型的命令调试：

 docker run -v ${HOME}:/mnt --entrypoint ls ghcr.io/ratschlab/metagraph:master /mnt

此处列出了容器映像的所有不同版本。

从源安装

要从源代码进行编译（例如，使用自定义字母表或其他配置进行构建），请参阅在线文档。

典型工作流程

1. 从 Fasta 文件、FastQ 文件或 KMC k-mer 计数器构建 de Bruijn 图：
   ./metagraph build
2. 使用列压缩注释对图形进行注释：
   ./metagraph annotate
3. 将构建的注释转换为不同的注释方案：
   ./metagraph transform_anno
4. 查询带注释的图
   ./metagraph query

例子

 DATA="../tests/data/transcripts_1000.fa"

./metagraph build -k 12 -o transcripts_1000 $DATA

./metagraph annotate -i transcripts_1000.dbg --anno-filename -o transcripts_1000 $DATA

./metagraph query -i transcripts_1000.dbg -a transcripts_1000.column.annodbg $DATA

./metagraph stats -a transcripts_1000.column.annodbg transcripts_1000.dbg

打印用途

./metagraph

构建图表

• 简单搭建

./metagraph build -v --parallel 30 -k 20 --mem-cap-gb 10 
                        -o < GRAPH_DIR > /graph < DATA_DIR > / * .fasta.gz 
2>&1 | tee < LOG_DIR > /log.txt

• 使用磁盘交换构建（用于限制 RAM 使用）

./metagraph build -v --parallel 30 -k 20 --mem-cap-gb 10 --disk-swap < GRAPH_DIR > 
                        -o < GRAPH_DIR > /graph < DATA_DIR > / * .fasta.gz 
2>&1 | tee < LOG_DIR > /log.txt

从用 KMC 过滤的 k-mers 构建

K=20
./KMC/kmc -ci5 -t4 -k $K -m5 -fm < FILE > .fasta.gz < FILE > .cutoff_5 ./KMC
./metagraph build -v -p 4 -k $K --mem-cap-gb 10 -o graph < FILE > .cutoff_5.kmc_pre

注释图表

./metagraph annotate -v --anno-type row --fasta-anno 
                           -i primates.dbg 
                           -o primates 
                           ~ /fasta_zurich/refs_chimpanzee_primates.fa

将注释转换为 Multi-BRWT

1. 簇列

./metagraph transform_anno -v --linkage --greedy 
                           -o linkage.txt 
                           --subsample R 
                           -p NCORES 
                           primates.column.annodbg

需要N*R/8 + 6*N^2字节的 RAM，其中N是列数， R是二次采样的行数。

2. 构建多BRWT

./metagraph transform_anno -v -p NCORES --anno-type brwt 
                           --linkage-file linkage.txt 
                           -o primates 
                           --parallel-nodes V 
                           -p NCORES 
                           primates.column.annodbg

需要M*V/8 + Size(BRWT)字节的 RAM，其中M是注释中的行数， V是同时合并的节点数。

查询图

./metagraph query -v -i < GRAPH_DIR > /graph.dbg 
                        -a < GRAPH_DIR > /annotation.column.annodbg 
                        --min-kmers-fraction-label 0.8 --labels-delimiter " , " 
                        query_seq.fa

与图表对齐

./metagraph align -v -i < GRAPH_DIR > /graph.dbg query_seq.fa

组装序列

./metagraph assemble -v < GRAPH_DIR > /graph.dbg 
                        -o assembled.fa 
                        --unitigs

组装差分序列

./metagraph assemble -v < GRAPH_DIR > /graph.dbg 
                        --unitigs 
                        -a < GRAPH_DIR > /annotation.column.annodbg 
                        --diff-assembly-rules diff_assembly_rules.json 
                        -o diff_assembled.fa

有关示例文件，请参阅metagraph/tests/data/example.diff.json和metagraph/tests/data/example_simple.diff.json 。

获取统计数据

图表统计

./metagraph stats graph.dbg

注释统计

./metagraph stats -a annotation.column.annodbg

两者的统计数据

./metagraph stats -a annotation.column.annodbg graph.dbg

开发者笔记

生成文件

顶级源目录中的Makefile可用于更方便地构建和测试metagraph 。支持以下论点：

• env ：编译/运行的环境（ "" ：在主机上， docker ：在 docker 容器中）
• alphabet ：为某个字母表编译元图（例如DNA或Protein ，默认DNA ）
• additional_cmake_args ：传递给 cmake 的附加参数。

示例：

 # compiles metagraph in a docker container for the `DNA` alphabet
make build-metagraph env=docker alphabet=DNA

更新并创建新版本

创建新版本发布分三个步骤完成：

1. 更新package.json并设置版本
2. 添加新版本的标签
3. 在 github 上发布新版本

执照

Metagraph 根据 GPLv3 许可证分发（请参阅许可证）。请在作者和版权文件中查找更多信息。