NIHCloudLabAWS

AWS 教學資源

---

頁面內容概覽

• AWS 上的生物醫學工作流程
• 人工智慧
• 臨床資訊學
• 下載SRA數據
• 全基因組關聯分析
• 醫學影像
• RNA定序
• 單股RNA定序
• 霹靂
• 蛋白質折疊
• 長讀定序分析
• 藥物發現
• 冷凍電鏡
• 開放資料

---

AWS 上的生物醫學工作流程

在 AWS 上執行工作流程的方法有很多。在這裡，我們列出了幾種可能性，每種可能性都適用於不同的研究目標。當您瀏覽下面的各種教學課程時，請考慮如何使用此處列出的其他方法之一更有效地運行該工作流程。如果您不熟悉此處的任何術語或概念，請查看 AWS Jumpstart 頁面。

• 最簡單的可能是啟動 EC2 實例，並以互動方式執行命令，或使用screen或作為元資料附加的啟動腳本。有關如何使用 EC2 運行管道的更多信息，請參閱下面的 GWAS 教程。
• 您也可以透過 SageMaker 筆記本運行管道，方法是將每個命令拆分為不同的區塊，或執行工作流程管理員（Nextflow 等）。請參閱此處有關安排筆記本以使其運行更長時間的資訊。您可以在下面的教程中找到一些範例筆記本。
• 如果您正在執行生物資訊工作流程，則可以使用 Amazon HealthOmics 利用 AWS 的無伺服器功能。閱讀此部落格以獲取更多詳細信息，並查看是否有任何新部落格發布。如果您想使用 Cloud Lab 獲得 HealthOmics 的一些實務經驗，請關注 Amazon 的這個點播研討會！由於您已經設定了帳戶，因此可以直接跳到研討會部分，然後您可以決定是否要透過控制台、CLI 還是透過筆記本來完成本教學。如果您選擇筆記本路線，只需透過 Sagemaker 啟動筆記本即可。如果您想要使用 Nextflow 建立私有工作流程，則需要將容器移轉到私有 Amazon Elastic Container Registry (ECR)。您可以關注此研討會以了解該過程的工作原理。
• 如果您使用的是 WDL、Nextflow 或 CWL 以外的工作流程管理器（例如 Snakemake），請使用 AWS Genomics CLI，它是基因組學工作流程管理器和 AWS Batch（無伺服器運算叢集）的包裝器。請參閱我們的文檔，了解如何為雲端實驗室設定 AGC CLI。您也可以在虛擬機器中本地運行 Snakemake。請參閱我們的穿山甲教學作為範例。
• 最後，雲端的優勢之一是可以使用 GPU 來加速工作流程。雖然 GPU 實現的大部分重點將集中在 AI/ML 工作流程上，但 NVIDIA 擁有名為 Parabricks 的軟體，可以相當低的成本加速基因組工作流程。請參閱此處的命令列選項的完整列表，以查看您的特定工作流程是否加速。目前運行 Parabricks 最簡單的方法是透過 AWS HealthOmics Ready2Run 工作流程，但要透過 EC2 運行它，請參閱我們的指南。

對於許多此類教程，您將需要短期存取金鑰來建立和使用資源，特別是當教程需要「存取金鑰 ID」和「秘密金鑰」時。使用本指南了解如何取得和使用短期存取金鑰。如果您是 NIH 附屬研究人員，換句話說，您不在 NIH 工作，但擁有 Cloud Lab 帳戶，則您將無權存取金鑰。如果您無法完成教程，請透過 [email protected] 聯絡我們尋求協助

另請注意，GPU 機器的成本高於大多數 CPU 機器，因此請務必在使用後關閉這些機器，或套用 EC2 生命週期配置。您也可能會遇到服務配額，以防止您意外使用昂貴的機器類型。如果發生這種情況，並且您仍想使用特定實例類型，請按照以下說明進行操作。

人工智慧

機器學習是人工智慧的一個子領域，專注於演算法和模型的開發，使電腦能夠根據數據進行學習並做出預測或決策，而無需進行明確編程。人工智慧和機器學習演算法正在應用於各種生物醫學研究問題，從圖像分類到基因組變異調用。 AWS 有一長串可用的 AI/ML 教程，我們在此處編制了一個清單。最近的發展重點是生成式人工智慧，包括從文字中提取資訊、將語音轉換為文字以及從文字生成圖像等用例。 Sagemaker Studio 讓使用者快速建立、測試和訓練生成式 AI 模型，並準備好使用 JumpStart 中包含的所有模型。這些模型包括基礎模型、微調模型和特定任務的解決方案。

• 有關生成式AI 的範例，請查看我們的GenAI 教程，該教程使用Bedrock 和Jumpstart 等多種AWS 產品，並利用Langchain 和Huggingface 等其他工具來部署、訓練、提示和實施GenAI 模型的檢索增強生成(RAG ) 等技術。請同時查看 AWS GitHub 儲存庫，以了解更多 Gen AI 教學。
• 對於其他AI 用例，我們建議您從這個全面的點播研討會開始，了解如何將SageMaker Studio 用於各種AI/ML 用例，包括將分類器應用於RNAseq 資料、對表格乳癌資料進行分類、建立圖神經網路基於 HIV 數據，訓練胸部掃描的醫學影像模型，使用基礎模型總結科學文獻，使用基因表現數據的 MLOps，最後進行抗體結構預測。
• 要了解有關 Bedrock 的更多信息，請查看這個按需研討會，其中包含 Bedrock 中的快速工程、摘要、問答、聊天機器人以及圖像、程式碼和文字生成的用例。
• AWS 在這裡有一個非常通用的教學課程，介紹如何在 SageMaker 上建立 AI 管道。
• 這些一般範例將教您如何更廣泛地使用 Sagemaker 工具。
• 您也可以向 SageMaker 提交訓練作業，並使用 PyTorch、Tensorflow 或 Apache MXNet 將最終模型上傳到 S3。

臨床資訊學

臨床資訊學，也稱為醫療保健資訊學或醫療資訊學，是一個跨學科領域，它將數據科學應用於醫療保健數據，以改善患者護理、增強臨床流程並促進醫學研究。它通常涉及整合不同的資料類型，包括電子健康記錄、人口統計或環境資料。 AWS 提供兩個隨選研討會，引導您完成 AWS HealthLake 進行人口健康資料分析。第一個研討會將向您展示如何將數據提取到 HealthLake、使用 Athena 查詢這些數據、使用 QuickSight 視覺化這些數據，然後將 FHIR 數據與環境數據結合並視覺化組合數據集。第二次研討會還將數據引入 HealthLake，然後視覺化醫療設備數據，使用人工智慧總結臨床記錄，然後轉錄臨床音訊檔案並進行總結。

從序列讀取存檔 (SRA) 下載數據

下一代基因序列資料儲存在 NCBI 序列讀取存檔 (SRA) 中。您可以使用 SRA 工具包存取這些資料。我們使用此筆記本引導您完成此操作，該筆記本還引導您了解如何設定和搜尋 Athena 表以產生入藏清單。您也可以閱讀本指南以獲取有關可用資料集表的更多資訊。其他範例筆記本可以在此 NCBI 儲存庫中找到。我們特別推薦此筆記本 (https://github.com/ncbi/ASHG-Workshop-2021/blob/main/3_Biology_Example_AWS_Demo.ipynb)，其中詳細介紹瞭如何使用 Athena 訪問 SRA 分類分析的結果由於污染、錯誤或樣本本質上屬於宏基因組，該工具通常與使用者輸入的物種名稱不同。

全基因組關聯研究

全基因組關聯研究 (GWAS) 是一種大規模研究，分析許多個體的基因組，以確定與性狀、疾病或其他表型相關的常見遺傳變異。

• 此 NIH CFDE 書面教程將引導您使用 EC2 運行簡單的 GWAS。本教學要求您選擇俄亥俄州區域，請確保將區域變更為維吉尼亞北部，否則您將遇到網路問題。請注意，CFDE 頁面還有一些其他生物資訊相關的教學課程，例如 BLAST 和 Illumina 讀取模擬。如果您喜歡這種格式，我們還將 GWAS 教程轉換為簡化的筆記本版本。請參閱我們的筆記本指南以取得設定 Jupyter 環境的協助。

醫學影像分析

醫學影像分析需要分析大型影像文件，通常需要彈性儲存和加速運算。

• 大多數醫學影像分析都是使用筆記本完成的，因此我們建議訪問此 Jupyter Notebook 並將其克隆到 SageMaker 中。本教學將介紹影像分割。
• 這個 Sagemaker Studio 點播研討會有一個很好的部分，介紹如何建立醫學影像資料模型。
• 您也可以查看此 AWS 博客，了解如何註釋 DICOM 映像並使用資料建立自訂 AI 模型。
• 您可以按照此 AWS 教學學習如何對醫學影像進行去識別化。

RNA定序

RNA-seq 分析是一種高通量定序方法，可測量和表徵基因表現量和轉錄組動態。工作流程通常使用工作流程管理器運行，最終結果通常可以在筆記本中視覺化。

• 您可以在 AWS 上透過多種方式執行此 RNAseq Nextflow 教學。按照上述說明，您可以使用 EC2、SageMaker 或 AWS Batch(/docs/Genomics_Workflows.md)。
• 此 AWS 隨選研討會展示如何使用 Amazon Sagemaker Studio 分析基因表現數據。
• 對於來自緬因大學 INBRE King Lab 的從 Fastq 到 Salmon 定量的完整 RNAseq 管道的筆記本版本，請使用此筆記本，我們重新編寫了該筆記本以在 AWS 上工作。

單細胞RNA定序

單細胞 RNA 定序 (scRNA-seq) 是一種能夠在單一細胞層級分析基因表現、深入了解細胞異質性、識別稀有細胞類型並揭示複雜生物系統內的細胞動態和功能狀態的技術。

• 此 AWS 部落格提出了一種潛在的方法，該方法整合了許多用於運行 scRNAseq 管道的 AWS 本機工具。它與其說是教程，不如說是可能性的演示。
• 此 NVIDIA 部落格詳細介紹如何使用 RAPIDS 運行加速的 scRNAseq 管道。您可以在此處找到 GitHub 的鏈接，其中包含許多示例筆記本。對於每個範例用例，它們都顯示了一些不錯的基準測試數據，以及每種機器類型的時間和成本。您會發現大多數使用 GPU 機器的運作成本都低於 1.00 美元。如果您想要使用 Scanpy 的 CPU 版本，您可以使用此筆記本。請特別注意環境設置，因為這些筆記本有很多依賴項。在終端機中建立 conda 環境，然後執行筆記本。考慮使用 mamba 來加快環境創建。我們也創建了 conda 環境設定指南。

彈性霹靂

NCBI BLAST (Basic Local Alignment Search Tool) is a widely used bioinformatics program provided by the National Center for Biotechnology Information (NCBI) that compares nucleotide or protein sequences against a large database to identify similar sequences and infer evolutionary relationships, functional annotations, and structural資訊. NCBI 團隊為雲端編寫了一個名為 ElasticBLAST 的 BLAST 版本，您可以在此處閱讀有關它的所有內容。從本質上講，ElasticBLAST 可協助您將 BLAST 作業提交至 AWS Batch 並將結果寫回 S3。請隨意在 Cloud Shell 中嘗試範例教學課程，或嘗試我們的筆記本版本。

蛋白質折疊

您可以在 AWS 上運行多種蛋白質折疊演算法，包括 Alpha Fold。由於資料庫太大，設定通常相當困難，但 AWS 創建了一個 StackFormation 堆疊，可以自動啟動運行 Alpha Fold 和其他蛋白質折疊演算法所需的所有資源。您可以在此處閱讀有關 AWS 資源的信息，並在此處查看 GitHub 頁面。要使其正常運作，您需要按照這些說明修改您的安全群組。您可能還必須向 CloudFormation 正在使用的角色授予額外的權限。如果您遇到困難，請聯絡 [email protected]。您也可以使用本教學執行 ESMFold。

長讀序列分析

長讀長 DNA 序列分析涉及分析長度通常超過 10,000 個鹼基對 (bp) 的定序讀長，而短讀長定序的讀長約為 150 bp。 Oxford Nanopore 提供了相當完整的筆記本教程，用於處理長讀資料以執行各種操作，包括變異調用、RNAseq、Sars-Cov-2 分析等等。在此處訪問筆記本。這些筆記本期望您在本地運行並訪問 epi2me 筆記本伺服器。要在 Cloud Lab 中運行它們，請跳過連接到伺服器的第一個單元，然後筆記本的其餘部分應該可以正確運行，只需進行一些調整。如果您只是想嘗試筆記型電腦，請不要從這些開始。如果您對長讀序列分析感興趣，則可能需要進行一些故障排除以使它們適應雲端實驗室環境。您甚至可能需要透過調整命令在新筆記本中重寫它們。請隨時聯絡我們的支援團隊尋求協助。

藥物發現

Acceleating Therapeutics for Opportunities in Medicine (ATOM) 聯盟創建了一系列 Jupyter 筆記本，引導您完成 ATOM 藥物發現方法。

這些筆記本是為了在 Google Colab 中運行而創建的，因此如果您在 AWS 中運行它們，則需要進行一些修改。首先，我們建議您使用 Sagemaker Studio Notebook 而不是使用者管理的筆記本，因為它將安裝 Tensorflow 和其他依賴項。請務必將 GPU 連接到您的執行個體（T4 即可）。此外，您還需要註解掉%tensorflow_version 2.x因為這是 Colab 特定的指令。您還需要根據需要pip install一些軟體包。如果deepchem發生錯誤，請嘗試執行pip install --pre deepchem[tensorflow]和/或pip install --pre deepchem[torch] 。此外，有些筆記本需要 Tensorflow 內核，而有些則需要 Pytorch。您也可能會遇到 Pandas 錯誤，請聯絡 ATOM GitHub 開發人員尋求最佳解決方案，或查看他們的問題。

冷凍電鏡

冷凍電子顯微鏡 (cryoEM) 是結構生物學中使用的一種強大的成像技術，可以以接近原子甚至原子的分辨率可視化生物大分子的結構，例如蛋白質、核酸和大分子複合物。它透過提供生物分子的詳細三維結構徹底改變了結構生物學領域，這對於理解其功能至關重要。

• AWS 建立了一個實作研討會，讓您可以使用 RELION 建立冷凍電子顯微鏡環境。
• 您也可以閱讀有關如何設定 CryoSPARC 的部落格以及 CryoSPARC 的文件。

開放資料

AWS 擁有大量公共數據，您可以將其整合到測試中或在自己的研究中使用。您可以在 AWS 上的開放資料註冊表中存取這些資料集。您可以在其中按一下任何資料集以查看資料的 S3 路徑，以及使用這些資料和教程的出版物（如果有）。為了進行演示，我們可以點擊 gnomad 資料集，然後取得 S3 路徑並透過貼上https://registry.opendata.aws/broad-gnomad/在命令列查看檔案。