learning llms and genai for dev sec ops

學習用於開發、安全、營運的 llms 和 genai

這個回購協議是關於什麼的？

該儲存庫旨在以傳統軟體工程易於理解的課程敘述方式建立有關 LLM 和 GenAi 的各種資訊。它強調了您需要從開發、營運和安全角度理解的方面。雖然有很多材料，但我發現自己一遍又一遍地解釋同樣的事情並形成一個敘述。

課程主要基於 Langchain 框架，要求對 Python 程式語言有一定的熟悉。許多範例是從文件頁面借用的，並儘可能給出了歸屬。感謝 Langchain 收集了這麼多素材！

課程概述

開發商

• 使用 OpenAI 呼叫簡單的 LLM
• 看看 Langchain 中的調試
• 以 OpenAI 作為模型聊天
• 使用提示模板
• 使用 Docloader 讀取本機檔案並為 LLM 做好準備
• 解釋embeddings的計算與使用
• 了解拆分和分塊的重要性
• 在向量資料庫中載入嵌入和文檔
• 使用問答鏈來實現 RAG 模式（檢索增強生成）
• 展示如何使用 OpenAI 文件讓 llm 生成呼叫來查找即時資訊
• 實現一個Agent並為其提供工具以獲取更多實時信息

營運

• 了解您使用了多少代幣以及費用
• 如何使用精確匹配或嵌入來緩存對 LLM 的調用
• 如何緩存嵌入的計算並在本地運行計算
• 運行您自己的本地法學碩士（使用 Ollama）
• 追蹤您的通話並將其記錄到檔案中（使用回調處理程序）
• 強加輸出結構（如 JSON），如果不正確則讓 LLM 重試

安全

• 解釋 LLMS 的 OWASP 前 10 名
• 展示簡單的提示注入如何運作以及一些緩解策略
• 如何使用 Hugginface 的第 3 方模型檢測提示注入
• 使用提示檢測項目注入
• 檢查 llms 提供的答案並反映是否可以
• 使用擁抱模型來偵測 LLM 輸出是否有毒
• 顯示詢問 llm 對 Kubernetes 和 Trivy 漏洞的意見的簡單提示

直接跳到 https://github.com/jedi4ever/learning-llms-and-genai-for-dev-sec-ops/tree/main/lessons 更多內容即將推出！

該倉庫的歷史

• 最初的課程結構是在 Techstrong/MediaOps 主辦的 GenAI 黑客活動期間形成的
• 這些課程經過完善，可在倫敦 DevOps 聚會小組上進行示範。
• 其他人正在計劃運行自己的版本

你能提供什麼幫助？

• 讓我們知道您想看什麼主題的課程？打開一個github問題來詢問它

• 提交新課程，向我們發送更正等以改進它。

• 使用此存儲庫作為基礎運行您自己的聚會/黑客活動並報告！我們喜歡聽這些故事，請向我們發送圖片或影片！

• 將感謝推文發送至@patrickdebois

運行此存儲庫的要求（需要更多的愛）

使用 devcontainer 運行它

該專案包含一個用於在本地運行儲存庫的開發容器。或者您可以使用 Google collab 等來運行筆記本

本地運行

• 我們使用 Microsoft VSCode 來運行演示
• 我們在本地運行 python 和 jupyter 筆記本
• 我們使用詩歌作為我們的虛擬環境 python 管理器

Poetry 是新的套件管理器。類似於 Conda 或 Pip 與 venv。

poetry init
poetry install --no-root

配置 vscode 使用詩歌

• 使用 pyenv 安裝 python 3.11（儘管大多數範例適用於 3.12）
• 取得路徑 pyenv pyenv which python
• 設定詩歌 pyton 版本poetry env use
• 找到詩歌環境路徑poetry env info --path
• 在 vscode view -> command pallete -> python: select interpreter -> enter interpreter path
• 添加路徑/Users/patrick.debois/Library/Caches/pypoetry/virtualenvs/london-devops-VW7lFx7f-py3.11 + 添加/bin/python to it
• poetry add ipykernel

配置 jupyter 筆記本

• 安裝 vscode 插件
• 安裝ipykernel

變更日誌

• 0.1 版本，附初始 langchain 語法
• 0.2版本適配新的langchain-community、langchain-openai和新語法