learning llms and genai for dev sec ops

学习用于开发、安全、运营的 llms 和 genai

这个回购协议是关于什么的？

该存储库旨在以传统软件工程易于理解的课程叙述方式构建有关 LLM 和 GenAi 的各种信息。它强调了您需要从开发、运营和安全角度理解的方面。虽然有很多材料，但我发现自己一遍又一遍地解释同样的事情并形成一个叙述。

课程主要基于 Langchain 框架，要求对 Python 编程语言有一定的熟悉。许多示例是从文档页面借用的，并尽可能给出了归属。感谢 Langchain 收集了这么多素材！

课程概述

开发商

• 使用 OpenAI 调用简单的 LLM
• 查看 Langchain 中的调试
• 以 OpenAI 作为模型聊天
• 使用提示模板
• 使用 Docloader 读取本地文件并为 LLM 做好准备
• 解释embeddings的计算和使用
• 了解拆分和分块的重要性
• 在矢量数据库中加载嵌入和文档
• 使用问答链来实现 RAG 模式（检索增强生成）
• 展示如何使用 OpenAI 文档让 llm 生成调用来查找实时信息
• 实现一个Agent并为其提供工具以获取更多实时信息

运营

• 了解您使用了多少代币以及费用
• 如何使用精确匹配或嵌入来缓存对 LLM 的调用
• 如何缓存嵌入的计算并在本地运行计算
• 运行您自己的本地法学硕士（使用 Ollama）
• 跟踪您的呼叫并将其记录到文件中（使用回调处理程序）
• 强加输出结构（如 JSON），如果不正确则让 LLM 重试

安全

• 解释 LLMS 的 OWASP 前 10 名
• 展示简单的提示注入如何工作以及一些缓解策略
• 如何使用 Hugginface 的第 3 方模型检测提示注入
• 使用提示检测项目注入
• 检查 llms 提供的答案并反映是否可以
• 使用拥抱模型来检测 LLM 输出是否有毒
• 显示询问 llm 对 Kubernetes 和 Trivy 漏洞的意见的简单提示

直接跳转到 https://github.com/jedi4ever/learning-llms-and-genai-for-dev-sec-ops/tree/main/lessons 更多内容即将推出！

该仓库的历史

• 最初的课程结构是在 Techstrong/MediaOps 主办的 GenAI 黑客活动期间形成的
• 这些课程经过完善，可在伦敦 DevOps 聚会小组上进行演示。
• 其他人正在计划运行自己的版本

你能提供什么帮助？

• 让我们知道您想看什么主题的课程？打开一个github问题来询问它

• 提交新课程，向我们发送更正等以改进它。

• 使用此存储库作为基础运行您自己的聚会/黑客活动并报告！我们喜欢听这些故事，请向我们发送图片或视频！

• 将感谢推文发送至@patrickdebois

运行此存储库的要求（需要更多的爱）

使用 devcontainer 运行它

该项目包含一个用于在本地运行存储库的开发容器。或者您可以使用 Google collab 等来运行笔记本

本地运行

• 我们使用 Microsoft VSCode 来运行演示
• 我们在本地运行 python 和 jupyter 笔记本
• 我们使用诗歌作为我们的虚拟环境 python 管理器

Poetry 是新的包管理器。类似于 Conda 或 Pip 与 venv。

poetry init
poetry install --no-root

配置 vscode 使用诗歌

• 使用 pyenv 安装 python 3.11（尽管大多数示例适用于 3.12）
• 获取路径 pyenv pyenv which python
• 设置诗歌 pyton 版本poetry env use
• 找到诗歌环境路径poetry env info --path
• 在 vscode view -> command pallete -> python: select interpreter -> enter interpreter path
• 添加路径/Users/patrick.debois/Library/Caches/pypoetry/virtualenvs/london-devops-VW7lFx7f-py3.11 + 添加/bin/python to it
• poetry add ipykernel

配置 jupyter 笔记本

• 安装 vscode 插件
• 安装ipykernel

变更日志

• 0.1 版本，带有初始 langchain 语法
• 0.2版本适配新的langchain-community、langchain-openai和新语法