AutoAudit
1.0.0
??中文| Английский |文档/Вики | ❓提问/Проблемы |讨论/Обсуждения
安全 / 审计 / 便捷
HuggingFace下载
AutoAudit-7B, данная версия представляет собой демо-версию, обученную на базе Альпака-Лора. Он превосходно работает в области сетевой безопасности, давая удовлетворительные ответы на английском языке. Однако в настоящее время ему не хватает контекстуального понимания, и для устранения этого ограничения требуется более крупная модель параметров.
AutoAudit-8B-Instruct, эта версия доработана на основе инструкции Llama3-8B, и ее производительность при ответах на запросы, связанные с кибербезопасностью, значительно улучшилась. Основные возможности модели также существенно улучшились по сравнению с AutoAudit-7B.
AutoAudit-Qwen, из-за ограниченной доступности китайского корпуса кибербезопасности, эта модель все еще находится на стадии исследования и планирования.
Скоро появятся новые LLM
В этом проекте исследуется применение моделей большого языка (LLM) в сфере кибербезопасности, обусловленное сложностью предметной области и острой потребностью в надежных механизмах защиты. Кибербезопасность охватывает различные области, такие как операционные системы, сетевые протоколы, анализ вредоносного ПО и обнаружение угроз . Поскольку киберугрозы становятся все сложнее и масштабнее, LLM представляют собой многообещающий путь для улучшения обнаружения, анализа и реагирования на угрозы с помощью расширенных возможностей языковой обработки. Их способность интерпретировать, генерировать и синтезировать огромные объемы данных делает LLM преобразующим инструментом для решения сложных проблем кибербезопасности.
По сравнению с традиционными методами, LLM можно точно настроить для адаптации к постоянно меняющемуся ландшафту угроз, обеспечивая междоменные связи знаний и действенные меры реагирования на чрезвычайные ситуации. Они также могут автоматизировать повторяющиеся аналитические задачи, интегрировать данные из нескольких источников и генерировать оценки рисков, которые фиксируют едва заметные угрозы, тем самым улучшая адаптивность и устойчивость систем безопасности. Таким образом, LLM играют решающую роль в укреплении систем защиты от кибербезопасности, предлагая экспертам расширенную поддержку и обеспечивая более комплексную и гибкую защиту.
Для удобства интерактивного взаимодействия и для реализации практических сценариев аудита безопасности мы объединили модель AutoAudit с ClamAV, чтобы создать платформу сканирования безопасности (с интерфейсом, вдохновленным шаблонами Bootstrap). Если вы хотите напрямую загрузить модель AutoAudit, вы можете посетить HuggingFace, чтобы получить веса.
Загрузите содержимое этого репозитория на свой локальный или удаленный сервер:
git clone [email protected]:ddzipp/AutoAudit.git
cd AutoAudit
Создайте среду Conda:
conda create --name AutoAudit python=3.8
conda activate AutoAudit
Установите зависимости:
pip install -r requirements.txt
Установите ClamAV и добавьте ClamAV в путь к среде.
Задайте пути для модели ламы и весов Лоры в песочнице:
sandbox/yahma/llama-7b-hf
sandbox/lilBuffaloEirc/autoaudit_20230703_attempt2
Выполните следующую команду, чтобы запустить проект:
python manage.py runserver
Мы приняли метод организации набора данных Self-Instruct, который сочетает в себе аннотации, сделанные человеком, и самостоятельно генерируемые данные. Набор данных в основном получен из Github, Kaggle, веб-сайтов безопасности и общедоступных наборов данных об уязвимостях безопасности. Впоследствии он подвергается очистке и дополнению данных для создания данных диалога. Набор данных строго организован в формате набора данных модели Альпака и разделен на три части: инструкция, ввод и вывод. В выводе мы указываем, что анализ должен включать подробную информацию (анализ), рейтинг безопасности (метка), риски безопасности (риск) и соответствующие решения (решение). Подробную информацию о наборе данных (включая формат и организацию) см. в разделе «Данные обучения AutoAudit». Вот несколько примеров:
| вопрос | отвечать | Предмет |
|---|---|---|
| Пожалуйста, оцените, содержит ли это утверждение какие-либо уязвимости безопасности:" или pg_sleep (TIME) --" | 1. анализ : похоже, что оператор SQL пытается внедрить SQL, вводя команду сна с помощью функции pg_sleep.n 2. метка : высокийn 3. риск : данный оператор SQL представляет высокий риск внедрения SQL. Он использует функцию pg_sleep для попытки слепой атаки SQL-инъекцией на основе времени.n 4. Решение : внедрить правильную проверку входных данных и параметризацию для предотвращения атак SQL-инъекцией. | SQL-анализ |
| Пожалуйста, проанализируйте, представляет ли этот фрагмент кода Python угрозу безопасности: «import socketnimport jsonnimport osnimport subprocessnimport base64nnclass Backdoor:n def init (self, ip, port):n self.connection = сокет.сокет(socket.AF_INET, сокет.SOCK_STREAM)n self.connection.connect((ip, порт))" | 1. анализ . Фрагмент кода Python определяет класс с именем «Backdoor» с методом инициализации « init ». Класс устанавливает сокетное соединение с указанным IP-адресом и портом.n 2. метка : низкийn 3. риск : данный фрагмент кода Python имеет низкий риск безопасности. В основном он устанавливает соединение через сокет, что является обычной сетевой операцией. Однако реальный риск безопасности зависит от деталей реализации класса и его использования.n 4. Решение : убедитесь, что класс «Backdoor» и его использование имеют соответствующие меры безопасности, такие как правильная проверка входных данных, безопасные протоколы связи. , контроль доступа и обработка ошибок для снижения потенциальных рисков безопасности. | Анализ кода Python |
| Какова цель списка отзыва сертификатов (CRL)? | Целью списка отзыва сертификатов (CRL) является перечисление цифровых сертификатов, отозванных выдающим центром сертификации (ЦС) до истечения запланированного срока их действия, что указывает на то, что им больше нельзя доверять. | Вопросы и ответы по вопросам безопасности |
Состав набора данных, используемого для обучения текущей модели, и их соответствующие пропорции следующие:
Чтобы упростить процесс автоматического создания наборов данных, мы также обновили GPT в GPT Store, предназначенный для создания наборов данных QA кибербезопасности, и результаты генерации следующие:
Я хотел бы поблагодарить моего друга Эрика Ма; совместная работа с ним над постоянным улучшением этого проекта была одним из самых значимых событий. Я также хочу выразить благодарность CUHKSZ He Lab, где я многому научился и закрепил свое направление для дальнейших улучшений. Наконец, я выражаю благодарность каждому члену сообщества открытого исходного кода. Спасибо за вашу поддержку и помощь. Я буду стараться изо всех сил развивать свой проект, надеюсь, он вам понравится.
