assemblyline service urldownloader
v4.5.0.stable17
Служба сборки, которая загружает, казалось бы, вредоносные URL-адреса с помощью утилиты MAS Kangooroo.
В Kubernetes есть вероятность, что вам не понадобится настраивать опцию no_sandbox. Если вы выполняете URLDownloader в настройке docker-compose и у вас возникла проблема с тем, что он всегда завершается с ошибкой (TimeoutExpired), вы можете изменить служебную переменную no_sandbox со значения по умолчанию False на True. Эта опция будет передана в процесс Google-Chrome и может решить вашу проблему.
Служебные переменные находятся на вкладке «Администрирование» в разделе «Службы». Дополнительную информацию об управлении службами можно найти в нашей документации, а более конкретно — здесь, посвященной служебным переменным.
Службу URLDownloader можно настроить на использование множества прокси-серверов (или без них) и позволить отправившему пользователю выбрать один из вариантов. Если вы хотите принудительно использовать прокси, вы также можете иметь одну запись в списке вариантов, и это сделает ее обязательной. URLDownloader не зависит от конфигурации системы, поскольку бывают ситуации, когда у нас есть несколько прокси-серверов и мы хотим получать контент из разных мест. Также может случиться так, что прокси-серверы, с которых мы хотим получить данные, будут отличаться от прокси-серверов, используемых остальной частью системы.
Вы можете настроить службу URLDownloader, перейдя к списку служб и щелкнув URLDownloader (или перейдя напрямую в /admin/services/URLDownloader ). Вы должны найти вкладку с названием PARAMETERS . Важны два параметра: первый — proxies [json] , а второй — proxy [list] . Их взаимосвязь легче понять, начав с proxies [json] , которые можно найти под служебными переменными внизу страницы.
Вы можете создавать новые записи по следующему шаблону:
Чтобы отредактировать json в веб-интерфейсе, вы можете навести курсор на json, вверху должен появиться синий знак плюса:
Это позволит вам создать новый ключ. Наведя курсор на новый ключ, вы сможете его отредактировать:
Затем вы можете ввести {} и нажать кнопку нового словаря (внизу справа на следующем снимке экрана):
Теперь вы сможете добавить два новых ключа: http и https.
СОВЕТ: Если вы хотите использовать один и тот же прокси для всех схем (http/https), вы можете использовать простую строку:
После настройки сервисных прокси вы можете посмотреть вверху, в разделе «Пользовательские параметры», там должен быть proxy [list] .
Вы сможете добавить имя добавленного вами ключа (в данном примере my_new_proxy ), чтобы пользователи могли его выбрать. Запись со звездочкой будет выбором по умолчанию, если пользователь не настроит ее. Отсюда вы можете удалить все остальные записи, чтобы принудительно использовать одну.
