assemblyline service urldownloader

网址下载服务

使用 MAS 的 Kangooroo 实用程序下载看似恶意 URL 的组装服务

Kubernetes VS Docker 部署

在 Kubernetes 中，您有可能不需要配置 no_sandbox 选项。如果您在 docker-compose 设置中执行 URLDownloader，并且遇到总是以错误 (TimeoutExpired) 结束的问题，您可以将“no_sandbox”服务变量从默认的 False 更改为 True。此选项将传递到 google-chrome 进程，并可能解决您的问题。

服务变量位于“管理”选项卡下的“服务”项中。有关服务管理的更多信息可以在我们的文档中找到，更具体地可以在此处找到服务变量。

如何配置代理

URLDownloader 服务可以配置为使用（或不使用）多个代理，并允许提交用户从中进行选择。如果您想强制使用代理，您还可以在选项列表中包含一个条目，这将使其成为强制代理。 URLDownloader 不依赖于系统配置，因为我们有多个代理并希望从不同位置获取内容的情况。我们想要从中获取的代理也可能与系统其余部分使用的代理不同。

您可以通过转到服务列表并单击 URLDownloader（或直接转到/admin/services/URLDownloader ）来配置 URLDownloader 服务。您应该找到一个名为PARAMETERS的选项卡。有两个参数很重要，第一个是proxies [json] ，第二个是proxy [list] 。从proxies [json]开始更容易理解它们的关系，它应该位于页面底部的服务变量下。

您可以根据以下模式创建新条目：

要在 Web 界面中编辑 json，您可以将鼠标悬停在 json 上，顶部应出现一个蓝色加号：

这将允许您创建一个新密钥。通过将鼠标悬停在新键上，您应该能够对其进行编辑：

然后，您可以输入{}并单击新词典按钮（下一个屏幕截图的右下角）：

您现在应该能够为 http 和 https 添加两个新密钥。

提示：如果您想对所有方案（http/https）使用相同的代理，您可以使用一个简单的字符串：

配置完服务代理后，您可以向顶部看，在 User SpecifiedParameters 下，应该有proxy [list] 。

您将能够添加您添加的密钥的名称（本例中为my_new_proxy ），以便用户可以选择它。如果用户未配置，带星号的条目将成为默认选择。您可以从此处删除所有其他条目以强制执行单个条目。