assemblyline service urldownloader
v4.5.0.stable17
Service Assemblyline qui télécharge des URL apparemment malveillantes à l'aide de l'utilitaire Kangooroo de MAS
Dans Kubernetes, il est possible que vous n'ayez pas besoin de configurer l'option no_sandbox. Si vous exécutez URLDownloader dans une configuration Docker-compose et que vous rencontrez des problèmes avec le fait qu'il se termine toujours par une erreur (TimeoutExpired), vous pouvez modifier la variable de service "no_sandbox" de False par défaut à True. Cette option sera transmise au processus Google-Chrome et pourra résoudre votre problème.
Les variables de service se trouvent sous l'onglet Administration, dans l'élément Services. Plus d'informations sur la gestion des services peuvent être trouvées dans notre documentation et plus spécifiquement ici pour les variables de service.
Le service URLDownloader peut être configuré pour utiliser de nombreux proxys (ou non) et permettre à l'utilisateur soumettant de choisir parmi un choix. Si vous souhaitez forcer un proxy, vous pouvez aussi avoir une seule entrée dans la liste de choix, et cela la rendra obligatoire. URLDownloader ne s'appuie pas sur la configuration du système car nous avons des situations dans lesquelles nous avons plusieurs proxys et souhaitons récupérer du contenu à différents endroits. Il peut également arriver que les proxys à partir desquels nous souhaitons récupérer soient différents du proxy utilisé par le reste du système.
Vous pouvez configurer le service URLDownloader en accédant à la liste des services et en cliquant sur URLDownloader (ou en allant directement dans /admin/services/URLDownloader ). Vous devriez trouver un onglet nommé PARAMETERS . Deux paramètres sont importants, le premier étant proxies [json] et le second étant proxy [list] . Il est plus facile de comprendre leur relation en commençant par les proxies [json] , qui doivent se trouver sous les variables de service en bas de la page.
Vous pouvez créer de nouvelles entrées basées sur le modèle suivant :
Pour modifier un json dans l'interface web, vous pouvez survoler le json, un signe plus bleu doit apparaître vers le haut :
Cela vous permettra de créer une nouvelle clé. En survolant la nouvelle clé, vous devriez pouvoir la modifier :
Vous pouvez ensuite taper {} et cliquer sur le bouton nouveau dictionnaire (en bas à droite dans la capture d'écran suivante) :
Vous devriez maintenant pouvoir ajouter deux nouvelles clés, pour http et https.
CONSEIL : Si vous souhaitez utiliser le même proxy pour tous les schémas (http/https), vous pouvez utiliser une simple chaîne :
Après avoir configuré les proxys de service, vous pouvez regarder vers le haut, sous Paramètres spécifiés par l'utilisateur, il devrait y avoir proxy [list] .
Vous pourrez ajouter le nom de la clé que vous avez ajoutée ( my_new_proxy dans cet exemple) afin que les utilisateurs puissent la sélectionner. L'entrée avec une étoile sera la sélection par défaut si un utilisateur ne la configure pas. Vous pouvez supprimer toutes les autres entrées à partir d’ici pour en forcer une seule.
