Online-Version des allgemeinen Web-Sammlungsprogramms von Windmill

Merkmale:

*****************************************
1. Mit asp.net entwickelt und unter IIS ausgeführt.
2. Es kann entsprechend den Lagereinstellungen automatisch mit dem bestehenden Website-System verbunden und nahtlos in das bestehende System integriert werden, um das Erfassungsprogramm des bestehenden Systems zu ergänzen oder zu ersetzen.
3. Bei der Erfassungsplanung, d. h. bei geplanten Aufgaben, kann für jede Erfassungsregel eine Zeit festgelegt werden, zu der mehrere Erfassungsaufgaben gleichzeitig ausgeführt werden sollen. Wenn die festgelegte Zeit erreicht ist, wird das Erfassungsprogramm automatisch ausgeführt wird im Hintergrund des Webservers ausgeführt, wodurch die Notwendigkeit manueller Eingriffe wirklich erkannt wird.
4. Die gesammelten Informationen können automatisch klassifiziert werden, wenn die Zielklassifizierung nicht vorhanden ist. Die Zielklassifizierung kann auch durch Klassifizierungszuordnung mit der aktuellen Website-Inhaltsklassifizierung zusammengeführt werden. Es ist nicht erforderlich, für jede Kategorie eine Sammelaufgabe zu erstellen.
5. Die Einstellung der Erfassungsregeln ist einfach und leicht zu verstehen. Das Programm verfügt über zwei Ausführungsmodi: Ausführung im Vordergrund oder geplante Ausführung im Hintergrund.
6. Es kann die Erfassung mehrstufiger Webseiten im Detail realisieren, z. B. Inhaltsseiten, Teilinformationen auf anderen Seiten, neuartige Serialisierung und andere Arten der Informationserfassung mit Master-Slave-Tabellenzuordnung.
7. Ursprüngliche Haltepunkt-Lebenslaufsammlung. Das Sammlungsprogramm sammelt nur, wenn die Zielwebsite aktualisiert wird, und sammelt nur den aktualisierten Teil, was sehr effizient ist. Diese Funktion ist besonders nützlich zum Sammeln serialisierter Websites, wie zum Beispiel serialisierter Romane, Fernsehserien usw.
8. Laden Sie relevante externe Dateien automatisch auf den lokalen Server herunter oder ersetzen Sie sie durch Remote-Pfade wie Bilder, FLASH, Download-Dateien usw., ohne sie manuell auf den Server hochzuladen.
9. Unterstützt die Definition von Sammlungsmodellen. Sie können nach Bedarf beliebige zu sammelnde Datenelemente definieren.
10. Identifizieren Sie automatisch die Webseitencodes der meisten Sammlungsseiten. Zum Beispiel gängige: GB2312, GBK, UTF-8, Windows-1252, ISO646-us usw.
11. Unterstützen Sie das Sammeln von Miniaturansichten und anderen zusätzlichen Informationen von der Listenseite.
12. Multithread-asynchrone Sammlung, hohe Sammlungseffizienz und geringer Serverressourcenverbrauch.

v1.5.4
Verbesserung: Das Problem wurde behoben, dass die Anzahl der Sammlungs-URL-Warteschlangen 5000 übersteigt und beim automatischen Neustart vom 29.02.2008 nicht gestoppt werden kann
Verbesserung: In den erweiterten Filtereinstellungen von Sammlungselementen kann eine Ersetzung durchgeführt werden. Das Format besteht darin, „[to]“ nach der ursprünglichen Filterregel vom 29.02.2008 hinzuzufügen
Hinzugefügt: Die Einstellung des Zeitintervalls für die Sammlung wurde hinzugefügt, um eine größere Belastung des Servers der Sammelstation zu vermeiden. Hinzugefügt: Die Situation hinzugefügt, dass die Sammlungswebsite eine Anmeldebestätigung benötigt. Die Anmelde- und Bestätigungsadresse muss auf 2008-3-1 eingestellt werden
Hinzugefügt: Paginierung der JS-Übermittlungsmethode (Post) auflisten. Verwendung: Hängen Sie den Parameter „?fc_action=post¶meter 1={$pageid}“ an die Einreichungsadresse an. Wenn die Einreichungsseite bereits „?“ enthält, lautet sie: „&fc_action=post¶meter 1={$pageid}“ 2008-3 -1