Spinnen, Roboter und Crawler sind deine Freunde. Wenn Sie SEO wollen, müssen Sie sie nicht nur mögen, sondern Sie müssen wirklich alles tun, um sie auf Ihre Website zu locken.
In SEO-Begriffen sind Spider, Robots und Crawler alle ungefähr dasselbe, aber machen Sie sich keine allzu großen Sorgen – keiner von ihnen hat Beine oder Antennen. Verwenden wir also das Wort „Crawler“, um sie alle zu bezeichnen. Bedenken Sie, dass Sie diese Bots manchmal anlocken oder Ihre Website als „Spinnenköder“ tarnen müssen. Es folgt alles dem gleichen Prinzip. Was ist also ein Crawler? Warum sollten wir ihn auf meine Website einladen? Ein Crawler ist ein Programm oder ein automatisiertes Skript (oft Bot genannt, kurz für „Robot“), das ständig verschiedene URLs im Internet abruft. Crawler crawlen über die Links auf den Webseiten, die sie durchsuchen, von einer URL zur anderen.
Große Suchmaschinen schicken ihre Crawler fortwährend los, um die Weiten des Internets zu durchsuchen. Der Crawler findet zunächst jede Seite, kopiert dann den Text und Code auf der Seite und speichert ihn auf seinem riesigen Indexserver. Dieser Vorgang wird als Crawlen bezeichnet. Dieser riesige Index ist eigentlich eine Datenbank, die alle Webseiten enthält, auf die Suchmaschinen-Crawler erfolgreich zugreifen können. Der Index wird als Repository verwendet, um bei der Suche sehr schnell Ergebnisse zu erhalten. Wenn Sie einen Suchbegriff in eine Suchmaschine wie Google eingeben und absenden, durchsuchen Sie tatsächlich den gesamten von der Suchmaschine indizierten Inhalt und nicht den tatsächlichen Inhalt des Internets zu diesem Zeitpunkt. Natürlich ändern sich Webseiten. Manchmal ändern sich Webseiten und Websites in sehr kurzen Zyklen. Darüber hinaus erscheinen ständig neue Websites und Webseiten in rasantem Tempo. Aus diesem Grund sind Crawler immer da, durchsuchen immer wieder das Internet und erstellen und aktualisieren Suchmaschinenindexinformationen. Der Inhalt in der Suchmaschinenindexbibliothek ist das, was der Crawler beim Surfen im Internet sieht. Was der Crawler sieht, kann sich stark von dem unterscheiden, was der durchschnittliche Besucher sieht. Wenn Sie den Inhalt einer vom Crawler gesehenen Webseite sehen möchten, können Sie mit dem IE-Browser darauf zugreifen, dann die Tastenkombination Strg-A drücken und den kopierten Inhalt durchsuchen (wenn es sich um ein Mac-System handelt, ist dies möglich). verwenden Sie die Apple-U-Tastenkombination). Alternativ können Sie Google verwenden und auf den Link „Web Snapshot“ unter den Suchergebnissen klicken, um die letzten vom Crawler erstellten Snapshots der Seite anzuzeigen. Crawler kombinieren in erster Linie Wörter und Phrasen von jeder Seite, die sie crawlen. Sie indizieren Texte und Links. Wenn Sie einen Suchbegriff in das Suchfeld eingeben, versucht die Suchmaschine, die Webseite zu finden, die am besten zum Suchbegriff passt. Verschiedene Suchmaschinen haben ihre eigenen einzigartigen Crawler, und wie zu erwarten ist, funktionieren sie nicht alle auf die gleiche Weise. Einige Crawler rufen den gesamten Inhalt einer Seite ab, während andere möglicherweise nur an bestimmten Teilen davon interessiert sind. Die meisten Crawler glauben, dass der Titel der Seite und der Inhalt oben auf der Seite wichtiger sind als der Inhalt weiter unten auf der Seite. Crawler stoßen beim Crawlen einer Website häufig auf Hindernisse und überwinden diese, z. B. wenn es keine Links gibt, die es ihnen ermöglichen, mit dem Crawlen fortzufahren, oder sie stoßen auf Probleme, die durch seltsame Technologie oder seltsamen Code verursacht werden. Raupenfahrer können auch aufgrund technischer Hindernisse in Fallen tappen, die sie daran hindern, ihre Arbeit problemlos zu erledigen. Daher besteht ein wichtiger Teil des ersten Schritts jeder SEO-Bemühung darin, Crawlern das Auffinden und Crawlen Ihrer Website zu erleichtern. Wenn Ihre Website nicht von Crawlern gecrawlt wurde, erstellen diese keine Suchmaschinenindizes für Ihre Website. Wenn eine Seite nicht indiziert ist, werden Suchende sie in Suchmaschinen nicht finden, weil Suchmaschinen denken, dass die Seite nicht existiert. Gleichzeitig finden Suchende möglicherweise andere Seiten, höchstwahrscheinlich die Ihrer Konkurrenten. Links und eine gut gestaltete Site-Struktur sind die Brücken, die die Beziehung zwischen einzelnen Webseiten und Website-Abschnitten und anderen Webseiten und Abschnitten innerhalb der Site herstellen. Dies bietet Crawlern einen klaren Pfad zum Crawlen.
Sitemap erstellen
Das Erstellen einer Sitemap ist eine der einfachsten Möglichkeiten, Suchmaschinen-Crawlern beim Crawlen Ihrer Website zu helfen. Eine Sitemap ist eine Datei (normalerweise im XML-Format), die Crawlern eine Liste von URLs für Website-Inhalte bereitstellt – zumindest die Adressen, die der Websitebesitzer den Crawlern anzeigen lassen möchte. Die Sitemap kann auch zusätzliche Informationen für jede URL enthalten, z. B. wann die angegebene Seite zuletzt aktualisiert wurde, wie oft sie aktualisiert wird und ihre Bedeutung im Verhältnis zu anderen Inhalten auf der Website (z. B. ist die Homepage wichtiger als „Kontakt“) „Uns“-Seite) . Die von Sitemap bereitgestellten Informationen helfen Suchmaschinen-Crawlern, die Website intelligenter zu crawlen. Google, MSN, Yahoo! und Ask akzeptieren alle Anfragen von Websitebesitzern, Sitemaps einzureichen. Es ist jedoch zu beachten, dass kein Unternehmen garantiert, dass die für die Sitemap übermittelten URLs gecrawlt oder indexiert werden. Sitemaps sind nützlich für Websites, die Informationen bereitstellen, die nicht einfach direkt durchsucht werden können. Einige Websites speichern beispielsweise große Archive oder Datenbanken mit Informationen, die nur durch Benutzersuchen angezeigt werden können. Denken Sie daran, dass Crawler Informationen nur auf der Grundlage von Links crawlen und diese Informationen normalerweise keine Links enthalten, auf die sie verweisen können.
Artikelquelle: http://www.jysnj.com Bitte geben Sie beim Nachdruck die Adresse an
Chefredakteur: Chen Long Der Autor fragte nach Ers persönlichem Bereich