Googlebot
Aus Suchmaschinen Web
Beschreibung Googlebot
Der Googlebot ist Googles Spider´s, der neue Seiten in den Google Index aufnimmt. Wie oft der Googlebot eine Seite besucht hängt davon ab wie viele externe Links zu der Seiten zeigen und wie hoch der Pagerank der enstprechenden Seite ist. Der Googlebot beachtet die Robots.txt Datei und die Robots Anweisungen in den Metatags.
User Agent Googlebot
Der User Agent des Googlebots ist "Googlebot/2.X" Der Googlebot arbeitet mit mehreren verschiedenen IPs und kann auf umfangreichen Seiten einiges an Traffic verursachen. Um den Googlebot zu erkennen gibt es eine Liste von Googlebot IPs.
Häufig gestellte
- Warum erscheinen Seiten, die der Googlebot gecrawlt hat nicht direkt im Index?
Wenn man Dokumente die Google bereits gecrawlt hat nicht sofort in dem Index erscheinen sollte man sich nicht wundern. Google selbst sagt, daß Dokumente die der Googlebot gecrawlt hat kurz danach in die Such Datenbank aufgenommen werden. In seltenen Fällen werden Dokumente nicht in die Datenbank aufgenommen. Dies kann mehrere Gründe haben, zum Beispiel wenn Duplicate Content vorliegt.
- Welchen Links folgt Googlebot?
Auf der Webseite von Google zu Ihrem Bot wird erklärt das der Bot allen href und src Links folgt.
Artikel aus dem Suchmaschinen Web
Weblinks
- Fragen und Antworten zum Googlebot
- Liste von Googlebot IPs
- Englischer Artikel zum Googlebot
- Googlebot's Private-Homepage