Spider
Aus Suchmaschinen Web
Ein Spider, auch Robot oder Crawler genannt, wird von Suchmaschinen eingesetzt um Webseiten zu durchsuchen und zu analysieren.Bei Google wird dieser Bot der Googlebot genannt. Jeder Spider hat einen eigenen Namen und man kann Sie an Ihrer User Agent Kennung identifizieren.
Ausschluss bestimmter Spider
Wenn man Spider bestimmter Suchmaschinen vom Crawlen und Aufnahmen der Seiten ausschließen möchte kann man eine Robots.txt Datei einsetzen.Ein Merkmal von Spidern ist die Art wie Sie sich beim Crawlen der Webseiten verhalten.Einige Spider verhalten sich dabei aggresiv, andere gehen strukuriert vor.
Spider analysieren Text und ignorieren oft Javascript und dynamische Inhalte.
Einen Spider füttert man am besten durch guten, themenrelevanten Content, eine gute interne Verlinkung und Querverweise zu anderen, themenrelevanten externen und internen Webseiten.
Im Moment haben viele Robots Probleme, mit Flash zurechtzukommen.
Weblinks