xt:Commerce - robots.txt

Mit der robots.txt im Stammverzeichnis des Shops wird den Crawlern, die Ihre Webseite in regelmäßigen Abständen besuchen gesagt welche Inhalte für eine Indexierung in den Suchmaschinenergebnissen geeignet sind und welche nicht für Suchanfragen herangezogen werden dürfen. Nach der Installation des Shops kann man die "robots.txt" im Root-Verzeichnis des Shops sehen. Man kann die Datei ebenso über die URL-Zeile des Browsers aufrufen: http://www.ihre-domain.tld/robots.txt

Damit nicht für jede Suchmaschine eine eigene robots.txt erstellt werden muss haben sich Google, Bing & Co auf eine gemeinsame Syntax innerhalb der robots.txt Datei geeinigt.


Steuerung der Spider und Robots via robots.txt

An Hand des folgenden Auszugs aus einer robots.txt kann man sich eine kurzen Überblick verschaffen.

robots.txt
User-agent: Googlebot-Mobile
Disallow: /

User-agent: *
Allow: /templates/*css
Allow: /templates/*js
Allow: /cache/*css
Allow: /cache/*js
Disallow: /xtLogs/
Disallow: /xtFramework/

 

Der User-Agent ist der Name des Robots der Ihren Webseiteninhalt liest und vorläufig bewertet. Inzwischen kommen für die Masse an unterschiedlichen Medien die man im Internet suchen kann, unterschiedliche Robotszum Einsatz.

CrawlerUser-agentHTTP(S) benötigt User-Agent
Googlebot (Google Websuche)GooglebotMozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
oder
(selten verwendet): Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot für BilderGooglebot-ImageGooglebot-Image/1.0
Googlebot für VideosGooglebot-VideoGooglebot-Video/1.0
Google Mobile Googlebot-Mobile

[verschiedene Mobilgerät-Typen] (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

 

So wie im Beispiel zu sehen würden diese beiden Zeilen den Effekt haben, dass Inhalt der Webseite für den Mobile-Content in Googles Suchmaschinen freigegeben ist und die Inhalte nicht für den Suchindex aufbereitet werden darf .

User-agent: Googlebot-Mobile
Disallow: /

 

Diese Anweisung heißt so viel wie, dass jeder Robot der die Seite aufsucht sich angesprochen fühlen darf und alle Anweisungen (Allow / Disallow) zu befolgen hat die ab der nächsten Zeile geschrieben gesetzt ist.

User-agent: *
Allow: /templates/*css
Allow: /templates/*js
Allow: /cache/*css
Allow: /cache/*js
Disallow: /xtLogs/
Disallow: /xtFramework/

Support
Shop Support: Support zum Shop und anderen
Produkten von xt:Commerce.

Fehler melden
Report a Bug: Fehler gefunden?
Informieren Sie uns.

xt:Commerce Marketplace
Plugins & Templates: Über 500 Möglichkeiten in unserem
Store zur Shop-Optimierung.

xt:Commerce Service Team
Services: Wir übernehmen individuelle
Anpassungen für Ihren Shop.

Impressum