PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : robots.txt,Google und der Kalender...



kisu
06.06.2008, 22:34
Hallo zusammen,
Ich habe mal ne Frage zu´r robots.txt. Und zwar ist mir bei uns im Forum aufgefallen, daß Google nächtelang den Kalender indexiert. Da steht nun aber außer ein paar wenigen Geburtstagen (das Forum ist noch ganz "frisch") nicht viel drin.
Also ist es eigentlich unsinnig, wenn Google da die Daten einliest; hab ich mir gedacht...
Also hab ich folgende robots.txt angelegt; und im rootverzeichnis gespeichert. Das Forum selbst liegt unter /forum.
Aber wenn ich im WIO guck ist Google trotzdem ständig dabei den Kalender durchzuschauen. Hab ich da was falsch gemacht(?)(siehe unten) oder ingnoriert Google da einfach nur die robots.txt???



User-agent: *
Disallow: /forum/admincp/
Disallow: /forum/install/
Disallow: /forum/modcp/
Disallow: /forum/register.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/calendar.php
Disallow: /forum/sendmessage.php
Disallow: /forum/private.php
Disallow: /forum/visitormessage.php
Disallow: /forum/usernote.php
Disallow: /forum/usercp.php
Disallow: /forum/album.php
Disallow: /forum/online.php
Disallow: /forum/profile.php

mrad
06.06.2008, 23:22
die sieht eigentlich ganz gut aus.
vielleicht hilft dir diese url weiter: http://www.bjoernsworld.de/suchmaschinen/robots-txt.html

kisu
06.06.2008, 23:27
# robots.txt fuer http://www.beispiel.de/
Das hab ich nicht drüber stehen, aber das ist wegen der # doch eh nur ne info für mich oder interpretiere ich das falsch?

pogo
07.06.2008, 10:44
Ja, das ist nur ein Kommentar.

Welchen Useragent hat denn der Bot, der in der calendar.php rumschnüffelt?

Sollte es Adsbot-Google sein, musst du den extra aussperren (http://adwords.google.com/support/bin/answer.py?answer=38197).