Suchmaschinen steuern

[nebukadnezar]

Hallo,

eigentlich ist doch das Archiv für die Suchmaschinenspider gedacht, oder? Bei mir verirrt sich aber offensichtlich keiner da rein. Yahoo tummelt sich den ganzen Tag bei mir im Forum, aber eben nicht im Archiv. Die Resultate sind danndementsprechend dämlich, in der Voransicht steht dann nutzloses Zeug wie ". Benutzername. Angemeldet bleiben ..." drin.

Jetzt die Frage: wenn ich den Crawlern "forumdisplay.php" und "showthread.php" via robots.txt verbiete, spidern sie dann überhaupt noch oder war's das dann?

Gibt es hierzu Erfahrungen?

Gruß,
Ben

[h75]

hi nebukadnezar :)

wenn du die via robots.txt sperrst, dann wird es ne Zeit dauern, aber die werden sich dran halten. Sofern die sich an die robots.txt halten.

Ob das allerdings gut ist, weiss ich nicht. Ich nutze das Archiv in kaum einem Forum.

Was du vielleicht eher machen könntest, ist ein Meta-Tag im Header unterzubringen, der nur den entsprechenden Seiten sichtbar wird, die du ausblenden möchtest. <meta name="robots" content="noindex" />
<meta name="robots" content="nofollow" />
<meta name="robots" content="noarchive" />

[Bandwurm]

Kennst du den Begriff "Backlinks"?
Du hast so gut wie keine, Google und Co. werden so nicht so schnell freiwillig jeden Ordner (archiv ist auch einer) spidern, weil du für die einfach zu "unwichtig" bist.

[Pathor]

Außerdem brauchen die Robots immer eine gewisse Zeit, bis sie das Archiv finden. ;)

[Bandwurm]

Setzt man Backlinks drauf sind die Achive URLs innerhalb von wenigen Tagen im Index, obwohl das auch völlig egal ist.
Denn was nützen mir indizierte Seiten, wenn die erst ab Treffer >100 kommen, wenn danach gesucht wird, ganz anderes Thema.

[Pathor]

Vielleich sollten wir einfach mal nen nützlichen Link posten http://www.abakus-internet-marketing.de/foren/ ;)

[h75]

In Bezug auf Google gibt es noch ne Menge hilfreiche Dinge.. ;)

http://hollii.de/temp/google_webmaster_toolss.jpg (http://hollii.de/temp/google_webmaster_tools.jpg)

Einfach mal hier schauen, anmelden und einloggen. :D

http://www.google.de/intl/de/webmasters/