Spider nur ins Archiv, aber NICHT ins Forum

[Odysseus]

Ich möchte folgendes erreichen:

Suchmaschinen-Spider sollen mein Forum nicht erreichen, aber das Archiv schon.

Forum: http://www.domain.de/vbulletin/
Archiv: http://www.domain.de/vbulletin/archive/

Eine Robots.txt im Wurzelverzeichnis erlaubt momentan keinen Zugriff auf /vbulletin/ ... aber dann ist ja das Archiv-Unterverzeichnis auch verboten!

Wie kann ich mein Anliegen realisieren?

[syco23]

Genau für dieses Problem suche ich auch gerade eine Lösung.

Vielleicht kann man nach der Sperrung von

/forum/

wieder

/forum/archiv/

erlauben.. Weiß aber nicht, ob die Spider das auch verstehen.. Momentan wird bei mir die ganze robots.txt von Google ignoriert. d.h. obwohl /forum/ gesperrt ist, wird das Archiv gespidert.

[syco23]

Hatte soeben eine Idee:

Einfach im Header (der wird ja nicht für das Archiv verwendet)<META NAME="ROBOTS" CONTENT="NOINDEX"> einfügen - fertig :)

[Odysseus]

Und dann findet er nicht den Link ins Archiv ...

[Thomas P]

Den kann man direkt bei SuMas anmelden.

Über Meta-tags oder die robots.txt ist gut, zu tief in die Trickkiste würde ich allerdings nicht greifen.

[syco23]

Den kann man direkt bei SuMas anmelden... oder auf der Startseite verlinken.