Archiv und Bots

[darkdiver]

Wie sollte meine Robot.txt aussehen, damit die Suchmaschinen zuerst das /forum/archive durchsuchen und dann den rest ?

ja jetzt mit der neuen Version 3.0.4 geht mein Archiv auf einmal...

grüße
darkdiver

[darkdiver]

hmm, kann da keiner was zu sagen ???
Ich habe schon viel über Robot.txt gelesen, aber es klappt nicht immer..

grüße
Darkdiver

[FiX]

Also "zuerst und dann" geht mit einer robots.txt nicht glaube ich.

Es geht wohl nur über

Disallow: /Verzeichnis/
Disallow: /datei.php
Allow: /archive/

Dabei ist aber zu beachten, dass Allow: kein anerkannter Standard ist - müssen sich also nicht alle Bots dran halten. Wenn du nur keine Bots im "normalen" Forum haben willst, dann musst du wohl alle Dateien und Ordner im Verzeichnis sperren und nur /archive/ freigeben.

Meine Robots.txt: http://www.united-forum.de/robots.txt

Die hindert aber keinen daran ins normale Forum zu gehen, da ich sachen wie forumdisplay.php usw. _nicht_ gesperrt habe. Scheint aber trotzdem bissel was zu bringen, denn die meisten der Bots gehen ins Archive. (aber halt auch zu den anderen Sachen).

	
   66.249.71.73
   	
   12:19 Suchmaschine: Google 	
   /archive/index.php/f-516.html Betrachtet das Archiv
   CCG/ZH Strategien
   	
   66.249.71.54
   	
   12:22 Suchmaschine: Google 	
   Sieht die Meldung 'Zugriff verweigert' /newreply.php?do=newreply&p=611003 Antwortet auf ein Thema
   Neue UBZ Saison - Neue Games?
   	
   66.249.64.55
   	
   12:23 Suchmaschine: Google 	
   Sieht die Meldung 'Zugriff verweigert' /member.php?u=664 Betrachtet ein Benutzerprofil
   KinGoWnEr
   	
   66.249.64.28
   	
   12:22 Suchmaschine: Google 	
   Sieht die Meldung 'Zugriff verweigert' /profile.php?do=addlist&userlist=buddy&u=5672 Ändert die Buddy-/Ignorier-Liste
   	
   66.249.71.28
   	
   12:19 Suchmaschine: Google 	
   Sieht die Meldung 'Zugriff verweigert' /newreply.php?do=newreply&p=667290 Antwortet auf ein Thema
   ZH 1on1 Random-Turnier am 29.12.2004/18:00 (Map-Vote)
   	
   66.249.64.30
   	
   12:21 Suchmaschine: Walhello appie 	
   /showthread.php?t=34523 Liest ein Thema
   ZH 1on1 Random-Turnier am 29.12.2004 ab 18:00
   	
   82.217.42.23
   	
   12:26 Suchmaschine: Google 	
   /archive/index.php/f-267.html Betrachtet das Archiv
   ...:::SODSW:::...
   	
   66.249.71.56
   	
   12:21 Suchmaschine: Google 	
   /showpost.php?p=667246&postcount=1 Liest ein Thema
   ZH 1on1 Random-Turnier am 29.12.2004/18:00 (Map-Vote)
   	
   66.249.64.79
   	
   12:23 Suchmaschine: Google 	
   Sieht die Meldung 'Zugriff verweigert' /member.php?u=6366 Betrachtet ein Benutzerprofil
   AgEnT21
   	
   66.249.71.67
   	
   12:20 Suchmaschine: Google 	
   /archive/index.php/f-532.html Betrachtet das Archiv
   Changes
   	
   66.249.71.55
   	
   12:25 Suchmaschine: Google 	
   /archive/index.php/f-511.html Betrachtet das Archiv
   NudSi
   	
   66.249.64.16
   	
   12:21 Suchmaschine: Google 	
   Sieht die Meldung 'Zugriff verweigert' /sendmessage.php?do=mailmember&u=2155 Mailing
   Psycho Joker
   	
   66.249.71.29
   	
   12:19 Suchmaschine: Google 	
   /archive/index.php/f-117.html Betrachtet das Archiv
   Renegade
   	
   66.249.64.54
   	
   12:26 Suchmaschine: Google 	
   /archive/index.php/f-475.html Betrachtet das Archiv
   Top Team Replays
   	
   66.249.71.15
   	
   12:19 Suchmaschine: Google 	
   /showthread.php?p=367373 Liest ein Thema
   Neue Regeln
   	
   66.249.71.71
   	
   12:17 Suchmaschine: Google 	
   /archive/index.php/t-34828.html Betrachtet das Archiv
   Clanforen
   	
   66.249.71.7
   	
   12:23 Suchmaschine: Google 	
   Sieht die Meldung 'Zugriff verweigert' /member.php?u=4600 Betrachtet ein Benutzerprofil
   Specki
   	
   66.249.71.61
   	
   12:23 Suchmaschine: Google 	
   /archive/index.php/f-522.html Betrachtet das Archiv
   darkTEAM
   	
   66.249.71.17
   	
   12:26 Suchmaschine: Yahoo! Slurp 	
   Sieht die Meldung 'Zugriff verweigert' /member.php?action=getinfo&userid=20 Betrachtet ein Benutzerprofil
   Talatavi
   	
   66.196.90.130
   	
   12:18 Suchmaschine: Google 	
   Sieht die Meldung 'Zugriff verweigert' /calendar.php?do=add&c=1 Erstellt einen Termin
   	
   66.249.64.66
   	
   12:23 Suchmaschine: Google 	
   /login.php?do=lostpw Meldet sich an
   	
   66.249.64.38
   	
   12:22 Suchmaschine: Google 	
   Sieht die Meldung 'Zugriff verweigert' /profile.php?do=addlist&userlist=buddy&u=3300 Ändert die Buddy-/Ignorier-Liste
   	
   66.249.64.37
   	
   12:26 Suchmaschine: Google 	
   /archive/index.php/f-87.html Betrachtet das Archiv
   Tiberian Sun
   	
   66.249.64.27
   	
   12:22 Suchmaschine: Google 	
   /showthread.php?p=672898 Liest ein Thema
   Counter Strike:Source (ping)
   	
   66.249.64.58
   	
   12:20 Suchmaschine: Google 	
   /archive/index.php/f-544.html Betrachtet das Archiv
   Technik Ecke

[darkdiver]

Vielen Dank !