Robots.txt für vB4?

[SeToY]

Heyho,

gibt es eine gute vorgefertigte Robots.txt für vB4?

Zugriff auf Profile und die Memberlist habe ich über das Rechtesystem verboten für Unregistrierte. Trotzdem meckert Google Analytics eine fehlende Robots.txt an

Grüße

[hcmagix]

Heyho,

gibt es eine gute vorgefertigte Robots.txt für vB4?

Zugriff auf Profile und die Memberlist habe ich über das Rechtesystem verboten für Unregistrierte. Trotzdem meckert Google Analytics eine fehlende Robots.txt an

Grüße

klar doch

User-agent: *
Disallow: /


Ansonsten ist hier eine gute Beschreibung http://www.bjoernsworld.de/suchmasch...obots-txt.html

[SeToY]

Erstmal danke für deine Antwort.

Ich suche jedoch eine gute Beispiel (vorgefertigte) Robots.txt - was du da machst ist.. nunja..
Um eben solchen Problemen aus dem Weg zu gehen suche ich eine ^^ evtl. einfach nur "Robots solltest du aus Ordner xyz aussperren", wie z.B. temp, images oder sowas.

Grüße

[hcmagix]

naja man kann sich ja die von einigen großen Boards ja mal anschauen wenn man sie direkt aufruft. Hier mal meine

User-agent: Slurp
Crawl-delay: 60

User-agent: Mediapartners-Google*
Disallow:

User-agent: grub-client
Disallow: /
User-agent: grub
Disallow: /
User-agent: looksmart
Disallow: /
User-agent: WebZip
Disallow: /
User-agent: larbin
Disallow: /
User-agent: b2w/0.1
Disallow: /
User-agent: psbot
Disallow: /
User-agent: Python-urllib
Disallow: /
User-agent: NetMechanic
Disallow: /
User-agent: URL_Spider_Pro
Disallow: /
User-agent: CherryPicker
Disallow: /
User-agent: EmailCollector
Disallow: /
User-agent: EmailSiphon
Disallow: /
User-agent: WebBandit
Disallow: /
User-agent: EmailWolf
Disallow: /
User-agent: ExtractorPro
Disallow: /
User-agent: CopyRightCheck
Disallow: /
User-agent: Crescent
Disallow: /
User-agent: SiteSnagger
Disallow: /
User-agent: ProWebWalker
Disallow: /
User-agent: CheeseBot
Disallow: /
User-agent: LNSpiderguy
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: ia_archiver/1.6
Disallow: /
User-agent: Teleport
Disallow: /
User-agent: TeleportPro
Disallow: /
User-agent: MIIxpc
Disallow: /
User-agent: Telesoft
Disallow: /
User-agent: Website Quester
Disallow: /
User-agent: moget/2.1
Disallow: /
User-agent: WebZip/4.0
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: WebSauger
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: NetAnts
Disallow: /
User-agent: Mister PiX
Disallow: /
User-agent: WebAuto
Disallow: /
User-agent: TheNomad
Disallow: /
User-agent: WWW-Collector-E
Disallow: /
User-agent: RMA
Disallow: /
User-agent: libWeb/clsHTTP
Disallow: /
User-agent: asterias
Disallow: /
User-agent: httplib
Disallow: /
User-agent: turingos
Disallow: /
User-agent: spanner
Disallow: /
User-agent: InfoNaviRobot
Disallow: /
User-agent: Harvest/1.5
Disallow: /
User-agent: Bullseye/1.0
Disallow: /
User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /
User-agent: CherryPickerSE/1.0
Disallow: /
User-agent: CherryPickerElite/1.0
Disallow: /
User-agent: WebBandit/3.50
Disallow: /
??????agent: Zeus Link Scout
Disallow: /
User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /
User-agent: Webster Pro
Disallow: /
User-agent: EroCrawler
Disallow: /
User-agent: LinkScan/8.1a Unix
Disallow: /
User-agent: Keyword Density/0.9
Disallow: /
User-agent: Kenjin Spider
Disallow: /
User-agent: Iron33/1.0.2
Disallow: /
User-agent: Bookmark search tool
Disallow: /
User-agent: GetRight/4.2
Disallow: /
User-agent: FairAd Client
Disallow: /
User-agent: Gaisbot
Disallow: /
User-agent: Aqua_Products
Disallow: /
User-agent: Radiation Retriever 1.1
Disallow: /
User-agent: Flaming AttackBot
Disallow: /
User-agent: Oracle Ultra Search
Disallow: /
User-agent: MSIECrawler
Disallow: /
User-agent: PerMan
Disallow: /
User-agent: searchpreview
Disallow: /

User-agent: *
Disallow: /*.avi$
Disallow: /*.css$
Disallow: /*.db$
Disallow: /*.exe$
Disallow: /*.gif$
Disallow: /*.htc$
Disallow: /*.inc$
Disallow: /*.ini$
Disallow: /*.js$
Disallow: /*.js.php$
Disallow: /*.jpg$
Disallow: /*.log$
Disallow: /*.mp3$
Disallow: /*.mpg$
Disallow: /*.mpeg$
Disallow: /*.png$
Disallow: /*.psd$
Disallow: /*.rar$
Disallow: /*.wav$
Disallow: /*.zip$

User-agent: *
Disallow: /forum/admincp/
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/design/
Disallow: /forum/download/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/modcp/


Disallow: /forum/announcment.php
Disallow: /forum/announcment.php?
Disallow: /forum/cron.php
Disallow: /forum/cron.php?
Disallow: /forum/external.php
Disallow: /forum/external.php?
Disallow: /forum/global.php
Disallow: /forum/global.php?
Disallow: /forum/image.php
Disallow: /forum/image.php?
Disallow: /forum/joinrequests.php
Disallow: /forum/joinrequests.php?
Disallow: /forum/member.php
Disallow: /forum/member.php?
Disallow: /forum/misc.php
Disallow: /forum/misc.php?
Disallow: /forum/moderator.php
Disallow: /forum/moderator.php?
Disallow: /forum/newattachment.php
Disallow: /forum/newattachment.php?
Disallow: /forum/online.php
Disallow: /forum/online.php?
Disallow: /forum/poll.php
Disallow: /forum/poll.php?
Disallow: /forum/postings.php
Disallow: /forum/postings.php?
Disallow: /forum/private.php
Disallow: /forum/private.php?
Disallow: /forum/profile.php
Disallow: /forum/profile.php?
Disallow: /forum/report.php
Disallow: /forum/report.php?
Disallow: /forum/reputation.php
Disallow: /forum/reputation.php?
Disallow: /forum/sendmessage.php
Disallow: /forum/sendmessage.php?
Disallow: /forum/subscription.php
Disallow: /forum/subscription.php?
Disallow: /forum/threadrate.php
Disallow: /forum/threadrate.php?
Disallow: /forum/user.php
Disallow: /forum/user.php?
Disallow: /forum/usercp.php
Disallow: /forum/usercp.php?
Disallow: /forum/usernote.php
Disallow: /forum/usernote.php?

Allow: /forum/archive/

[Cybeth]

Hier mal meine robots.txt

[jonlar]

Ganz interessant find ich dabei http://www.vbulletin-germany.com/robots.txt

btw viele Dank für die Ideengebung

[SeToY]

Hallo,

dankeschön!

Auf welche Verzeichnisse wäre es denn sinnvoll, den Zugriff für Bots zu verhindern?

/admincp/
/modcp/

Vielleicht /images/? Oder /temp/?

[fox]

Schau mal in die Datei von Cybeth, da sind die ,in meinen Augen, wichtigsten genannt!

[Janmaat]

Wohin kopiert man dann die robots.txt ins Rootverzeichnis vom Webspace oder ins Verzeichnis vom Forum?

[Mystics]

Ins Rootverzeichnis.

[Janmaat]

Und wenn ich das Forum als Subdomain laufen hab, z.B. http://forum.meinvbulletinforum.de ?

[Mystics]

http://forum.meinvbulletinforum.de ist in diesem Fall "Root" und da gehört die robots.txt hin.

[Weser]

Hier mal meine robots.txt

Da muss ich nochmal einhaken. Meine Robots.txt liegt im Root-Verzeichnis. Darunter Forum etc. Wenn ich jetzt mal einen Satz aus der Robots.txt als Beispiel nehme um images zu blocken dann wäre das doch :

Disallow: /forum/images/ und nicht Disallow: /images/

Korrekt ?