Inktomisearch Bots loswerden

[belinea]

Beim mir tummeln sich immer Inktomisearch Bots.

Ich habe im Adminpanel den IP Bereich dieser Bits gesperrt:

66.196.72

Laut der Beschreibung im Adminpanel sollte dann eigentlich 66.196.72.0 bis 66.196.72.255 gesperrt sein.

Wenn ich in WhosIsOnline sehe steht dort leider immer noch:

"Betrachtet das Profil eines enutzers" IP:j3139.inktomisearch.com

Ich habe auch eine robots.txt erstellt um mir Suchmaschinen vom Hals zu halten. Die Datei sieht folgendermaßen aus:

User-agent: *
Disallow: /

Aber auch das hilft nichts gegen Inktomi Bots.

Hat jemand eine Lösung wie ich die Bots von meinem Forum bannen kann?

[s.molinari]

Hi belinea,

Leider sind manche Bots böse und sie sind getarnt als gute Bots.(wie inktomi) Diese Bots ignorieren die robots.txt Datei und spidern deine komplette Site. Hier ist eine Anleitung (in Englisch) wie du sie "fangen" und erledigen kannst.

http://www.kloth.net/internet/bottrap

Scott

[belinea]

Danke für den Link. Da muss man ja ganz schön schwere Geschütze ausfahren...

[marina]

Hi,

schön daß dieses Thema hier angeschnitten wurde, denn bei mir treibt sich gerade dieser inktomisearch herum.

Eine Frage hätte ich zu der Anleitung von Kloth:

# To exclude those known bad bots from further visits of my pages, my active PHP pages begin with a check of the blacklist.dat file by including this statement at the beginning:

<?php include("./blacklist.php"); ?>

Muß das an den Anfang von der index.php im Hauptverzeichnis der Foren eingestzt werden?

Und vielleicht noch, operiert dieser Robot immer mit der gleichen IP?

Viele Grüße, Marina

[s.molinari]

Original geschrieben von marina
Hi,

schön daß dieses Thema hier angeschnitten wurde, denn bei mir treibt sich gerade dieser inktomisearch herum.

Eine Frage hätte ich zu der Anleitung von Kloth:

# To exclude those known bad bots from further visits of my pages, my active PHP pages begin with a check of the blacklist.dat file by including this statement at the beginning:

<?php include("./blacklist.php"); ?>

Muß das an den Anfang von der index.php im Hauptverzeichnis der Foren eingestzt werden?

Und vielleicht noch, operiert dieser Robot immer mit der gleichen IP?

Viele Grüße, Marina

Hi Marina,

Ich wurde sagen, stelle die Zeile in deiner global.php Datei. Dann wird das Script immer für alle Seiten durchgeführt.

Scott

[marina]

Okay Scott,

ich probier es mal

Alternativ - Mit tracert wird mir eine IP von inktomisearch angezeigt, die ich dann in die Bann-List von Vbulletin eingetragen habe, das funktioniert aber anscheinend nicht.

Viele Grüße, Marina

[firelooper]

Hat jemand schon mal diese Sache erfolgreich eingebaut? ( 1. Methode - http://www.kloth.net/internet/bottrap )

Ich habs mal gemacht doch irgendwie will es nicht so recht klappen und aussperren. Ich habe dann mal den Link geklickt und ich werde auch in die ipbannliste (blacklist.dat) eingetragen doch wenn ich danach auf die seite gehe werde ich nicht ausgesperrt. komisch.

Kann es an dem eintrag in die global.php sein? wo sollte man da den eintrag der blacklist.php dort eintragen?

@marina Die Bannfunktion im VB bannt die IPs vom schreiben und registrieren .. nicht aber ganz von der Seite.

[twollert]

Ich habe einfach eine robots.txt erstellt:

User-agent: Slurp
Disallow: /

Dauert dann ca. 2 Stunden, danach sind die Bots weg!

[Spike05]

Original geschrieben von twollert
Ich habe einfach eine robots.txt erstellt:

Ja, hab ich genauso gemacht, nur hat meine noch ein paar Einträge mehr (MSNBOT usw...)

Funktioniert übrigens einwandfrei! (aber nur weil die inktomi-bots nach dem robots.txt schauen!)

cu

Jochen

[firelooper]

Original geschrieben von twollert
Ich habe einfach eine robots.txt erstellt:

User-agent: Slurp
Disallow: /

Dauert dann ca. 2 Stunden, danach sind die Bots weg!

für was steht denn Slurp ??? Was soll ich denn da eintragen wenn da ein j3149.inktomisearch.com bot bei mir drin ist ???

Ich brauch da echt mal hilfe denn in dem fh board haben sich gestern um die 43 ots rumgetrieben. alle mit anderen nummern aber alle von inktomisearch.com. was ist das eigentlich für eine scheiss firma???

[Mystics]

Original geschrieben von firelooper
für was steht denn Slurp

Slurp ist der Searchbot von Inktomi:
http://www.inktomi.com/slurp.html

Du kannst die Datei 1:1 übernehmen.

[meaningful]

Ich würde sehr gerne diesen Bot ( Mozilla/4.0 compatible ZyBorg/1.0 (wn.zyborg@looksmart.net; http://www.WISEnutbot.com) 216.88.158.142 ) loswerden, habe aber keine Idee wie. Ihr vielleicht?

[MrNase]

Hab auch grad 3 drauf

Aber wie ist es denn jetzt? Auf vb.com meinen welche der Bot würde die robots.txt nicht beachten und jetzt soll es auf einmal mit der Datei gehen?

[Mystics]

Drei sind doch keine große Sache. Ansich sind diese Bots ja was gutes, damit das Forum in den Suchmaschinen auftaucht.

Probiere es doch einfach mit der robots.txt, wenn es mehr Bots werden.

Und wenn das dann nichts bringt, mache es mit der .htaccess Methode:
http://www.vbulletin-germany.com/for...t&postid=36563

[nobody]

auch bei waren viele inktomie search bots unterwegs und ich konnte sie aussperren.
doch seit heute habe ich an die 10!!! von crawl24-public.alexa.com online...wie sperre ich die denn wieder aus?
muss ich die robots.txt datei irgendwei erweitern?
oder eicht es gar wenn die ersten beiden ip blöcke sperre?

[nobody]

mittlerweile habe ich bereits traffic probleme aufgrund von suchbots.
das ist meine aktuelle robots txt datei:

User-agent: Slurp
Disallow: /

User-agent: *
Disallow: /forum/

kann ich hier noch etwas inzufügen oder sollte ich etwas ändern?
Danke!

[kaiandeve]

Hi,

bei mir kommen diese bots mit 66.196.90
habe garde den neny umgestellt.
mal schauen obs reicht.
wie ist das mit der robots.txt
muß da nochmehr infos rein und wohin muß die datei gelafden werden?

danke
gruß Kai
im moment ca. 35 bots drin *heul*

[Spike05]

Die robots.txt kommt ins root-Verzeichnis /

Du kannst entweder jeden Bot einzeln ausperren oder alle auf einmal (inkl. googlebot usw.)

Hier mal meine robots.txt: Klick

Gruß

Jochen

[kaiandeve]

hi,

danke für die Antwort.
ins Root meines webverz. oder ins Root des Forums?


gruß Kai

[Spike05]

Original geschrieben von kaiandeve
hi,

danke für die Antwort.
ins Root meines webverz. oder ins Root des Forums?


gruß Kai

Ins root des Webverzeichnis bzw. Servers

Gruß

Jochen