robots.txt & index,follow

[Pagan]

Moin,

habe ne robots.txt angelegt die den Zugriff auf allen Datein verbietet bis auf index.php, forumdisplay.php und showthread.php. Bisher habe ich immer noch die metangaben bei Headinclude um dies ergänzt:

<meta name="robots" content="index, follow">

Doch dann steht dies ja bei alle Seiten im head-bereich, ignorieren die Bots wenn ich eine robots,txt habe diese Angaben? Oder indexieren sie trotz verbot in der robots.txt Datei die Seite?

Gruss Pagan

[General]

Eigentlich gilt primär die robots.txt, denn danach suchen die Bots ja zu allererst, bevor sie überhaupt was machen.