A robots.txt fájl tájékoztatja a keresőmotorok feltérképező robotjait, hogy melyek azok az oldalak és fájlok, amelyeket lekérhetnek webhelyéről, vagy melyek azok, amelyeket nem. Ez leginkább a kérések okozta túlterhelés elkerülésére szolgál; nem így kell megakadályoznia, hogy bizonyos weboldalak megjelenjenek a Google rendszerében. Ha nem szeretné, hogy valamely weboldal megjelenjen a Google rendszerében, használjon noindex direktívákat, esetleg védje jelszóval az oldalt.
