Robots.txt

Robots.txt er en tekstfil, der tillader en hjemmeside til at give anvisninger til webrobotter. Søgemaskiner som Google bruger disse webrobotter, for at arkivere og kategorisere websites.