Failā robots.txt, kas tiek glabāts jūsu vietnes saknē, interneta robotam, piemēram, meklētājprogrammu zirnekļiem, tiks rādīts, kuri direktorijas un faili viņiem ir atļauts rāpot. Faila robots.txt ir viegli lietot, taču ir dažas lietas, kas jāatceras:
- Blackhat tīmekļa robots ignorēs jūsu robots.txt failu. Visbiežāk sastopamie tipi ir ļaunprātīgas programmatūras robotprogrammatūras un roboti, kas meklē e-pasta adreses, lai iegūtu ražu
- Daži jaunie programmētāji uzrakstīs robotus, kas ignorē robots.txt failu. Tas parasti tiek izdarīts kļūdas dēļ.
- Ikviens var redzēt jūsu robots.txt failu. Tos vienmēr sauc par robots.txt un vienmēr tiek glabāti tīmekļa vietnes saknē.
- Visbeidzot, ja kāds piesaista failu vai direktoriju, kas no robots.txt faila ir izslēgts no lapas, kas nav izslēgts ar faila robots.txt, meklētājprogrammas to var atrast jebkurā gadījumā.
Neizmantojiet robots.txt failus, lai paslēptu neko svarīgu. Tā vietā jums vajadzētu ievietot svarīgu informāciju aiz drošām parolēm vai pilnībā atstāt to tīmeklī.
Kā izmantot šos parauga failus
Kopējiet tekstu no parauga, kas ir vistuvāk tam, ko vēlaties izdarīt, un ielīmējiet to robots.txt failā. Mainiet robotu, direktoriju un failu nosaukumus, lai tie atbilstu jūsu vēlamajai konfigurācijai.
Divi pamata robots.txt faili
Lietotāja aģents: *Disallow: / Šis fails saka, ka jebkuram robotam ( Lietotāja aģents: *), kurai piekļūst, vajadzētu ignorēt katru vietnes lapu ( Disallow: /). Lietotāja aģents: *Aizliegt: Šis fails saka, ka jebkuram robotam ( Lietotāja aģents: *), kas piekļūst tai, ir atļauts skatīt katru vietnes lapu ( Aizliegt:). To varat arī izdarīt, atstājot savu robots.txt failu tukšu vai vispār neesošu jūsu vietnē. Lietotāja aģents: *Disallow: / cgi-bin /Disallow: / temp / Šis fails saka, ka jebkuram robotam ( Lietotāja aģents: *), kas piekļūst tam, vajadzētu ignorēt direktorijus / cgi-bin / un / temp / ( Disallow: / cgi-bin / Disallow: / temp /). Lietotāja aģents: *Aizliegt: / jenns-stuff.htmAizliegt: /private.php Šis fails saka, ka jebkuram robotam ( Lietotāja aģents: *), kas tai piekļūst, vajadzētu ignorēt failus /jenns-stuff.htm un /private.php ( Disallow: /jenns-stuff.htm Aizliegt: /private.php). Lietotāja aģents: Lycos / x.xDisallow: / Šajā failā teikts, ka Lycos bot ( Lietotāja aģents: Lycos / x.x) nav atļauts piekļūt jebkurā vietnē ( Lietotāja aģents: *Disallow: /Lietotāja aģents: GooglebotAizliegt: Vispirms šis fails neļauj visiem robotiem, piemēram, mēs izdarījām augstāk, un pēc tam skaidri ļauj Googlebot ( Lietotāja aģents: Googlebot) ir pieejams viss ( Lai gan labāk izmantot ļoti iekļaujošu User-Agent līniju, piemēram, User-agent: *, jūs varat būt tikpat specifiski kā vēlaties. Atcerieties, ka roboti izlasa failu kārtībā. Tātad, ja pirmajās rindās teikts, ka visi roboti ir bloķēti no visa, un vēlāk failā tā saka, ka visiem robotiem ir atļauta piekļuve visam, robotiem būs pieejams viss. Ja nezināt, vai esat pareizi rakstījis robots.txt failu, varat izmantot Google tīmekļa pārziņa rīkus, lai pārbaudītu robots.txt failu vai uzrakstu jaunu. Aizsargājiet īpašas direktorijas no robotiem
Aizsargājiet specifiskas lapas no robotiem
Novērst konkrētu robotu piekļuvi jūsu vietnei
Atļaut tikai vienu konkrētu robotu piekļuvi
Apvienojiet vairākas līnijas, lai precīzi iegūtu izņēmumus, kurus vēlaties
