Chagua udhibiti unaolingana na matokeo
Crawling ni upokeaji wa URL kwa njia ya otomatiki. Indexing ni mchakato ambapo injini ya utafutaji inaamua ikiwa itahifadhi na kuonyesha taarifa kuhusu URL hiyo. Udhibiti wa ufikiaji unaamua nani anaweza kupata maudhui. Robots.txt inahusu crawling, na vichunguzi vinavyotii huamua kama vitafuata maagizo yake. IETF Robots Exclusion Protocol inasema kuwa sio aina ya idhini/uthibitisho.
Tumia kanuni ya Disallow kudhibiti ufikiaji wa vichunguzi kwa njia ya umma yenye thamani ndogo, kama njia ya utafutaji wa ndani inayodhibitiwa. Tumia noindex kwa maudhui ya umma ambayo hayapaswi kuonekana katika matokeo ya injini zinazotimizwa. Tumia udhibiti wa ufikiaji halisi kwa mapitio, maeneo ya akaunti, kuuza nje au data nyeti. Kwa habari za wateja, wafanyakazi, malipo, au zilizodhibitiwa, pata mapitio ya usalama na jukwaa yaliyohitimu; robots.txt hawezi kuwa udhibiti mbadala.
Robots.txt inaweza kuomba kwamba vichunguzi vinavyotii kuepuka njia ya umma iliyofafanuliwa; haitahakikisha kuondolewa katika matokeo.
Tumia noindex katika HTML au kichwa cha X-Robots-Tag, na uache mwitikio uweze kuchunguzwa ili maagizo yaoneke.
Hitaji uthibitisho au udhibiti unaofaa wa programu au seva, kisha ondoa URL kutoka katika njia za ugunduzi za umma.
Tumia sintaksia na wigo wa msingi kwa usahihi
Chapisha robots.txt ya maandishi wazi ya UTF-8 katika /robots.txt kwa kila skimu, mwenyeji, na bandari zinazohitaji sheria. Faili iliyoko https://www.example.com/robots.txt haidhibiti kiotomatiki https://example.com, subdomain, au asili ya HTTP. Thibitisha asili zinazotumika na URL za kanoni, redirects, CDN, na programu kabla ya kudhani sheria inatumika.
Kikundi kinaanza na User-agent kisha kinatumia Allow au Disallow kwa njia. User-agent: * ni kikundi kwa ujumla. Upatanisho unazingatia tofauti ya herufi (case-sensitive) na huanza mwanzoni mwa njia. Sheria inayolingana kwa undani zaidi ndiyo inashinda; Allow yenye umafani sawa inapaswa kushinda juu ya Disallow. Disallow: haizuizi chochote, wakati Disallow: / inazuia asili nzima. Kiwango kinataja # kwa maoni, * kwa wildcard, na $ kwa mwisho wa muundo.
Kama hakuna haja ya udhibiti wa kuchunguza iliyodokumentiwa, usiongeze vizuizi; usitengeneze vizuizi vya kubahatisha.
Pendelea kiambishi imara na nyembamba kama /search/ badala ya wildcard mpana au sheria ya jina la faili isiyoelezewa.
Rekodi madhumuni ya sheria, mmiliki, na rejeleo la mabadiliko, lakini usitazame maoni kama mbadala wa mapitio.
Zuia tu mifumo inayoungwa mkono na ushahidi wa URL
Kabla ya kuandika sheria, orodhesha kurasa muhimu, njia zisizotakiwa za kuchunguza, tofauti za maswali (query variants), utafutaji wa ndani, njia za mapitio, mali (assets), na URL za sitemap. Kwa kila URL ya sampuli, rekodi matokeo yanayotarajiwa na sheria inayolingana. Linganisha orodha na URL za kanoni na urambazaji wa moja kwa moja ili kizuizi kisificha njia muhimu.
Weka rasilimali muhimu kwa kivinjari zikipatikana isipokuwa imethibitishwa vingine. Google inaonya kwamba kuzuia CSS, JavaScript, picha, au rasilimali nyingine kunaweza kufanya ukurasa kuwa mgumu kuchambua. Robots.txt haiwezi kutatua uchaguzi wa maudhui rudufu, idhinisho, au ubora wa ukurasa; tumia canonicalization, redirects, udhibiti wa ufikiaji, au kazi ya maudhui inapofaa.
Tumia sampuli halisi za URL na ushahidi wa seva au crawl, sio orodha ya jumla iliyochakuliwa kutoka tovuti nyingine.
Hifadhi kila sampuli ya URL, matokeo yaliyokusudiwa, sheria inayolingana, na mmiliki anayehusika katika rekodi ya uzinduzi.
Hakikisha ugunduzi wa sitemap, noindex, na maamuzi ya faragha ni thabiti
Sitemap inaambia injini za utafutaji ni URL na faili gani unazoziona muhimu; inaweza kusaidia ugunduzi lakini haisaidii kwa uhakika kuchunguza au kuorodhesha. Viungo vya ndani vya nguvu bado vina umuhimu. Unaweza kuongeza URL kamili ya Sitemap katika robots.txt, lakini usiweke orodha ya URL za kibinafsi, zilizorejeshwa (redirected), zilizozuiwa na robots, au zinazokusudiwa kuwa noindex. Rekebisha matokeo ya sitemap na sheria za robots wakati wa uzinduzi.
Noindex sio agizo la robots.txt la Google. Google inaunga mkono noindex katika meta tag ya HTML au kichwa cha majibu cha X-Robots-Tag HTTP, na lazima ichunge (crawl) mwitikio ili kuiona. Ikiwa ukurasa wa umma unahitaji kuondoka katika matokeo ya Google, ondoa kizuizi chochote cha robots kinachoficha noindex. Ikiwa maudhui si ya umma, usitangaze njia yake katika robots.txt; tekeleza udhibiti wa ufikiaji. Mipaka ya data nyeti inahitaji mapitio yaliyohitimu.
Tumia URL kamili, kwa mfano Sitemap: https://www.example.com/sitemap.xml; haivunji kizuizi cha kuchunguza.
Tumia meta noindex kwa HTML au kichwa cha majibu X-Robots-Tag: noindex pale inafaa, kisha jaribu mwitikio wa moja kwa moja.
Kataza ufikiaji kwanza wakati maudhui ni nyeti, kisha tumia mchakato wa kuondoa wa injini ya utafutaji inapofaa.
Pima na uitoe kama faili muhimu ya usanidi
Thibitisha maandishi yaliyoruhusiwa kwa ndani, kisha jaribu mifano iliyoruhusiwa na iliyofunguliwa kwa kikundi kinachokusudiwa cha vichunguzi. Baada ya utekelezaji, chukua /robots.txt ya umma kwa faragha au kwa ombi la moja kwa moja la HTTP ili kuthibitisha yaliyomo, asili, na hali ya majibu. Google hutoa ripoti ya robots.txt kwenye Search Console kwa mafaili yanayopatikana na maktaba ya parser ya chanzo huria kwa majaribio ya ndani.
Vichunguzi vinaweza kuhifadhi nakala za faili za robots, hivyo usiahidi ugundulaji au mabadiliko ya kuorodhesha mara moja. Makosa ya seva au mtandao hupelekea vichunguzi kudhani disallow kamili, wakati 4xx inaweza kuruhusu ufikiaji. Weka faili kwenye usanidi ulio chini ya udhibiti wa chanzo, hitaji mapitio ya ziada kwa mabadiliko ya tovuti nzima au wildcards, na huhifadhi toleo la awali. SIU preflights na mipango ya kurudisha nyuma husaidia kugundua uzinduzi mbaya kabla haujabadilika kuwa tatizo kubwa la upatikanaji au ugundulizi.
Hitaji mhariri wa pili kwa uhamishaji wa origin, vizuizi vya tovuti nzima, wildcards, na mabadiliko yanayoathiri sign-in, checkout, au njia za msaada.
Rudisha toleo la awali wakati URL muhimu ya sampuli imeshatambuliwa kama imezuiwa, mali muhimu haipatikani, au endpoint haipatikani.
Mtihani mmoja wa mchunguzi hauhakikishi kwamba kila mteja wa otomatiki ataelewa kila sheria kwa njia ile ile.