Yon dosye robots.txt ki estoke nan rasin lan nan sit entènèt ou an ap di robo entènèt tankou areye motè rechèch ki repèrtwar ak dosye yo gen dwa rale. Li fasil yo sèvi ak yon robots.txt dosye, men gen kèk bagay ou ta dwe sonje:
- Nwa robo entènèt chapo pral inyore dosye robots.txt ou. Kalite ki pi komen yo se bòt malveyan ak robo kap chèche adrès imel rekòt.
- Gen kèk pwogramè nouvo pral ekri robo ki inyore dosye a robots.txt. Sa a se anjeneral fè pa erè.
- Nenpòt moun ka wè dosye robots.txt ou. Yo toujou rele robots.txt epi yo toujou ki estoke nan rasin lan nan sit wèb la.
- Finalman, si yon moun ki lyen nan yon dosye oswa anyè ki eskli pa dosye robots.txt ou soti nan yon paj ki pa eskli pa dosye robots.txt yo, motè yo rechèch ka jwenn li de tout fason.
Pa itilize dosye robots.txt pou kache anyen enpòtan. Olye de sa, ou ta dwe mete enfòmasyon enpòtan dèyè modpas sekirite oswa kite li sou entènèt la antyèman.
Kijan pou yo itilize sa yo Dosye Egzanp
Kopi tèks la nan echantiyon an ki pi pre ki sa ou vle fè, epi kole li nan dosye robots.txt ou. Chanje otomatik, anyè, ak non dosye pou koresponn ak konfigirasyon ou pi pito.
De Debaz Robots.txt Files
Itilizatè-ajan: *
Disallow: /
Fichye sa a di ke nenpòt ki robo (User-ajan: *) ki aksè li ta dwe inyore chak paj sou sit la (Disallow: /).
Itilizatè-ajan: *
Disallow:
Fichye sa a di ke nenpòt ki robo (Itilizatè-ajan: *) ki aksè li pèmèt yo wè tout paj sou sit la (Disallow:).
Ou ka fè tou sa ou pa kite dosye robots.txt ou vid oswa ou pa gen yon sèl sou sit ou a tout.
Pwoteje Espesifik Espesifik Soti nan robo
Itilizatè-ajan: *
Disallow: / cgi-bin /
Disallow: / temp /
Fichye sa a di ke nenpòt ki robo (Itilizatè-ajan: *) ki aksè li ta dwe inyore repèrtwar yo / cgi-bin / ak / temp / (Disallow: / cgi-bin / Disallow: / temp /).
Pwoteje espesifik paj ki soti nan robo
Itilizatè-ajan: *
Disallow: / jenns-stuff.htm
Disallow: /private.php
Fichye sa a di ke nenpòt ki robo (User-ajan: *) ki aksè li ta dwe inyore dosye yo / jenns-stuff.htm ak /private.php (Disallow: / jenns-stuff.htm Disallow: /private.php).
Anpeche yon espesifik robo soti nan aksè sit ou
Itilizatè-ajan: Lycos / xx
Disallow: /
Fichye sa a di ke bot Lycos (itilizatè-ajan: Lycos / xx) pa pèmèt aksè nenpòt kote sou sit la (Disallow: /).
Pèmèt sèlman yon sèl aksè espesifik robo
Itilizatè-ajan: *
Disallow: /
Itilizatè-ajan: Googlebot
Disallow:
Dosye sa a premye anile tout robo tankou nou te fè pi wo a, ak Lè sa a, explicitly pèmèt Googlebot a (itilizatè-ajan: Googlebot) gen aksè a tout bagay (Disallow:).
Konbine plizyè liy pou jwenn Exactly eksklizif ou vle
Pandan ke li pi bon yo sèvi ak yon trè enklizif User-ajan liy, tankou itilizatè-ajan: *, ou ka kòm espesifik jan ou renmen. Sonje ke robo li dosye a nan lòd. Se konsa, si premye liy yo di ke tout robo yo bloke soti nan tout bagay, ak Lè sa a, pita nan dosye a li di ke tout robo yo gen dwa aksè a tout bagay, robo yo ap gen aksè a tout bagay.
Si ou pa sèten si ou te ekri dosye robots.txt ou kòrèkteman, ou ka itilize Zouti Webmaster Google la yo tcheke dosye robots.txt ou a oswa ekri yon nouvo.