robots.txt nədir?
Salam dostlar. Deməli, məlunumuzdur ki, saytlar axtarış sistemlərinin (ro)botları tərəfindən incələnir(indexlənir), və saytın ibarət olduğu keçidlər, mətnlər və saytın tərkibindəki hər şey botlar tərəfindən axtarış sistemlərinin məlumat bazasına köçürülür. Nəticədə internetdə axtarış edən istifadəçi axtarış zamanı bizim saytımızla qarşılaşır təbii ki, əgər axtardığı şey bizim saytımızda varsa. 🙂 Bəs yaxşı, botlar öz başına bizim saytımızı ...
Ətraflı oxuyun...