فایل robots.txt چیست و چه کاربردی دارد

فایل robots.txt چیست و چه کاربردی دارد

مرتضی حبیبی
robots.txt یک فایل متنی است که وب مسترها برای آموزش ربات های وب (معمولاً ربات های موتور جستجو) نحوه Crawl صفحات در وب سایت خود ایجاد می کنند. فایل robots.txt بخشی از (robots exclusion protocol (REP است، گروهی از استانداردهای وب که چگونگی خزیدن ربات ها به وب، دسترسی و فهرست بندی ... / ادامه مطلب