فایل روبوت دات تکست (Robots.txt) به اسپایدرها یا خزنده های موتورهای جستجو می‌گوید که در صفحات یا بخش‌های خاصی از یک...