مولد ملف Robots.txt
أنشئ ملف robots.txt احترافياً لموقعك مع التحكم الكامل في صلاحيات الزحف
قوالب جاهزة
السماح للكل ✓
السماح لجميع محركات البحث بالزحف
منع الكل ✗
منع جميع محركات البحث من الزحف
ووردبريس
إعدادات مثالية لمواقع WordPress
مخصص
ابدأ من الصفر وخصص إعداداتك
الإعدادات العامة
المدة بين كل طلب — اتركه 0 للإعداد الافتراضي
إعدادات محركات البحث
🌐
جميع محركات البحث (*)
🔍
Googlebot
🔎
Bingbot
🇷🇺
YandexBot
🇨🇳
Baidu
🦆
DuckDuckBot
⚙️
بوت مخصص
معاينة robots.txt
فحص الصحة
دليل سريع
ما هو User-agent؟
User-agent هو اسم روبوت محرك البحث الذي تخاطبه. مثلاً Googlebot لجوجل، Bingbot لبينج. استخدم * للتخاطب مع جميع محركات البحث.
الفرق بين Allow و Disallow
Disallow يمنع الروبوت من زيارة المسار المحدد. Allow يسمح بزيارته حتى لو كان مسار أعلى منه ممنوعاً. مثلاً يمكنك منع /admin/ لكن السماح بـ /admin/public/.
متى أستخدم Crawl-delay؟
استخدم Crawl-delay عندما يكون خادمك بطيئاً أو عندما تستهلك روبوتات البحث موارد كثيرة. القيمة 1-5 ثوانٍ مناسبة لمعظم المواقع.
كيف أضيف استثناءات wildcard؟
استخدم * لأي سلسلة و $ لنهاية URL. مثلاً /*.pdf$ يمنع كل ملفات PDF، و /search?* يمنع URLs التي تبدأ بـ /search?