robots.txt ملف نصّي صغير بقدرة كبيرة: سطر واحد غلط ممكن يخفي موقعك كله من جوجل، وسوء فهم شائع واحد ممكن يسيب صفحاتك الخاصة في النتايج برضه. بيقعد في جذر الدومين وبيقول للزواحف أنهي روابط تقدر تطلبها. في 2026 لسه من أول الحاجات اللي تتفحص لما الترافيك ينزل، لأنه بيقعد قبل كل حاجة تانية.
الدليل ده بيغطّي: إيه اللي robots.txt بيعمله وإيه اللي مابيعملوش، الـ syntax المهم، الفرق الحرج بين robots.txt و noindex، إزاي WordPress بيتعامل مع الملف، والأخطاء اللي الفحص المبني على crawl بيمسكها قبل ما تكلّفك ترتيب.
يعني إيه robots.txt؟
robots.txt ملف نصّي بسيط على yoursite.com/robots.txt بيدّي للزواحف تعليمات عن أنهي أجزاء من موقعك تقدر أو ماتقدرش تطلبها. بيتبع بروتوكول استبعاد الروبوتات (Robots Exclusion Protocol)، اللي الـ bots المؤدّبة زي Googlebot و Bingbot بتحترمه.
حاجتين أساسيين تفهمهم من الأول:
- هو طلب، مش حيطة. الزواحف المحترمة بتطيعه. الـ bots الخبيثة والـ scrapers ممكن تتجاهله تماماً.
- مش أداة خصوصية. منع URL مابيخفيهوش. أي حاجة خاصة فعلاً لازم تقعد ورا تسجيل دخول، مش ورا قاعدة في robots.txt.
robots.txt بيتحكّم في وصول الزحف. هو شرطي المرور عند المدخل، مش القفل على الباب.
الـ syntax: التوجيهات المهمة
ملف robots.txt مكوّن من مجموعات. كل مجموعة بتسمّي زاحف بـ User-agent وبعدين بتسرد القواعد اللي بتنطبق عليه. التوجيهات اللي بتستخدمها فعلاً قليلة:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Sitemap: https://example.com/sitemap_index.xmlكل سطر بيعمل إيه:
User-agentبيسمّي الـ bot اللي القواعد بتنطبق عليه.*معناها كل الزواحف.Disallowبيقول للـ bot ماتطلبش المسار ده.Disallow: /بيمنع الموقع كله.Allowبينحت استثناء من مسار ممنوع.Sitemapبيشاور الزواحف على الـ XML sitemap بتاعك. مطلق ومستقل عن مجموعات الـ user-agent.
أخطر سطر في الـ SEO كله هو Disallow: / لما يتسيب في robots.txt حي بعد إطلاق الموقع. بيقول لكل زاحف يفضل بره الموقع كله. وكمان أسهل غلطة تحصل، لأن مواقع الـ staging بتطلع بالقاعدة دي بالظبط وبتتنسخ للإنتاج.
مش متأكد إن robots.txt بتاعك بيدخّل جوجل؟ أداة فحص جاهزية الـ AI بتقرا الـ robots.txt الحي ووصول الزحف · 28 فحص، 30 ثانية، من غير تسجيل.
robots.txt مقابل noindex: فرق حرج
ده الفرق اللي بيوقّع حتى أصحاب المواقع المخضرمين، والخطأ فيه بيعمل عكس اللي إنت قاصده.
Disallowفي robots.txt بيتحكّم في الزحف. بيطلب من الـ bot ماتجيبش الـ URL.noindex(تاج meta أو HTTP header) بيتحكّم في الفهرسة. بيقول لمحركات البحث ماتدرجش الصفحة في النتايج.
الفخ: لو عايز صفحة تطلع من جوجل، منعها في robots.txt حركة غلط. لما URL يبقى ممنوع، جوجل مش هتقدر تجيبه، يعني جوجل عمرها ماتشوف تاج الـ noindex. ولو أي حاجة بتربط للرابط ده، جوجل ممكن تفهرسه برضه، وتعرض الرابط العاري من غير وصف. عشان تشيل صفحة من النتايج، اعمل العكس: اسمح بالزحف وضيف noindex، عشان جوجل تجيب الصفحة وتقرا التعليمة إنها تشيلها.
| الهدف | استخدم | متستخدمش |
|---|---|---|
| تشيل صفحة من النتايج | noindex (واسمح بالزحف) | Disallow في robots.txt |
| توقّف bot من تضييع crawl budget على قسم | Disallow في robots.txt | noindex لوحده |
| تخفي محتوى خاص فعلاً | تسجيل دخول / باسورد | robots.txt أو noindex |
الصفحة اللي ممنوعة في robots.txt و متعلّمة noindex في نفس الوقت = تناقض: جوجل مش قادرة تقرا الـ noindex لأنها مش مسموح لها تزحف الصفحة. التعارض ده من أكتر النتايج شيوعاً على المواقع الحقيقية.
robots.txt على WordPress
WordPress بيعمل robots.txt افتراضي (virtual) على yoursite.com/robots.txt أوتوماتيك. مش هتلاقي ملف على القرص افتراضياً، WordPress بيولّده عند الطلب. إضافات الـ SEO بتتعلّق بده:
- Yoast و Rank Math الاتنين بيوفّروا محرّر robots.txt في قسم الأدوات، بيكتبوا في الملف الافتراضي ده.
- ملف
robots.txtفعلي (physical) في جذر موقعك، لو موجود، بيتغلّب على الافتراضي تماماً. ده مصدر لخبطة متكرّر: بتعدّل إعداد الإضافة، بس ملف فعلي قديم هو اللي بيتقدّم فعلاً.
تحذيرين خاصين بـ WordPress:
- متمنعش
/wp-content/بالكامل. فيه الـ CSS والـ JS بتوع الثيم، وصورك. منعه بيوقّف جوجل من عرض وفهم صفحاتك. - اتأكد دايماً من الملف الحي. افتح الـ URL في المتصفّح. القاعدة اللي بتتقدّم لجوجل هي اللي على الـ URL، مش اللي في خانة الإضافة لو ملف فعلي بيتغلّب عليها.
للسؤال المنفصل عن أنهي زواحف AI تسمح أو تمنع في نفس الملف، شوف الدليل المخصّص robots.txt لـ bots الذكاء الاصطناعي. بيقعد جنب قواعد الـ SEO في نفس الملف.
أخطاء robots.txt اللي الفحص بيمسكها
أخطاء robots.txt صامتة وغالية، لأن الملف بيبان تمام لحد ما تكتشف بيمنع إيه. الفحص المبني على crawl بيقرا الملف الحي وبيختبر الوصول الفعلي:
Disallow: /في الإنتاج، بيمنع الموقع كله، عادة فاضل من الـ staging.- CSS/JS محجوبين، اللي بيوقّف جوجل من عرض الصفحة صح.
- صفحات مهمة ممنوعة، بتشيلها من الزحف وفي الآخر من الترتيب.
- robots.txt مستخدم كخصوصية، بيسيب الروابط “المخفية” قابلة للفهرسة وكمان مدرجة في ملف robots العام كخريطة للي عايز تخفيه.
- توجيه
Sitemapناقص، فالزواحف مش متشاورة على الـ sitemap. - تعارض robots.txt مع noindex، صفحة ممنوعة و noindex في نفس الوقت، فالـ noindex مابيتفعّلش.
| الخطأ | بيكلّفك إيه | الحل |
|---|---|---|
Disallow: / حي | بيشيل الموقع كله من الفهرسة | شيله · اسمح بزحف المحتوى العام |
| CSS / JS محجوبين | جوجل بتعرض الصفحة غلط | اسمح بأصول /wp-content/ |
| خصوصية بـ robots.txt | الصفحات بتفضل قابلة للفهرسة ومكشوفة | استخدم تسجيل دخول للخاص |
مفيش سطر Sitemap | الزواحف بتفوّت الـ sitemap | ضيف رابط الـ sitemap المطلق |
| Disallow + noindex لنفس الرابط | الـ noindex مابيتقراش | اسمح بالزحف عشان noindex يتفعّل |
عايز تعرف إن robots.txt بتاعك بيمنع الحاجات الغلط؟ فحوصات الـ robots ووصول الزحف جزء من الفحص الكامل · 200+ فحص عبر 17 فئة.
إزاي تختبر وتفحص robots.txt
اختبار robots.txt معناه إنك تقرا الملف الحي، تتأكد جوجل بتفسّره إزاي، وتتحقّق إن الصفحات اللي بتهمّك قابلة للوصول فعلاً. 3 طبقات بتغطّيه:
- اقرا الملف الحي. افتح
yoursite.com/robots.txtفي المتصفّح. ده مصدر الحقيقة، مش إعداد الإضافة. - استخدم Google Search Console. تقرير robots.txt بتاعها بيوريك جوجل جابت الملف وحلّلته إزاي وبيعلّم الأخطاء.
- شغّل فحص مبني على crawl. الزحف على الموقع كله بيختبر إن روابطك المهمة قابلة للوصول فعلاً، بيمسك الأصول المحجوبة، بيلاقي تعارض robots مع noindex، وبيتأكد من وجود توجيه الـ sitemap.
Yoast وRank Math بيدّوك المحرّر تكتب القواعد. مابيزحفوش موقعك كله ويقولولك إن القاعدة رقم 3 بتمنع قسم عايزه يتفهرس، أو إن صفحة ممنوعة وnoindex في نفس الوقت. التحقّق ده على الموقع كله هو اللي ايتوس بيعمله: يقرأ robots.txt الحي، يختبر وصول الزحف، ويبلّغ عن التعارضات عشان تصلّح الأعلى تأثيراً الأول. ولجانب زواحف الذكاء الاصطناعي في نفس الملف، اقرا دليل robots.txt وبوتات الذكاء الاصطناعي.
أسئلة شائعة عن robots.txt
يعني إيه robots.txt؟
ملف نصّي بسيط في جذر الدومين بيقول للزواحف أنهي أجزاء من الموقع تقدر أو ماتقدرش تطلبها. بيرشد الـ bots المؤدّبة زي Googlebot، لكنه مش أداة أمان ومابيخفيش صفحة من الفهرسة لو صفحات تانية بتربط ليها.
هل robots.txt بيمنع صفحة من الظهور في جوجل؟
لأ. بيتحكّم في الزحف مش الفهرسة. لو منعت URL وصفحات تانية بتربط ليه، جوجل ممكن تفهرس الرابط من غير محتواه. عشان تشيل صفحة من النتايج، استخدم noindex واسمح بالزحف عشان جوجل تشوفه.
إيه الفرق بين robots.txt و noindex؟
robots.txt بيمنع الزحف، يعني بيطلب من الـ bot ماتجيبش الـ URL. noindex بيمنع الفهرسة، يعني بيقول لمحركات البحث ماتدرجش الصفحة في النتايج. مش بدائل لبعض، ومنع صفحة في robots.txt فعلياً بيمنع جوجل من إنها تشوف تاج noindex عليها.
أمنع CSS و JavaScript في robots.txt؟
لأ. جوجل محتاجة تجيب الـ CSS والـ JavaScript عشان تعرض الصفحة زي ما المستخدم بيشوفها. منع الموارد دي ممكن يخلّي جوجل تسيء تقدير التصميم والوصولية والمحتوى، وده ممكن يضرّ الترتيب. اسمح بالأصول بتاعتك.
فين ملف robots.txt في WordPress؟
WordPress بيولّد robots.txt افتراضي على yoursite.com/robots.txt، وإضافات زي Yoast و Rank Math بتسمحلك تعدّله. لو فيه ملف فعلي في جذر الموقع، بيتغلّب على الافتراضي. اتأكد دايماً من الملف الحي مش بس إعداد الإضافة.
إزاي أختبر الـ robots.txt؟
افتح yoursite.com/robots.txt في المتصفّح عشان تشوف القواعد الحية، استخدم تقرير robots.txt في Google Search Console، وشغّل فحص مبني على crawl عشان يمسك الموارد المحجوبة والتعارض مع noindex وغياب توجيه الـ sitemap عبر الموقع كله.
