بالأمس قمت بفحص موقع الويب الخاص بك بمساعدة مدقق موقع الويب. دعنا الآن نرى ما إذا كان قد اكتشف أي مشكلات تتعلق بإمكانية الزحف والفهرسة أو الروابط المعطلة أو الفهرسة. في هذه المرحلة، سنركز على تعليمات الفهرسة ورموز استجابة HTTP في ملف robots.txt
ما هو ملف robots.txt؟
ملف robots.txt هو ملف نصي يخبر روبوتات محرك البحث بالصفحات أو ملفات موقعك التي يمكنهم الوصول إليها أو لا يمكنهم الوصول إليها. راجع مقالة المساعدة هذه لمزيد من التفاصيل.
إليك ما عليك القيام به للتحقق من ملف robots.txt الخاص بك:
1. تحتاج إلى التأكد من توفر ملف robots.txt الخاص بك. إذا كنت تشك في امتلاكه، فتحقق من علامة التبويب robots.txt في وحدة تدقيق الموقع.
2. إذا كان ملف robots.txt مفقودًا، فإن الأمر يستحق إنشاء واحد الآن. عاجلاً أم آجلاً، ستحتاج إليه لإخفاء الصفحات المكررة والمحتويات الأخرى لموقعك الذي لا تريد أن تراه روبوتات محرك البحث. كل ما عليك فعله هو التبديل إلى وحدة الصفحات الفرعية والنقر فوق أدوات الموقع> Robots.txt
3. مع وجود ملف robots.txt في مكانه، فإن الشيء التالي الذي يجب عليك التحقق منه هو فهرسة جميع الصفحات المهمة. للقيام بذلك، انتقل إلى "الموارد المقيدة" في علامة التبويب "الفهرسة" ضمن الوحدة النمطية "تدقيق الموقع". على اليسار، سترى صفحات وموارد معينة تم استبعادها. مهمتك هنا هي تأكد من أن جميع الصفحات المهمة في موقعك قابلة للفهرسة وليست في هذه القائمة.
الآن دعنا نلقي نظرة على رمز استجابة صفحتك. يستغرق الأمر ما يصل إلى 5 دقائق فقط لاكتشاف أخطاء كود استجابة HTTP، ولكنه سيمنحك فهمًا واضحًا لسبب مشكلة الفهرسة.
1. قم بتشغيل الموارد باستخدام رموز الحالة 4xx والموارد مع رموز الحالة 5xx وعلامات التبويب 404 التي تم تعيينها بشكل صحيح في قسم الفهرسة وإمكانية الزحف.
2. تأكد من عدم وجود حالة خطأ لأي من العوامل المذكورة أعلاه. إذا حدث هذا، فحدد مربع حالة العامل في النصف الأيمن من الشاشة للحصول على اقتراحات حول كيفية إصلاح الصفحة.
يوم آخر لتعلم تحسين محركات البحث، وإنجاز آخر. أنت الآن تعرف كيفية التحقق من مشكلات الفهرسة والقابلية للزحف على موقعك. إذا كان لديك أي أسئلة، فتأكد من إسقاطها في قسم التعليقات أدناه.
التالي
ستتعلم في المقال التالي كيفية استكشاف أخطاء عمليات إعادة التوجيه والتشفير وإصلاحها على موقع الويب الخاص بك.