أكثر مشاكل الفهرسة شيوعاً وكيفية إصلاحها

قد تؤدي مشاكل الفهرسة إلى جعل جهود مُحسّنات محرّكات البحث الخاصة بك فارغة - قد تكون الصفحة محسّنة تمامًا ولها تجربة مستخدم رائعة ، لكنها لا تساوي شيئًا إذا لم يراها Google. لن تدخل الصفحات غير المفهرسة في SERPs ولن تجلب حركة المرور والتحويلات.

والعكس صحيح ، إذا شاهدت Google وفهرستها من حين لآخر صفحة لم يكن من المفترض أن تتم فهرستها ، فأنت في خطر تسرب المعلومات الخاصة ، وعقوبات Google على المحتوى منخفض الجودة ، وغير ذلك من العواقب غير المرضية.

في هذا الدليل ، سأشارك أنواع مشكلات الفهرسة الموجودة وكيفية إصلاحها بحيث تكون موجودة في أي مكان غير موقعك. لكن أولاً ، دعنا نرى كيفية التحقق مما إذا كانت لديك أية مشكلات في الفهرسة على موقع الويب الخاص بك.

كيف تكتشف مشاكل الفهرسة؟

يمكن أن يمنحك Google Search Console فهمًا أساسيًا ولكن لا يزال كافياً لمشكلات الفهرسة التي يواجهها موقعك. راجع الفهرس > تقرير الصفحات لرؤيتها.

الصفحات التي لم تتم فهرستها لأي سبب يتم وضعها تحت قسم واحد ، غير مفهرس . يمكن العثور على الصفحات التي تمت فهرستها ولكن لا تزال بها أية مشكلات وتتطلب انتباهك في أسفل الصفحة في قسم تحسين مظهر الصفحة :

لمزيد من التحقيق في أي مشكلة ، انقر فوق سطر الخطأ ثم رمز العدسة بالقرب من عنوان URL الذي تريد التحقق منه:

ستعرض لك Search Console التفاصيل وتساعد في تحديد الخطأ في الصفحة.

بمجرد أن تحتاج إلى التعمق أكثر والحصول على توصيات بشأن ما يجب إصلاحه لجعل صوت الصفحة ، استشر قسم الفهرسة وقابلية الزحف في WebSite Auditor :

ستجمع الأداة جميع عناوين URL التي بها أخطاء ، لذا لن تحتاج إلى التحقق يدويًا من كل صفحة على حدة.

حسنًا ، انتهينا الآن من الجزء "مكان العثور عليه" . حان الوقت الآن للنظر في أنواع مشكلات الفهرسة التي يمكنك العثور عليها وكيفية إصلاحها للحفاظ على الزحف إلى موقع الويب الخاص بك وفهرسته.

ملاحظة: علاوة على ذلك ، في هذا الدليل ، سأعتبر أنه من المسلم به أن جميع عناوين URL التي تم الإبلاغ عن تأثرها بمشكلات الفهرسة يجب أن تتم فهرستها. إذا كان يجب عدم فهرسة عنوان URL ، فقم بحظره باستخدام علامة noindex أو تقييد الوصول بمساعدة تعليمات robots.txt. تأكد أيضًا من إزالة هذه الصفحات من ملف Sitemap الخاص بك. لا تفعل شيئًا إذا لم تتم فهرستها بالفعل.

1. لم يتم العثور عليها (404)

ربما يكون "غير موجود" (404) أو عنوان URL المعطل أحد أكثر مشكلات الفهرسة شيوعًا. قد تحتوي الصفحة على رمز حالة 404 لأسباب عديدة. لنفترض أنك حذفت عنوان URL ولكنك لم تزل الصفحة من ملف Sitemap أو كتبت عنوان URL بشكل غير صحيح وما إلى ذلك.

كما تقول Google ، لا تضر أخطاء 404 بأداء موقعك حتى يتم إرسال عناوين URL هذه (أي تلك التي طلبت صراحةً من Google فهرستها).

إذا رأيت 404 عناوين URL في تقارير الفهرسة الخاصة بك ، فإليك الخيارات الممكنة لكيفية إصلاحها إذا لم يكن المقصود حدوثها:

•     قم بتحديث ملف Sitemap الخاص بك وتحقق مما إذا كان عنوان URL المتأثر مكتوبًا بشكل صحيح.
•     إذا انتقلت الصفحة إلى عنوان جديد ، فقم بإعداد إعادة توجيه 301.
•     إذا تم حذف الصفحة بدون أي بديل أو بديل ، فاحتفظ بها على أنها 404 ولكن أزلها من خريطة الموقع. بهذه الطريقة تتوقف Google عن محاولة العثور عليها وإهدار ميزانية الزحف.
•     إذا كنت بحاجة إلى الاحتفاظ بالخطأ 404 ، فقم بإعداد صفحة 404 مخصصة سهلة الاستخدام - يمكنك إضافة بعض الروابط المفيدة هناك لجعل المستخدمين يبقون على موقعك بدلاً من مجرد إغلاق الصفحة. تذكر أن صفحة 404 لا تزال 404 ، لذلك لا ينبغي على Google فهرستها مهما كانت جميلة.

لاحظ أن GSC لا يفرق بين 404 (غير موجود) و 410 (ذهب) ويضعهما معًا في تقرير 404. كانت هذه أنواعًا مختلفة من رموز الاستجابة: 404 تعني "لم يتم العثور عليها ولكن يمكن العثور عليها لاحقًا" ، بينما استخدمت 410 للتعبير عن "لم يتم العثور عليها ولن تكون كما هي للأبد". 

بالنسبة لليوم ، تقول Google إنها تتعامل مع كل من 404 و 410 بنفس الطريقة ، لذلك ربما لا تحتاج إلى القلق إذا وجدت 410 صفحة في تقرير 404. الشيء الوحيد الذي أقترح عليك القيام به هو تعيين صفحة 404 مخصصة بدلاً من 410 فارغة لتوفير حركة المرور ومنع المستخدمين من الارتداد عن موقعك.

لدى العديد من مُحسّنات محرّكات البحث ومالكي المواقع عادة إعادة توجيه أخطاء 404 إلى الصفحة الرئيسية ، ولكن الحقيقة هي أنها ليست أفضل ممارسة. يؤدي القيام بذلك إلى إرباك Google وينتج عنه مشكلات soft 404. حسنًا ، لنلقِ نظرة على ماهية هذه 404s الناعمة.

2. Soft 404

تحدث مشكلات Soft 404 عندما تحتوي الصفحة على استجابة 200 OK ولكن لا يمكن لـ Google العثور على محتواها ويعتبرها 404. قد تحدث أخطاء Soft 404 لأسباب عديدة ، وقد لا يعتمد بعضها عليك ، مثل الأخطاء في متصفحات المستخدمين. فيما يلي بعض الأسباب الأخرى:

•     ملف تضمين مفقود من جانب الخادم
•     اتصال معطل بقاعدة البيانات
•     صفحة نتائج بحث داخلية فارغة
•     ملف JavaScript غير محمل أو مفقود بأي طريقة أخرى
•     محتوى قليل جدًا
•     إخفاء الصفحة

هذه المشكلات في الواقع ليست بهذه الصعوبة لإصلاحها. فيما يلي بعض السيناريوهات الشائعة:

•     إذا تم نقل المحتوى ، وكانت الصفحة في الواقع 200 جيدة ولكنها فارغة ، فقم بإعداد إعادة توجيه 301 إلى العنوان الجديد ؛
•     إذا لم يكن هناك بديل للمحتوى المحذوف ، فقم بتمييزه كـ 404 وإزالته من خريطة الموقع ؛
•     إذا كان من المفترض أن تكون الصفحة موجودة ، فقم بإضافة بعض المحتوى وتحقق من تقديم جميع البرامج النصية الموجودة عليها وعرضها بشكل صحيح (لم يتم حظرها بواسطة ملف robots.txt ، أو بدعم من المستعرضات ، وما إلى ذلك) ؛
•     إذا حدث الخطأ بسبب تعطل الخادم عندما يحاول Googlebot جلب الصفحة ، فتحقق مما إذا كان الخادم يعمل بشكل جيد. إذا كان الأمر كذلك ، فاطلب إعادة فهرسة هذه الصفحة.

3. محظور بسبب طلب غير مصرح به (401)

يحدث الخطأ 401 عندما يحاول Googlebot الوصول إلى صفحة تتطلب إذنًا ، ويمنع خادمك Googlebot من القيام بذلك.

إذا كنت تريد فهرسة هذه الصفحة ، فامنح Googlebot الإذن المناسب أو أزل طلب التفويض.

4. محظور بسبب الدخول محظور (403)

يحدث هذا النوع من الأخطاء عندما يقدم وكيل المستخدم بيانات اعتماد للدخول إلى الصفحة (تسجيل الدخول وكلمة المرور) ، ولكن لم يتم منحه حق الوصول للقيام بذلك بالفعل. على الرغم من ذلك ، لا يوفر Googlebot بيانات الاعتماد مطلقًا ، لذلك يعرض الخادم 403 بدلاً من الصفحة المقصودة.

إذا تم حظر إحدى الصفحات عن طريق الخطأ وتحتاج بالفعل إلى فهرستها ، اسمح بالوصول للمستخدمين الذين لم يسجلوا الدخول ، أو اسمح لبرنامج Googlebot صراحةً بالدخول إلى الصفحة لقراءتها وفهرستها.

5. تم وضع علامة "noindex" على عنوان URL المُرسَل

كما يتضح من الاسم ، يحدث هذا الخطأ عندما تطلب صراحةً من Google فهرسة صفحة (أي إضافتها إلى خريطة الموقع أو طلب فهرسة يدويًا) ، ولكن هذه الصفحة بها علامة noindex.

الإصلاح بسيط للغاية - قم بإزالة علامة noindex حتى يتمكن Google من الوصول إلى الصفحة.

6. تم منع عنوان URL بواسطة ملف robots.txt

إذا قمت بحظر صفحة ما بمساعدة ملف robots.txt ، فلن يقوم محرك بحث Google بالزحف إليها. قم بإزالة القيود لفهرسة الصفحة.

ملاحظة: ملف robots.txt لا يضمن عدم فهرسة الصفحة. لهذا السبب قد يعرض لك Google Search Console أحيانًا شيئًا كهذا:

قد تجلب لك مثل هذه المشكلات مشكلات أكثر من الصفحات غير المفهرسة ، حيث قد تصل Google إلى المعلومات التي لم يكن من المفترض أن تظهر في SERPs (مثل عربات التسوق والبيانات الخاصة وما إلى ذلك) وتكشف عنها.

إذا واجهت مشكلة من هذا القبيل ، فقرر ما إذا كنت بحاجة إلى فهرسة الصفحة أم لا. إذا كان الأمر كذلك ، فقم بإزالة عنوان URL من ملف robots.txt. إذا لم يكن الأمر كذلك ، فقم بإزالته من ملف robots.txt مع تطبيق علامة noindex أو تقييد الوصول للمستخدمين غير المصرح لهم. بمجرد تطبيق قيود جديدة ، يمكنك أيضًا مطالبة Google بإزالة الصفحة من الفهرس من خلال GSC ( الفهرس > عمليات الإزالة > طلب جديد ). 

7. مفهرسة بدون محتوى

هذا نوع آخر من المشاكل التي يمكن أن تضر بأداء موقعك بشكل أسوأ من الصفحات غير المفهرسة. لا تفضل Google الصفحات الفارغة وستعمل على الأرجح على خفض مواضعك ، لأن الصفحات الفارغة هي إشارة إلى مواقع غير مرغوب فيها ومحتوى منخفض الجودة.

إذا لاحظت أن بعض صفحاتك بها حالة مفهرسة بدون محتوى ، فتحقق يدويًا من عنوان URL لمعرفة السبب. فمثلا:

•     قد تحتوي الصفحة على محتوى قليل جدًا ؛

•     قد تحتوي الصفحة على بعض المحتوى الذي يحظر العرض ، والذي لا يتم تحميله بشكل صحيح ؛
•     المحتوى مخفي .

اتخذ التدابير بناءً على ما تراه.

على سبيل المثال ، إذا كانت الصفحة فارغة جدًا ، فأضف المزيد من المحتوى. هنا يمكنك التحقق من منافسيك في SERP واتباع أفضل ممارساتهم بمساعدة قسم محرر المحتوى في WebSite Auditor .

إذا كنت تشك في أنه قد يكون هناك بعض المحتوى الذي يحظر العرض على الصفحة المتأثرة ، فتحقق من النوافذ المنبثقة التي تستخدم نصوصًا لجهات خارجية وتأكد من أنها تعمل بشكل صحيح وقابلة للقراءة بالفعل بواسطة Google. بشكل عام ، يجب أن يرى Google محتوى صفحاتك بنفس الطريقة التي يراها المستخدمون.

إذا كان محتوى صفحتك مخفيًا ، فتحقق من إمكانية وصول Google إلى جميع البرامج النصية أو الصور.

8. خطأ في إعادة التوجيه

تحدث مجتمع مُحسّنات محرّكات البحث كثيرًا عن عمليات إعادة توجيه عناوين URL. ومع ذلك ، تستمر مُحسّنات محرّكات البحث في ارتكاب الأخطاء التي تؤدي إلى إعادة توجيه الأخطاء والفهرسة التالفة. فيما يلي بعض الأسباب الشائعة لعدم تمكن Google من قراءة عمليات إعادة التوجيه بشكل صحيح:

•     سلسلة إعادة التوجيه طويلة جدًا

•     ينتج عن إعادة التوجيه حلقة لا نهائية من عمليات إعادة التوجيه (حلقة إعادة التوجيه)
•     يتجاوز عنوان URL لإعادة التوجيه الحد الأقصى لطول عنوان URL (2 ميغابايت لمتصفح Google Chrome)
•     تحتوي سلسلة إعادة التوجيه على عنوان URL تالف أو فارغ

الطريقة الوحيدة لإصلاح أخطاء إعادة التوجيه تتلخص في عبارة واحدة: إعداد عمليات إعادة التوجيه بشكل صحيح . تجنب سلاسل إعادة التوجيه الطويلة التي تضيع فقط ميزانية الزحف واستنزاف عصير الارتباط ، وتأكد من عدم وجود 404 أو 410 عناوين URL في السلسلة وإعادة توجيه عناوين URL دائمًا إلى الصفحات ذات الصلة.

9. خطأ في الخادم (5xx)

قد تحدث أخطاء في الخادم لأن الخادم ربما يكون قد تعطل أو انتهت مهلته أو كان معطلاً عندما جاء Googlebot. 

أول شيء يجب القيام به هنا هو التحقق من عنوان URL المتأثر. انتقل إلى أداة فحص عنوان URL في GSC وتحقق مما إذا كانت لا تزال تعرض خطأ. إذا كان الأمر جيدًا ، فإن الشيء الوحيد الذي يمكنك فعله هو طلب إعادة الفهرسة.

إذا استمر وجود خطأ ، فلديك الخيارات التالية بناءً على طبيعة الخطأ:

•     تقليل التحميل الزائد للصفحة لطلبات الصفحة الديناميكية
•     تأكد من أن خادم الاستضافة لموقعك ليس معطلاً أو محملاً بشكل زائد أو لم يتم تكوينه بشكل خاطئ
•     تأكد من أنك لا تحظر Google عن طريق الخطأ
•     تحكم في الزحف إلى الموقع والفهرسة بحكمة

بعد الانتهاء من إصلاح كل شيء ، اطلب إعادة الفهرسة لجعل Google يجلب الصفحة بشكل أسرع.

10. تكرار بدون تحديد المستخدم الأساسي

يعد التكرار بدون عنوان أساسي يختاره المستخدم مشكلة شائعة لمواقع متعددة اللغات و / أو التجارة الإلكترونية التي تحتوي على العديد من الصفحات ذات المحتوى المتطابق أو المتشابه للغاية المصممة لأغراض مختلفة. في هذه الحالة ، يجب وضع علامة على صفحة واحدة كصفحة أساسية لمنع تكرار مشكلات المحتوى.

11. مكررًا ، اختار Google نسخة أساسية مختلفة عن المستخدم

هذا شيء مثير للاهتمام. قد يحدث أنك أشرت إلى صفحة معينة على أنها صفحة أساسية ، لكن Google قررت اختيار نسخة أخرى من تلك الصفحة باعتبارها صفحة أساسية وبالتالي فهرستها بدلاً من ذلك.

أسهل طريقة لإصلاح مثل هذه الأخطاء هي وضع علامة متعارف عليها على الصفحة التي اختارتها Google حتى لا تربكها في المستقبل. إذا كنت تريد الاحتفاظ بالصفحة الأساسية في الصفحة التي تختارها ، فيمكنك إعادة توجيه الصفحة التي اختارها Google إلى عنوان URL الذي تحتاجه.

12. صفحة بديلة بعلامة أساسية مناسبة

ملاحظة: سأقوم الآن بتغطية المشكلات التي لا تتطلب أي إجراءات محددة (في معظم الحالات). ومع ذلك ، يتم عرضها في Google Search Console ، وأفترض أنك قد تتساءل عما تعنيه.

لا يقوم محرك بحث Google بفهرسة الصفحة لأنها نسخة مكررة من صفحة أساسية. فقط اتركها كما هي.

13. مكتشف - غير مفهرس حاليا

إذا كانت الصفحة في حالة الاكتشاف ، فهذا يعني أن Google قد اكتشفها بالفعل ولكنه لم يقم بالزحف إليها وفهرستها حتى الآن. الشيء الوحيد الذي يمكنك القيام به هنا هو التحقق من تعليمات فهرسة الصفحة في حالة وجود أي شكوك. إذا كان كل شيء على ما يرام (أي بالطريقة التي قصدتها) ، فدع Google يقوم بالباقي لاحقًا.

14. تم الزحف إليه - غير مفهرس حاليًا

منطقيًا ، يعني هذا الوصف أن محرك بحث Google قد زحف إلى صفحتك ولكنه لم يقم بفهرستها. ستتم فهرسة الصفحة إذا لم تذكر تعليمات الفهرسة عكس ذلك. لا تحتاج إلى طلب إعادة الفهرسة - يدرك Googlebot أن الصفحة تنتظر دورها للفهرسة.

تحقق جيدًا من مشكلات الفهرسة التي لم تكتشفها Google

يمكن أن تساعدك Google Search Console كثيرًا عندما يتعلق الأمر باكتشاف مشكلات الفهرسة وإصلاحها. ولكن سيكون من الجيد جدًا إذا لم يكن هناك ما عدا ذلك. الشيء هو أن Search Console لا تعرض سوى المشكلات عندما يحاول Google جلب صفحة ويفشل لأي سبب من الأسباب. إذا لم تكتشف Google مثل هذه الصفحة ، فلن يكون هناك فكرة عن مشكلة الفهرسة في GSC. على الرغم من أن المشكلة قد تكون مهمة ، وقد يكون هناك الكثير منهم بالفعل.

يمكن أن يساعدك WebSite Auditor في العثور على مشكلات من هذا القبيل وإصلاحها. انتقل إلى Site Structure > Pages ، وقم بتمكين تاريخ ذاكرة التخزين المؤقت في  عمود Google في مساحة العمل التي تريدها.

سيسمح لك القيام بذلك بمشاهدة التاريخ الذي تم فيه تخزين الصفحة في ذاكرة التخزين المؤقت في Google.

ملاحظة: قد تسأل "كيف تدير الصفحات التي لا يراها Google؟" إليك الإجابة: نحن نستخدم فهرسنا الخاص مع محرك زحف متطور يمكنه اكتشاف الصفحات التي لم تكتشفها محركات البحث الأخرى لأي سبب من الأسباب.

الآن إلقاء نظرة على تاريخ ذاكرة التخزين المؤقت.

إذا كان التاريخ بعيدًا إلى حد ما (منذ أكثر من عام) أو كان مفقودًا على الإطلاق - فعلى الأرجح لا يعرف محرك بحث Google وجود الصفحة. وعليك معرفة السبب.

أولاً ، ألق نظرة على عمود الروابط إلى الصفحة في نفس مساحة العمل. إذا لم تكن هناك روابط ، فهذا يعني أن هذه صفحة يتيمة ولا يمكن لـ Google العثور عليها من خلال الزحف إلى موقع الويب الخاص بك. إذا كنت تريد فهرسة الصفحة ، فقم بالربط بها من الصفحات ذات الصلة والمليئة بالمرور.

تحقق أيضًا من عمود تعليمات الروبوتات وحفر أعمق في الصفحات التي تم تمييزها على أنها غير مسموح بها . ربما تكون قد حظرت عن طريق الخطأ الصفحات التي من المفترض أن تتم فهرستها.

التصور هو وحدة أخرى مفيدة للعثور على مشكلات الفهرسة

هنا ستكتشف بسهولة الصفحات اليتيمة (تلك التي ليس لها روابط بصفحات أخرى) ، والصفحات المعطلة (المميزة باللون الأحمر) ، وسلاسل إعادة التوجيه الطويلة ، والتي يمكن أن تكون أيضًا سبب عدم فهرسة بعض الصفحات.

بمجرد اكتشاف جميع المشكلات وإصلاحها ، اطلب من الأداة إنشاء خريطة موقع جديدة (وملف robots.txt إذا لزم الأمر) ، والتي سيتم إرسالها إلى Google حتى تتمكن من اكتشاف جميع الصفحات التي تحتاجها.

إذا كنت بحاجة إلى عناوين URL ثابتة ليتم فهرستها في أسرع وقت ممكن ، فيمكنك طلب إعادة الفهرسة يدويًا في Google Search Console.

الملخص:

قم بانتظام بمراجعة كيفية فهرسة صفحاتك ، فقد تحدث أخطاء في أي وقت. ولأي سبب: من مشكلات مزود الاستضافة إلى أخطاء Google وتحديثات Google التي قد تؤثر على كيفية تعامل خوارزميات Google مع الأشياء.

ما هي مشكلات الفهرسة التي تواجهها غالبًا؟ شارك تجربتك في التعليقات في الاسفل.