⟦p ميزانية⟧ الزحف هي أكثر المشاكل التي لا تتم مناقشتها في تحسين محركات البحث. بالنسبة لمدونة تحتوي على 80 منشورًا، ستزحف Google بسعادة إلى كل شيء، ليلاً، دون احتفال. ولكن على نطاق ما — الآلاف من عناوين URL، والتنقل الأوجه، والصفحات التي تم إنشاؤها — يبدأ البدل اليومي للبوت في اتخاذ قرارات تحريرية نيابة عنك. هذا عندما يكون الأمر⟧⟦ مهمًا.h2 العلامات التي تكلفك⟦ p⟧ثلاثة أعراض، كلها مرئية في Search Console.
أولاً: الصفحات الجديدة أو المحدثة التي تستغرق أسابيع لتظهر في الفهرس. ثانيًا: يعرض تقرير إحصاءات الزحف معظم الطلبات التي تضرب عناوين URL للمعلمة أو عوامل التصفية أو أرشيفات العلامات بدلاً من المحتوى. ثالثًا: الصفحات المهمة الموجودة في "مكتشفة — غير مفهرسة" بينما يتم الزحف إلى الخردة يوميًا.
أي واحد وحده يوحي ؛ الثلاثة معا هو تشخيص.⟦/p h2⟧ حيث تتسرب الميزانيات⟧⟦ في الواقع⟦ p المرشحات⟧ ذات الأوجه هي النزيف الكلاسيكي — يمكن للمتجر الذي يحتوي على 5 سمات و 10 قيم لكل سمة أن يولد ملايين مجموعات عناوين URL القابلة للزحف من مجموعة منتج واحدة. صفحات التقويم التي يتم ترقيمها إلى الأبد، ومعرفات الجلسة في عناوين URL، ونتائج البحث الداخلية القابلة للفهرسة بواسطة برامج التتبع، كلها تتسرب بنفس الطريقة.
كل إحضار مهدر هو إحضار لم يتم إنفاقه على صفحات أموالك.⟦/p h2 الإصلاحات⟧⟦،⟧ بترتيب التأثير⟦ p⟧حظر أنماط عناوين URL التي لا قيمة لها في robots.txt (عوامل التصفية، فرز الطلبات، نتائج البحث). أضف
noindex، واتبع صفحات الأداة المساعدة الرفيعة التي يجب أن تظل قابلة للزحف ولكن لا تنتمي أبدًا إلى الفهرس. اقتل التقويمات اللانهائية.
ونظف خريطة الموقع: يجب أن تحتوي فقط على عناوين URL أساسية وجديرة بالفهرسة تم تغييرها مؤخرًا — خريطة الموقع هي قائمة توصيات، وليست أرشيفًا لكل شيء موجود على الإطلاق.⟦/⟧
أقل من ألف عنوان URL تقريبًا ؟ لا تفعل شيئًا. بصدق: لا شيء. ميزانية الزحف الخاصة بك غير ملزمة، والوقت الذي تقضيه في تحسينها هو الوقت المسروق من المحتوى. فوقه، تحقق من تقرير إحصائيات الزحف كل ثلاثة أشهر — اهتمام الروبوت هو مورد، والموارد تستحق مالك الميزانية.
