مارس 08, 2023 الإطلاق المرتقب لنظام iOS 16.4

ملف robots.txt لمن لا يعلم -مختص بمحركات البحث وطريقة أرشفتها للمدونة وملفات robots.txt المعدلة الخاصة بمدونات blogger يطلق عليها custom robots.txt أي يمكنك تعديل بيانات هذا الملف حسب ما تراه مناسباً. وفي مقالنا هذا سنوضح كيفية تعديل بيانات ملف robots.txt وسنعرف أهيمته ومميزاته وسنتعلم كيفية إضافته إلى مدونة blogger .

ما هو ملف robots.txt

ملف robots.txt عبارة عن ملف نصي يحتوي على بعض الأكواد. يتم تخزين هذا الملف على الخادم الخاص بموقعك أو مدونتك وهو الذي يرشد محركات البحث إلى كيفية أرشفة مدونتك والوصول إليها عن طريق البحث. وهذا يتيح لك منع محركات البحث من الوصول إلى أي صفحة بموقعك او مدونتك ومنع أرشفتها حتى لا تظهر للمستخدمين في نتائج البحث. فمحركات البحث تقوم اولاً بفحص محتويات ملف robots.txt قبل ان تدخل إلى صفحاتك لتقوم بعملية الأرشفة والحفظ.

كل المدونات التي يتم إنشائها على منصة blogger تحتوي على ملف robots.txt بشكل افتراضي وعند فتح الملف تجد ان محتوياته تظهر بهذا الشكل

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

شرح الكود السابق

User-agent: Mediapartners-Google

هذا الكود مخصص لخدمة Google Adsense الإعلانية والذي يساعدها على نشر إعلانات أفضل على مدونتك. عليك ترك هذا الجزء كما هو حتى وإن لم تكن تستخدم خدمة Google Adsense الإعلانية.

User-agent : *

وهذا الجزء خاص بكل محركات البحث ويعني أن كل الصفحات سيتم أرشفتها ما عدا روابط صفحة labels .

• Disallow: /search

وهذا يعني أن الروابط التي تحتوي على كلمة Search بعد اسم الموقع سيتم تجاهلها كالمثال التالي

http://www.7asouby.com/search/label/SEO

وإذا قمنا بحذف Disallow: /search من هذا الملف فهذا يعني أن عناكب محركات البحث ستصل إلى كل محتويات وصفحات المدونة وتقوم بأرشفتها.

• Allow : /

أما الجزء الخاص بـ Allow : / فيشير إلى الصفحة الرئيسية ويعني أن كل محركات البحث يمكنها أرشفة الصفحة الرئيسية للمدونة.

لمنع أرشفة تدوينة معينة

عندما تريد استثناء تدوينة (موضوع) محددة من مدونتك بحيث لا تصل إليها محركات البحث فيمكنك إضافة رابطها كما يلي

Disallow: /yyyy/mm/post-url.html

حيث أن yyyy تشير إلى السنة التي تم فيها نشر هذه التدوينة و mm تشير إلى الشهر. فعلى سبيل المثال إذا قمنا بنشر تدوينة في عام 2013 وفي شهر مارس فيكون الكود كالتالي

Disallow: /2013/03/post-url.html

وإن كنت تجد صعوبة في تحديد تاريخ وشهر التدوينات التي تريد منع أرشفتها فيمكنك وضع رابط التدوينة نفسها بالكامل مع حذف اسم الموقع والإبقاء على باقي العنوان.

منع أرشفة صفحة معينة

أما إذا كنت تريد منع أرشفة صفحة معينة فيمكننا استخدام نفس الطريقة السابقة كما يلي

Disallow: /p/page-url.html

Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

هذا الجزء يشير إلى ملف sitemap.xml الخاص بالمدونة وبإضافة هذا السطر عندما يحاول محرك البحث فحص ملف robots.txt الخاص بالمدونة فسيجد مسار ملف sitemap.xml وهو الخاص بخريطة الموقع والذي يحتوي على جميع روابط التدوينات. وهذا يسهل الكثير على محركات البحث ويسرع من عملية الأرشفة بدون تجاهل أي تدوينة.

ملحوظة

 خريطة الموقع sitemap.xml ترشد محرك البحث إلى آخر 25 تدوينة فقط اما إذا كنت تريد زيادة هذا العدد إلى 500 تدوينة على سبيل المثال (أقصى عدد يمكن كتابته في هذه السطر) فعليك استبدال السطر السابق بهذا السطر

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

أما إذا كان لديك أكثر من 500 تدوينة فيمكنك استخدام خريطتين للموقع وتغيير طريقة الكتابة كما يلي

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

إضافة ملف robots.txt مخصص (معدل)

نأتي الآن إلى أهم جزء من هذا المقال وهو كيفية إضافة ملف robots.txt مخصص حسب رغبتنا إلى المدونة وإليك الخطوات:

• قم بفتح لوحة تحكم المدونة.
• قم بفتح الإعدادات Settings ومنها أمر Search Preferences ثم أمر Crawlers and indexing ثم Custom robots.txt وبعد ذلك قم بالضغط على Edit لتبدأ تعديل الملف ثم الضغط على Yes .
• الآن قم بتعديل محتوى الملف أو لصق الكود الخاص بك إن كنت قد كتبته في أي مكان آخر.
• قم بالضغط على أمر Save للحفظ.

كيف تفحص ملف robots.txt

يمكنك فحص الملف بإضافة /robots.txt إلى رابط المدونة كما يلي على سبيل المثال

http://www.7asouby.com/robots.txt

بعد فتح الرابط السابق الخاص بمدونتك أنت سيظهر أمامك محتوى الملف الذي قمت بكتابته او لصقه منذ قليل