كيفية انشاء ملف robots.txt و خريطة Sitemsp لتصدر نتائج البحث في كوكل

في مشكلة تحدث للمستخدمين او المدونين , بأن المدونة لا تظهر في محرك البحث , وهذه المشكلة تحدث لاغلب المدونين في مدوناتهم , ويرجع السبب الى ان عند انشاء امدونة لم يضيفو ملف robots.txt الى المدونة وكذالك لم يضيفو ملف sitemap في ادوات مشرفي المواقع .

خريطة site mab و ملف robots.txt , هما اول خطوة او اهم خطوه لتقديم المدونة الى محرك البحث , وتصدر نتائج البحث في كوكل , بمعنى بدون خريطة sitemab و ملف robots.txt المدون لا تظهر في نتائج البحث .

في هذا الدرس سوف نتعلم كيف اضافة ملف robots.txt الى المدونة

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap:https://Example.com/atom.xml?redirect=false&start-index=1&max-results=500

اولا : نتعرف ماهو robots.txt

هوه ملف يحتوي عدة اوامر يسمح لعناكب بحث كوكل بلدخول الى المدونة ومعرفة محتواها, هل وهو مطابق للشروط ام لا لكي تتم فهرستها في كوكل وتصدر نتائج البحث, فلنتعرف على هذه الاوا مر , وماهوه عملها في كوكل .

1- الامر الاول : User-agent: Mediapartners-Google هو امر مهم جدا اذا كنت تود الربح من كوكل ادسنس الذي ينشر , اعلانات على مدونتك لتحقيق الربح , فهذا الامر يقوم بلسماح لموقع كوكل ادسنس , بنشر الاعلانات على مدونتك لتحقيق الربح منها .

2- الامر الثاني : هو الامر Disallow: هذه الامر يسمح للروبوتات او ماتسمى عناكب البحث , يسمح لها بلدخول الى جميع صفحات المدونة , واذا اردت ان تمنع الروبوتات من الدخول الى الصفحات , مثل , من نحن , واتصل بنا و سياسة الخصوصية ,

فقط ماعليك سوى انت تدخل الى الصفحة المراد منع اروبوتات ( عناكب الحث) من الدخول اليها , ونسخ نهاية رابط الصفحة من (/p) الى النهايه ووضع بعد Disallow: مثال (/p..........:Disallow) وبهذا سوف تمنع الروبوتات من الدخول الى الصفحة وارشفتها.

3- الا مر الثالث : هو الامر User-agent: * هذا الامر هوه امر مهم ايضاُ , الذي يسمح لجميع محركات البحث بلخول الى موقعك , لا ينحصر فقط على كوكل فقط بل يسمح لجميع المتصفحات بلدخول الى مدونتك , مثل , ياهو , و bing وغيرها من محركات البحث , وهذا سوف يزيد من زوار للمدونة .

4- الامر الرابع : هو الامر Allow: / هذا الامر يسمح لجمع الروبوتات بلدخول الى كل محتويات الدونة , فعلامة (/) بان لا تجعل الروبوتات بلدخول الى موضوع او مقالة معينة , فاذا اضفنا رابط مقالة معينة , فاننا نحدد للروبوتات ونسمح لها بلدخول فقط الى هذه المقالة , من الافضل تركها كماهي .

5- الامر الاخير : هوه الانمر Sitemap:https://Example.com/atom.xml?redirect=false&start-index=1&max-results=500 هذا الامر تقوم بمسح https://Example.com وتقوم باضافة رابط المدونة الخاصة بلمدونة .