أفضل ملف robots.txt روبوت لأرشفة موقعك في Google

[alfares]

انا لا امزح في هذا الموضوع ستجد أفضل ملف robots.txt روبوت
لا يوجد مثيل له في العالم
نعم أكمل قراه الموضوع واضمن لك انك ستحصل على أفضل ملف روبوت
لن تجد أفضل منه يناسب موقعك إطلاقا

حمل من هنا ملف robots.txt روبوت لأرشفة موقعك في Google


انطلاقا من المثل القائل ( لا تعطيني سمك وعلمني كيف اصطاد )
سنشرح كيف نحصل على أفضل ملف robots.txt روبوت يناسب موقعنا
طريقة منع أي رابط أو صفحة من الفهرسة ببساطة تخصيص ملف الروبوت
كيف نمنع أي رابط من الظهور في محركات البحث
الكثير من أصحاب المواقع تصادفهم مشكلة تكرار روابط
المواضيع أو الصفحات في محركات البحث
ويحتاجون لمنع هذه الروابط من الفهرسة حيث أنها تتسبب في تكرار
وصف الميتا وتكرار عناوين المواضيع مما يترتب عليه تكرار المحتوى
وبتالي يقلل من فرصة ظهور روابط موقعنا في محركات البحث وربما معاقبته
فتجد الكثير يبحث عن أفضل ملف robots.txt روبوت يمكن وضعه في
موقعه وهذا خطاء لا يوجد
هناك أفضل ملف روبوت
لا داعي للبحث في كل المواقع عن افضل ملف الروبوت
لا داعي لتتعب نفسك دون فائدة لأنه أصلا لا يوجد ملف روبوت أفضل من الأخر
لان ملف الروبوت هو عبارة عن ملف سماح ومنع
وكل واحد يمنع ما يراه مناسب لموقعه أو مدونته
إذا قمت بالبحث عن أفضل ملف وراق لك احد الملفات في موقع ماء وقمت
بتركيبة في موقعك فهناك احتمال أن يتم تكرار أو منع روابط تريد لها
عكس ما هو موجود في الملف
كما أن ملف الروبوت يتم التعديل عليه من خلال المتابعة المستمرة
لموقعك ولجميع الروابط التي يتم فهرستها في محركات البحث
بحيث إذا وجدت إي رابط مكرر أو قسم أو صفحة تستطيع منع الرابط أو
مجموعة الروابط في وقتها ولكي تقوم بذالك ليسئ من الصواب البحث عن
أفضل ملف روبوت واستبداله بالملف الذي لديك
وإنما يتم ذالك عن طريقك أنت فقط
نعم أخي أنت فقط من يستطيع عمل أفضل ملف روبوت خاص به
تسمح فيه لما تريد وتمنع ما تريد وفي إي وقت تريد
لأنك الوحيد الذي يستطيع متابعة روابط موقعك ويقوم بتعديل عليها
حتى لو قام شخص ذو خبره وكفاءة عالية بعمل ملف الروبوت لك هذا لا يفيدك
لأنك تحتاج لمتابعة روابط موقعك طوال الوقت والتعديل على الملف فورا عند
حدوث إي إشكالية أو ظهور مفاجأ لروابط مكرره
ملف الروبوت لا يحتاج منك أن تكون مبرمجا أو ذو خبره كبيرة في فهم
أو كتابة الاكواد
لا يا عزيزي فقط يحتاج منك معرفة كيف تمنع وكيف تسمح
وكيف تمنع بشكل خاص وكيف تمنع بشكل عام
كل ما في الأمر كلمتان كلمة سماح متبوعة بكلمة
وكلمة منع متبوعة بكلمة
كما أن جوجل توفر لك اختبار ما تقوم به حتى تتأكد من عملك بشكل سليم
كما سيأتي في الشرح
لنبدأ الشرح
إذا كيف أقوم بمنع ما أريد واسمح لما أريد ؟
هنا سنضع الحل بشكل بسيط جدا
بحيث يستطيع أي شخص حتى لو كان مبتدى أن يمنع أو يسمح
للروابط بالفهرسة بكل بساطة
أولا ملف الروبوت افتراضيا يكون بالشكل التالي
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://yyyyyyyyy/sitemap.xml
قبل أن نبدأ بشرح كيفية نمنع أو نسمح سنعطي معنى للكلمات الموجودة في ملف الروبوت حتى
يكون الشرح مفهوم

أولا:
User-agent: Mediapartners-Google
تعني أن هذا يتم من خلال توكيل الاستخدام لبرنامج جوجل بعمل ما يلي تكون ثابتة لا تحتاج إلى تغير

ثانيا :

Disallow:
وهي تعني عدم السماح بالفهرسة أيضا ثابتة لا تحتاج تغير

ثالثا :
User-agent: *
تعني استخدام الخاصية كا وكيل عنك وهي أيضا تكون ثابتة في ملف الروبوت

رابعا :
Allow: /
وهي تعني السماح بالفهرسة أيضا ثابتة ولا تحتاج تغير
خامسا :
Disallow: /search
حيث هنا قمنا بمنع روابط البحث search
سادسا :
Sitemap: http://yyyyyyyyy/sitemap.xml
هي الخريطة التي تحتوي على روابط المواضيع لموقعك حيث أن yyyyyyyyyy هو رابط موقعك


تعرفنا على محتويات ملف الروبوت ولان لنبدأ كيف نعتمد على أنفسنا قي السماح أو منع أي رابط نريد
أحيان تتم فهرسة الأقسام وأيضا تتم أحيانا فهرسة الموضوع برابطين
فمثلا لو كان رابط الموضوع الفعلي كتالي
http://www.yyyyy.net/2017/02/blog-post_74.html

لأكن قد يتكرر الرابط بالشكل التالي
http://www.yyyyy.net/2017/02/blog-post_74.html?m=0

انظر ما هو الفرق
الفرق أن الرابط الفعلي أو الأصلي للموضوع ينتهي ب
.html
لأكن الرابط المكرر هو نفس الرابط الأول لأكن مع زيادة بسيطة في نهايته
حيث ينتهي ب
?m=0
هذه مشكلة لأكن حلها بسيط جدا
فقط لكي نمنع هذا الرابط المكرر
نقوم بأخذ نهائية الرابط التي هي
?m=0
ونضعها في ملف الرروبوت بعد خاصية المنع Disallow متبوعة ب * /
حيث تعني ( / ) التالي
وتعني النجمة ( * ) كل الروابط التي لها نفس النهاية
بحيث يتكون لدينا الشكل التالي
Disallow: /*?m=0
طيب أين يتم وضع هذا داخل ملف الروبوت ؟
يتم وضعها أسفل التعليمة التالية
User-agent: *
ليكون ملف الروبوت بالشكل التالي
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /*?m=0
Disallow: /search
Allow: /
Sitemap: http://yyyyyyyyy/sitemap.xml

ألان لن يتم فهرسة الروابط التي لها نهاية
?m=0
ملاحظة مهمة جدا
قد تجد روابط تنتهي بنهائية التالية
?m=1
لا تقوم بمنعها لان هذه الروابط هي روابط خاصة بالتصفح عن طريق الجوال فقط قم بمنع
?m=0
مثل أخر
إذا وجدنا أن هناك بعض الروابط مكرره لأكن لها نهاية أخرى
فكيف نقوم بمنعها
لنفترض أن هناك روابط تتكرر له هذه النهاية
s?m
نقوم بوضع هذه الكلمة بعد تعليمة المنع كما في المثال الأولى
بحيث تكون بالشكل التالي
Disallow: /* s?m
يتم وضعها تحت التعليمة الأولى
ليكون شكل النهائي لملف الروبوت بشكل التالي
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /*?m=0
Disallow: /* s?m

Disallow: /search
Allow: /
Sitemap: http://yyyyyyyyy/sitemap.xml


وهكذا نتعامل مع باقي الروابط المكررة أن وجدت
طيب هذا بنسبة للروابط التي قد تظهر في محركات البحث بشكل غير سليم
ماذا عن كيفية منع الأقسام من الفهرسة أو الأرشيف أو التعليقات ؟
هذا بسيط أيضا
التعليمة هذه
Disallow: /search

موجودة بالأعلى هي تمنع ظهور أو تكرار روابط الأقسام أو الأرشيف والتعليقات
وهي تعني منع كل روابط البحث في الموقع بما فيها الأقسام والأرشيف والتعليقات
لأكن ماذا لو ظهرت الأقسام حتى عند وجود تعليمة البحث ؟
في هذه الحالة نقوم بإضافة رابط الأقسام بعد تعليمة المنع
كيف يتم ذالك انقر على أي قسم من الأقسام الموجودة في موقعك


وانظر إلى رابط القسم ستجد انه بعد رابط الموقع يبدأ بهذه الكلمة
Label
ثم تأتي بعدها اسم القسم سوى بالغة العربية أو الانجليزية كتالي
http://www.yyyyyyy/search/label/برامج
أو حسب الرابط الموجود عندك
ولكي نمنع ظهور هذه الكلمة نضعها بعد تعليمة المنع كتالي
Disallow: / label

لاحظ هنا في هذا الحالة لم نستخدم علامة النجمة ( * ) لماذا ؟

لان رابط الأقسام عام لكل الأقسام ويمكن أن تتصل به مجموعة من الروابط
لذالك سيتم منع جميع الأقسام لأن كل الأقسام تبدأ ب
label
بينما في المثال الأول كان خاص بحيث يأتي في نهاية كل رابط .
بعد منع رابط الأقسام سيصبح ملف الروبوت بالشكل التالي
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /*?m=0
Disallow: /* s?m
Disallow: / label
Disallow: /search
Allow: /
Sitemap: http://yyyyyyyyy/sitemap.xml

مثال أخر
في حالة كنا نريد منع جميع الأقسام ما عدا قسم واحد فقط
كيف يتم ذالك ؟
لنفترض أن لدينا أقسام بالأسماء التالية
برامج - تصميم - دروس - برامج اندرويد
ونريد منع كل الأقسام ماعدا قسم ( البرامج )
سيكون ملف الروبوت نفس الملف السابق مع اختلاف بسيط وهو تضمين السماح لقسم البرامج
ننقر على قسم البرامج في موقعنا
انظر إلى رابط قسم البرامج لنفترض أنه بالشكل التالي
http://yyyyyyy./search/label/برامج
نضع القسم واسم القسم بعد تعليمة سماح مع وضع علامة النجمة ( * ) قبل اسم القسم كتالي
Allow: /label/*برامج
نقوم بإضافة هذا التعليمة تحت تعليمة السماح مباشرة كتالي
Allow: /
Allow: /label/*برامج
هل لاحظت إننا استخدمنا النجمة هنا ( * )
لان البرامج واحد من الأقسام أي انه قسم خاص وليس كل الأقسام
سيصبح ملف الروبوت بالشكل التالي
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /*?m=0
Disallow: /* s?m
Disallow: / label
Disallow: /search
Allow: /
Allow: /label/*برامج
Sitemap: http://yyyyyyyyy/sitemap.xml
كيف نتأكد من أن كل ما نقوم به في ملف الروبوت صحيح ولا يوجد خطاء قد
يقوم باستبعاد الروابط المهمة ؟
بكل بساطة توجه إلى
أدوات مشرفي المواقع ثم الزحف ثم اختبار robots.txt
ثم
ضع الكلمة أو القسم الذي تريد منعه أو السماح له في مربع الروبوت
ثم في مستطيل الاختبار قم بوضع الرابط الذي تم منعه أو السماح له
وانقر على اختبار وسيتم إخبارك في إذا ما كان مسموح أو ممنوع
مثال على روابط مواضيع متكررة بكلمة
?m=0
شاهد الشكل التالي














مثال لمنع الأقسام عن طريق
Disallow: / label
او
Disallow: /search

شاهد الشكل التالي












مثال لمنع جميع الأقسام ماعدا قسم معين مثل قسم برامج
Allow: /label/*برامج
شاهد الشكل التالي




بهذه الطريقة تستطيع منع أي رابط أو صفحة في موقعك أو أي روابط يتم تكرارها
في محركات البحث
كيف نعرف أن هناك روابط يتم فهرستها أو تكرارها مرتين أو أكثر في جوجل ؟
توجد طريقتين لمعرفة الروابط المكررة
الطريقة الأولى :
عن طريق أدوات مشرفي المواقع
نتوجه إلى الخيار الأول مظهر البحث ثم إلى تحسينات HTML
ستجد التالي
أوصاف meta مكررة
علامات عناوين مكررة
وستجد عدد الروابط المكررة إمامها انقر عليها وستجد لكل موضوع له عدد رابطين أو أكثر
بما فيها الرابط الفعلي
قم بأخذ نهاية الروابط المكررة وقم تطبيق ما قمنا بشرحه عليها
الطريقة الثانية :
عن طريق البحث عن روابط موقعك في محرك البحث جوجل
افتح صفحة جوجل الرئيسة
ثم في مربع البحث ضع رابط موقعك بدون
www
وبدون
http//
لأكن مسبوقا ب
site:
بحيث يكون بالشكل التالي
site:yyyyyyyy.com
ثم انقر على بحث وسيتم عرض جميع روابط وعناوين المواضيع بموقعك
ضع مؤشر الماوس على أول عنوان سيقوم المتصفح بعرض الرابط
إذا كان ربط الموضوع ينتهي ب
Html
أو بحسب النهاية الموجودة عندك لكل رابط موضوع فهذا إذا الرابط المعتمد
وإذا كان الرابط ينتهي بشكل أخر كما شرحنا أعلاه فقم بمنع النهاية هذه عن طريق ملف الروبوت
وهكذا انتقل إلى الصفحة الثانية وقم بفحص العناوين الموجود بها وهكذا حتى تنتهي من جميع المواضيع
غالبا في حالة هناك روابط مكرره ستجدها تنتهي بشكل أو شكلين إلى ثلاثة أشكال على الأكثر قم بمنع هذه الأشكال الغير صحيحة من الروابط
شاهد الصورة التالية






انتهاء الدرس
ألان تستطيع مراقبة روابط موقعك وعمل كل ما يلزم ويكون بهذا فعلت أفضل ملف روبوت لا يمكن أن تجده في إي موقع
يرجى ذكر المصدر عند نقل الموضوع
اذا كان الدرس مفهوم واستفيدت منه فلا تبخل علينا بتعليق لنستمر في تقديم الافضل
أمل أن يكون الدرس مفهوم وواضح وان تكون الفكرة وصلت
في حالة واجهت إي مشكلة فلا تتردد في ترك تعليق لنا وسنحاول مساعدتك
مع خالص تحياتي