أفضل ملف روبوتس robot.txt لمدونة بلوجر | تصدر محركات البحث

أفضل ملف روبوتس robot.txt لمدونة بلوجر | تصدر محركات البحث

أفضل ملف روبوتس robot.txt لمدونة بلوجر

انشاء روبوت | ما هو ملف robots.txt

ملف robots.txt هو ملف نصي يُستخدم لإخبار برامج زحف الويب وغيرها من برامج الروبوت بالصفحات الموجودة على موقع الويب الخاص بك والتي يجب عليهم الوصول إليها وأيضاً التي يجب تجاهلها ويستخدم الملف بروتوكول استبعاد الروبوتات القياسي وهو عبارة عن مجموعة من القواعد التي يجب على أي روبوت اتباعها عند الوصول إلى موقع ويب والإستخدام الأكثر شيوعًا لملف robots.txt هو إخبار محركات البحث بعدم فهرسة صفحات معينة على موقع الويب الخاص بك مثل سياسة الخصوصية أو صفحة اتصل بنا وصفحة الشروط والاستخدام حيث يمكن أن يكون هذا مفيدًا إذا كنت لا تريد أن تظهر هذه الصفحات في نتائج البحث.

تعديل ملف robots txt

ملف روبوتس robots.txt هو ملف موجود في جذر موقع ويب يخبر روبوتات الويب (غالبًا محركات البحث) بالصفحات الموجودة على موقع الويب التي لا يجب الزحف إليها أو فهرستها ويستخدم الملف ( معيار استبعاد الروبوت ) وهو بروتوكول به مجموعة صغيرة من التوجيهات التي يمكن استخدامها للإشارة إلى الوصول إلى صفحات الويب والاستخدام الأكثر شيوعًا لملف robots.txt هو منع محركات البحث من فهرسة جميع الصفحات الموجودة على مدونتك. على سبيل المثال، إذا كان لديك موقع ويب به مئات أو آلاف الصفحات وتريد فقط ظهور عدد قليل منها في نتائج البحث فيمكنك استخدام ملف robots.txt لإخبار محركات البحث بعدم فهرسة الباقي ويمكنك أيضًا استخدامه لمنع وكلاء مستخدم معينين (روبوتات الويب) من الوصول إلى موقعك تمامًا.

معايير استخدام ملف روبوتس robots.txt

ملف robots.txt يتم استخدامه كمعيار للتواصل بين مالكي مواقع الويب وروبوتات الويب وتنسيق ملف robots.txt بسيط للغاية فهو يحتوي على سطر واحد أو أكثر. على سبيل المثال، سيخبر ملف robots.txt التالي جميع روبوتات الويب بالابتعاد عن موقع الويب بالكامل: User-agent: * Disallow: /

إنها طريقة بسيطة للتحكم في الصفحات التي تظهر في نتائج البحث والتي لا تظهر حيث يتم وضع الملف في الدليل لموقع الويب الخاص بك او مدونتك وعندما يأتي زاحف الويب عبر موقع الويب الخاص بك فإن أول شيء يفعله هو التحقق من وجود ملف robots.txt في حالة وجود أحدها يقرأه الزاحف لمعرفة الصفحات التي يجب فهرستها والصفحات التي يجب أن يتجاهلها.

تحميل ملف robots.txt بلوجر

يعد ملف Robots.txt ملفًا نصيًا ينشئه مشرفو المواقع لإرشاد روبوتات الويب أو محركات البحث إلى كيفية الزحف إلى الصفحات وفهرستها على مواقع الويب الخاصة بهم حيث يعد الملف جزءًا من بروتوكول استبعاد برامج الروبوت (REP) وهو مجموعة من معايير الويب التي تنظم كيفية قيام الروبوتات بالزحف إلى الويب والوصول إلى المحتوى وفهرسته أو أرشفة موقعك في محركات البحث وتقديم هذا المحتوى للمستخدمين حيث يوجد توجيهان أساسيان موجودان في ملف robots.txt:

User-agent: * يستخدم لتحديد روبوت الويب * عدم السماح Disallow : يُستخدم لتحديد الأدلة أو الملفات الموجودة على الخادم الذي لا يجب على وكيل المستخدم زيارته ويجب وضع الملف في ادوات مشرفي المواقع لموقعك (على سبيل المثال، www.example.com / robots.txt) إذا حاول وكيل المستخدم طلب www.example.com/robots.txt ولم يكن موجودًا فسيفترض عدم وجود مثل هذا الملف وسيواصل الزحف دون قيود.

إنشاء ملف robots txt بالتفصيل للمبتدئين

هناك العديد من المواقع والادوات التي توفر انشاء ملف robots txt جاهز لموقعك وكل ما عليك فعله هو اضافة الدومين الخاص بك فقط وسوف تقوم بإنشاء ملف جاهز ولكننا لن نقوم بعمل هذا الأمر

لن نقوم بإنشاء ملف روبوتس ولكن سوف نقوم بتحميل والتعديل علي أفضل ملف روبوتس robots txt يجعل لموقعك او مدونتك علي بلوجر مكانة ومرتبة جيدة في محركات البحث حيث أن ملف الروبوتس robots txt المتاح للتحميل بالاسفل هو أفضل ملف روبوتس تعتمد عليه جوجل محركات البحث لجعل موقعك او مدونتك تتصدر النتائج الاولي.

هل من الأفضل تفعيل محتوى ملف robots.txt مخصص !

إذا كنت علي منصة بلوجر لا أنصحك تماماً بتفعيل محتوى ملف robots.txt مخصص الموجود في إعدادات بلوجر لأن هذا الأمر يجعل موقعك أو مدونتك ضعيفة جداً في محركات البحث ولا تتصدر محركات البحث حيث أن افضل لعمل ملف الروبوتس

إيقاف تفعيل محتوى ملف robots.txt مخصص

تحميل ملف الروبوتس من الاسفل والتعديل عليه فقط

اختبار ملف الروبوتس في اداة الاختبار الخاصة بجوجل

إذا كان كل شئ علي ما يرام ومسموح به سوف تكون قد أضفت أفضل ملف روبوتس لموقعك او مدونتك

لينكات مذكورة بالمقال

تحميل أفضل ملف روبوتس


لينك اختبار الملف بعد التعديل

تعليقات



حجم الخط
+
16
-
تباعد السطور
+
2
-