بهینه سازی فایل Robots.txt

بعد از خواندن مقاله بهینه سازی فایل Robots.txt موارد زیر را میدانیم :

-فایل Robots.txt چیست؟

-فایل Robots.txtچگونه کار میکند؟

-چگونه فایل Robots.txt برای نتایج بهتر سئو ، بهینه سازی کنیم؟

پس با ما همراه باشید …..

افرادی که در حوزه سئو و بهینه سازی سایت کار میکنند لازم است که نکاتی در مورد فایل robots.txt و نحوه بهینه سازی این فایل بدانند.

فایل Robots.txt به موتورهای جستجو می گوید که چگونه وب سایت شما را بخزند و اینگونه آن را به یک ابزار سئو فوق العاده قدرتمند تبدیل می کند.

در این جا قصد داریم تا به شما نشان دهیم  که چگونه یک فایل robots.txt عالی برای سئوی وب سایت خود ایجاد کنید.

فایل robots.txt چیست؟

Robots.txt یک فایل متنی است که صاحبان وب سایت می توانند آن را ایجاد کنند تا به ربات های موتور جستجو نحوه خزیدن و فهرست بندی صفحات در سایت خود را بگویند.

این فایل معمولاً در پوشه اصلی وب سایت شما ذخیره می شود ( publich_html). به صورت پیش فرض فرمت اصلی یک فایل robots.txt به شکل زیر میباشد:


User-agent: [user-agent name]

Disallow: [URL string not to be crawled]

User-agent: [user-agent name]

Allow: [URL string to be crawled]

Sitemap: [URL of your XML Sitemap]

نمونه ای از اینکه یک فایل robots.txt ساده برای یک وب سایت وردپرس ممکن است شبیه به این باشد:


User-agent: *
Disallow: /wp-admin


حا بیایید بیایید آناتومی یک فایل robots.txt را بر اساس مثال بالا توضیح دهیم:

فایل Robots.txt چگونه کار میکند؟

شما میتوانید با تعریف کردن چندین دستورالعمل ، به ربات های موتورهای جستجو بگویی چگونه وب سایت شما را پویش کنند. این مسئله بسیار اهمیت دارید. زیرا حتما شما آدرسهایی در وب سایت خود دارید که نیازی نیست همیشه آنها مورد پویش موتورهای جستجو قرار بگیرند. این اعمال را با مجاز یا غیرمجاز کردن URL های خاص و اضافه کردن چندین نقشه سایت میتوانید انجام دهید

اگر یک URL یا آدرس یک پیج را غیر مجاز نمی‌دانید، ربات‌های موتور جستجو فرض می‌کنند که مجاز به خزیدن در آن هستند و برعکس

باتوجه به صحبت های بالا ، یک فایل نمونه robots.txt اینگونه میتواند باشد :

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml


در مثال بالا ما به موتورهای جستجو اجازه داده ایم تا فایل های پوشه uploads  که در دایرکتوری وردپرس قرار دارد ، را پویش کنند و ایندکس نمایند . و سپس عمل خزیدن ربات ها و ایندکس کردن url  ها را برای محتویات پوشه plugins  غیرمجاز اعلام کرده ایم.  و در نهایت سایت مپ که از قبل ایجاد کرده ایم را معرفی میکنیم. ( توجه کنید که این مثال برای سیستم های وردپرسی کاربرد دارد و از کپی کردنآن برای سایر سیستم ها خودداری نمایید)

آیا برای سایت وردپرسی خود به فایل Robots.txt نیاز دارید؟

ممکن است تا به امروز در وب سایت خود فایل Robots.txt را ایجاد نکرده باشید. اصلا نگران نباشید ، ربات های موتور جستجو وب سایت شما را موردبازبینی قرار داده اند  و صفحات شما را ایندکس کرده اند . البته هنگامیکه شما وبسایت یاوبلاگی را به تازگی راه اندازی میکنید ، مسلما اطلاعات و محتوای زیادی روی آن وجود ندارد و عدم وجود این فایل برای شما تاثیر زیادی نخواهد داشت. اما با گذشت زمان و افزایش محتوا روی وب سایتتان میخواهید وضعیت ایدکس شدن صفحات وب سایتتان را کنترل کنید و بتوانید تا حد زیادی روی ایندکس شدن یا نشدن برخی آدرس ها مدیریت داشته باشید

ربات های موتورهای جستجو یک برای بررسی سایت شما یک سهمیه مشخصی را در نظر میگیرند . این به چه معناست ؟ این جمله یعنی این که ربات های موتورهای جستجو در هر بار که به سایت شما برای خزیدن و پیمایش شما مراجعه میکنند ، فقط تعداد معینی از آدرس ها را میتوانند بررسی کنند و باقی آدرس ها برای مراجعات بعدی باقی میماند. این نکته بسیار مهمی است که اهمیت فایل Robots.txt برای هر وب سایتی روشن مینماید . زیرا عدم بهینه سازی فایل Robots.txt باعث میشود نرخ ایندکس شدن صفحات شما نسبت به رقبایتان پایین بیاید. شما میتوانید این مشکل را معرفی آدرس های غیرضروری به عنوان آدرس های غیر مجاز در این فایل تعریف نمایید و اینگونه به بهبود روند ایندکس شدن سایت و در نتیجه سئو و بهینه سازی سایت کمک کنید.

به عنوان مثال در سیستم های وردپرسی میتوانید پوشه های پلاگین و تم و صفحات مربوط به ادمین را disallow کنید.

با غیر مجاز کردن صفحات غیر ضروری، سهمیه خزیدن وبسایت خود را ذخیره می کنید. این به ربات های موتورهای جستجو کمک می کند تا صفحات بیشتری را در سایت شما پویش کنند ( بخزند) و آنها را در سریع ترین زمان ممکن ایندکس کنند.

یکی دلیل خوب دیگر برای استفاده از فایل robots.txt مربوط به زمانی میشود که شما می خواهید موتورهای جستجو را از ایندکس کردن یک پست یا صفحه در وب سایت خود منع کنید. قطعا تنها از این طریق نمیتوانید محتوای خود را از بازدیدکنندگان مخفی نگه دارید ، اما این به شما کمک میکند تا از ورود بازدیدکنندگان به آن صفحات مشخص از طریق موتورهای جستجو خودداری کنید. چون مردم دیگر نمیتوانند با جستجو کردن آن صفحه را پیدا کنند و وارد آن شوند.

چگونه فایل Robots.txt برای نتایج بهتر سئو ، بهینه سازی کنیم؟

بهینه سازی فایل  Robots.txt

یک فایل Robots.txt بهینه چگونه است؟

ما در این قسمت یک نمونه فایل Robots.txt بهینه سازی شده برای وردپرس را در اختیار شما قرار میدهیم.


User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /wp-content/plugins/
Sitemap: https:// yoursite.com/post-sitemap.xml
Sitemap: https://yoursite.com/page-sitemap.xml


امیدواریم  این مقاله برای شما مفید واقع شده باشد .

لطفا نظرات خود را برای ما کامنت کنید.

برای شما دوستانی که در حوزه سئو فعالیت میکنید ، ممکن است مقاله دلایل کاهش رتبه گوگل و دلایل کاهش رتبه گوگل قسمت 2 دوم  مفید باشد. توصیه میکنیم این مقاله را نیز مورد مطالعه قرار دهید.