یکی از اولین مواردی که شما برای بررسی و بهینه سازی وب سایت خود از جنبه فنی نیاز دارد فایل robots.txt است. یک مشکل یا اشتباه در robots.txt شما می تواند به رتبه بندی و ترافیک وب سایت شما لطمه شدیدی وارد نمایید
در این پست شما خواهید فهمید که یک فایل robots.txt چیست، چرا شما به آن نیاز دارید، چگونه برای بهینه سازی سایت از این فایل کمک بگیرد و چگونگی این فایل را تست نمایید تا اطمینان حاصل کنید موتورهای جستجوگر به آن دسترسی دارند
همچنین اگر از وردپرس استفاده می کنید، در انتهای این مقاله اطلاعات خاصی در مورد فایل robots.txt برای شما نیز خواهیم آورد
robots.txt چیست؟
یک robots.txt یک فایل متنی است که در دایرکتوری ریشه وب سایت شما قرار دارد و رفتار خزنده های موتورهای جستجوگر را تغییر دهد در واقع بهتر است بگوییم با استفاده از این فایل شما می توانید رفتار ربات های موتورهای جستجوگر را تغییر دهید
هنگام بازدید از یک وب سایت، ربات های موتورهای جستجوگر اولین کاری که انجام می دهید این است که محتوای فایل robots.txt را بررسی می کنید. اگر این فایل با استفاده از دستوارتی که در داخل آن قرار دارد یک فایل یا یک پوشته را محدود کرده باشد ربات موتور جستجوگر دیگر به آن دسترسی نخواهد داشت
اگر یک فایل robots.txt ندارید چه اتفاقی می افتد؟
اگر یک فایل robots.txt نداشته باشد خزنده موتور جستجو فرض می کند که همه صفحات قابل دسترسی می باشد و هیچ محدودیتی برای ایندکس صفحات و فایل های شما وجود ندارد
اگر robots.txt به درستی فرمت نشود چه اتفاقی می افتد؟
اگر این فایل به صورت غلط یا با فرمت غلط ایجاد شده باشد موتورهای جستجوگر این فایل را نادیده گرفته و مانند حالت بدون فایل robots.txt می باشد و در این حالت همانند سایت بدون فایل robots.txt تمامی قسمت های وب سایت برای ربات های موتورهای جستجوگر قابل خزیدن می باشد و هیچ محدودیتی نیز وجود ندارد
چه اتفاقی می افتد اگر من به طور تصادفی دسترسی ربات ها به وب سایتم را محدود کنم؟
این یک مشکل بزرگ است خیلی از افراد را دیده ام که با توجه یه اینکه شناختی از این فایل نداشته اند تغییرات جزئی را در آن ایجاد کرده اند که به نظر خودشان این تغییرات بسیار کوچک بوده است اما باعث شده است وب سایت از نتایج گوگل به طور کامل حذف شود . در صورتی که با این فایل آشنا نیستید و کارکردن با آن را بلد نیستید از هرگونه تغییر در آن خودداری کنید چرا که کوچکترین تغییر در این فایل (در صورت اشتباه )می تواند منجر به حذف وب سایت شما از نتایج گوگل شود.
آیا به یک فایل robots.txt نیاز دارید؟
بله، قطعا شما باید یک robots.txt داشته باشید، حتی اگر نمی خواهید صفحات یا دایرکتوری وب سایت خود از دید ربات ها مخفی کنید
چرا از robots.txt استفاده میکنید؟
رایج ترین موارد استفاده از robots.txt موارد زیر هستند:
# 1 – مسدود کردن موتورهای جستجو از دسترسی به صفحات خاص یا دایرکتوری وب سایت خاص. کد زیر دقیقا این کار را انجام می دهد
* : User-agent
Disallow: /folder
Disallow: file.php
دقت داشته باشد که قرار دادن * به معنی اجرای دستوارت برای تمامی موتورهای جستجوگر می باشد
2 – معرفی نقشه سایت
sitemap: https://seonab.com/sitemap.xml
دو نکته مهم در مورد robots.txt بدانید
اول از همه این است که هر قواعدی که به robots.txt اضافه می کنید فقط دستورات هستند. این بدان معنی است که موتورهای جستجوگر پیرو رعایت قوانین هستند.در بیشتر مواقع ربات های موتورهای جستجوگر تمامی وب سایت شما را ایندکس می کنند اما اگر محتوایی دارید که نمی خواهید در فهرست موتورهای جستجوگر قرار بگیرد بهترین راه استفاده از این فایل می باشد
نکته دوم این است که اگر در این فایل یک صفحه را مسدود میکنید و با استفاده از صفحات غیر مسدودی به آن لینک می دهید این صفحه به احتمال زیاد در نتایج ظاهر می شود. به عبارت دیگر، اضافه کردن یک صفحه به robots.txt برای مسدود شدن به صورت صددرصدی نمی باشد شما می توانید با استفاده از رمز عبور ، محافظت از صفحه یا دایرکتوری را انجام دهید همچنین راه دیگری نیز برای مسدود سازی یک صفحه از دید ربات ها وجود دارد و آن استفاده از کد زیر می باشد
<“meta name = “robotics” content = “noindex>
چگونه robots.txt کار می کند؟
فایل ربات یک ساختار بسیار ساده دارد. به عبارت دیگر یک فایل تکست ساده می باشد که دارای یکسری از دستوارت ترکیبی می باشد که هرکدام از دستورات یک عمل مشخص را انجام می دهند
رایج ترین آنها عبارتند از: User-agent، Disallow، Allow، Delayed Crawl، Sitemap.
User-agent: مشخص میکند کدام خزنده باید دستورات را در نظر بگیرد. شما می توانید با استفاده از یک * به همه خزنده ها دستور مورد نظر را بدهید
Disallow: از این دستور برای ایجاد محدودیت استفاده می کنیم مثلا اگر بخواهیم دسترسی به یک فایل یا یک پوشه یا یک بخش از وب سایت را محدود کنیم با استفاده از این دستور این کار را انجام می دهیم
Allow: این دستورالعمل به صراحت بیان می کند که کدام صفحات یا زیر پوشه ها قابل دسترسی است. این فقط برای Googlebot قابل استفاده است.شما می توانید از Allow به دسترسی به یک زیر پوشه خاص در وب سایت خود استفاده کنید، حتی اگر دایرکتوری والدین disallowed باشد.
به عنوان مثال، شما می توانید دسترسی به فهرست های عکس های خود را غیر مجاز کنید، اما اجازه دسترسی به زیر پوشه BMW خود را مجاز کنید
*
* :User-agent
Disallow: /photos
/Allow: /photos/bmw
Crawl-delay: شما می توانید یک مقدار تاخیر برای خزنده ایجاد کنید این زمان بر حسب میلی ثانیه است.لازم به ذکر است که تاخیر خزنده توسط Googlebot در نظر گرفته نشده است.
لازم به ذکر می باشد که شما می توانید از Google Search Console برای کنترل زمان خزیدن برای Google استفاده کنید
Sitemap: دستورالعمل Sitemap توسط موتورهای جستجو اصلی از جمله گوگل پشتیبانی می شود و از آن برای تعیین محل XML Sitemap شما استفاده می شود.
حتی اگر موقعیت مکانی نقشه سایت XML را در ربات مشخص نکنید، موتورهای جستجو هنوز قادر به یافتن آن می باشد.
به عنوان مثال، شما می توانید از این استفاده کنید:
Sitemap: https://example.com/sitemap.xml
مهم: Robots.txt حساس به حروف است. پس در هنگام استفاده از یک دستور برای مسدود کردن یک فایل حتما دقت داشته باشبد که همانند نام فایل حروف را کوچک یا بزرگ وارد نمایید
چگونه یک robots.txt ایجاد کنیم؟
ایجاد یک فایل robots.txt آسان است. برای این کار شما تنها نیاز به یک ویرایشگر متن (مانند brackets or notepad) و دسترسی به فایل های وب سایت شما (از طریق FTP یا کنترل پنل) دارد.قبل از ورود به فرایند ایجاد یک فایل ربات، اولین کاری که باید انجام دهید این است که بررسی کنید آیا این فایل وجود دارد یا نه.
ساده ترین راه این است که یک پنجره مرورگر جدید باز کنید و به https://www.yourdomain.com/robots.txt بروید
اگر چیزی شبیه به دستورات زیر مشاهده کردید به این معنی می باشد که وب سایت دارای فایل ربات می باشد در غیر این صورت فایل ربات ایجاد نشده است
* : User-agent
/ :Allow
نحوه ویرایش robots.txt
از سرویس گیرنده FTP مورد علاقه خود استفاده کنید و به دایرکتوری ریشه وبسایت خود متصل شوید.
Robots.txt همیشه در پوشه ریشه (www یا public_html، بسته به سرور شما) قرار دارد.
فایل را به رایانه خود دانلود کنید و آن را با یک ویرایشگر متن باز کنید.
تغییرات لازم را انجام دهید و فایل را به سرور خود آپلود کنید.
چگونه یک robots.txt جدید ایجاد کنیم
اگر قبلا robots.txt ندارید، یک فایل جدید robots.txt با استفاده از یک ویرایشگر متن ایجاد کنید، دستورات خود را اضافه کنید، آن را ذخیره کنید و آن را در ریشه وب سایت خود آپلود کنید.
مهم: اطمینان حاصل کنید که نام فایل شما robots.txt است و هیچ چیز دیگری نیست. همچنین در نظر داشته باشید که نام فایل حساس به حروف است بنابراین باید تمام حروف کوچک باشد.
کجا robots.txt را قرار دهید؟ robots.txt همیشه باید در ریشه وب سایت شما قرار گیرد .
در یک سناریوی معمول، فایل robots.txt شما باید مطالب زیر را داشته باشد:
* :User-agent
/ : Allow
Sitemap: https://example.com/sitemap.xml
این اجازه می دهد تا تمام رباتها بدون هیچ گونه مسدود شدن به وبسایت شما دسترسی پیدا کنند. همچنین مکان نقشه سایت نیز مشخص شده است
نحوه تست robots.txt ؟
در حالی که می توانید محتویات robots.txt خود را با مرور URL های robots.txt مشاهده کنید، بهترین روش برای تست و اعتبار سنجی آن، از طریق گزینه تست robots.txt کنسول Google Search Console است.
به کنسول Google Search خود وارد شوید
روی Tester robots.txt کلیک کنید، در زیر گزینه های خالی پیدا کنید.
روی دکمه تست کلیک کنید.
اگر همه چیز درست باشد، دکمه تست سبز خواهد شد و در غیر این صورت به صورت قرمز رنگ نمایش داده خواهد شد
فایل robots.txt وردپرس مناسب
همه چیزهایی که تاکنون درباره robots.txt خواندید نیز برای وبسایتهای وردپرس قابل استفاده است.تنها مواردی که باید در مورد robots.txt و WordPress بدانید، موارد زیر هستند:
در گذشته، برای وب سایت های وردپرس برای جلوگیری از دسترسی به wp-admin و -wp-پوشه ها از طریق robots.txt توصیه شد
از سال 2012 این دیگر مورد نیاز است زیرا وردپرس برای این کار از یک دستور استفاده می کند
;(‘header( ‘X-Robots-Tag: noindex@
در تصویر زیر می توانید بهترین robots.txt برای یک سایت وردپرسی را مشاهده نمایید
