بهینه سازی فایل robots.txt وردپرس

فایل Robots.txt نقش بزرگی در سئوی سایت شما ایفا می کند.

فایل robots.txt یا REP یک فایل متنی برای مدیران وب سایت ها می باشد که با استفاده از آن میتوانند نحوه خزیدن موتورهای جستجو را کنترل کنند از این رو فایل ربات یکی از ابزار های مهم برای سئو سایت نیز می باشد .

SEO شامل صدها عنصر است و یکی از بخش های مهم آن فایل robots.txt می باشد و در کل نتیجه مثبتی در بهینه سازی سایت شما به جا می گذارد . فایل Robots.txt در واقع رابط بین وب سایت شما و ربات های جستجوگر می باشد که با دستوراتی که شما در این فایل اضافه می کنید ، ربات ها با توجه به آن دستورات به کار خود ادامه می دهند .

 این فایل متنی کوچک که در روت وب سایت شما قرار دارد، می تواند به بهینه سازی وب سایت شما کمک کند. بسیاری از وب مستر ها تمایل دارند که از ویرایش فایل robots.txt جلوگیری کنند اما این کار سختی نیست و با دانستن نکات مهم و پایه میتوان این فایل را ایجاد و ویرایش کرد.

فایل robots.txt روکه ساختین باید با آدرس www.yourwebsite.com/robots.txt قابل دسترسی باشه در غیر این صورت فایل ممکن خطا داشته باشه

توجه داشته باشید User-agent: به یک موتور جستجوگر اشاره میکند و * : User-agent به تمامی ربات ها مثلا User-agent: Googlebot تنها به رابت گوگل اشاره می کند Allow به معنی اجازه دادن عمل خاص به خزنده هاست و Disallow به معنی اجازه ندادن می باشد .

در کد زیر اجازه خزیدن تمامی محتوای وب سایت رو از موتورهای جستجوگر سلب میکنم:

در صورتی که کد ها به درستی نمایش داده نمی شود آنها را در داخل یک فایل text قرار دهید

User-agent: *
Disallow: /

با استفاده از کد زیر هم میتونم بگم Googlebot یا خزنده موتور جستجوگر گوگل یک پوشه خاص مثلا no-google رو مورد خزیدن قرار نده

User-agent: Googlebot
Disallow: /no-google/

در بعضی از مواقع هم نیاز است  جلوی خزنده ها رو برای خزیدن یک صفحه بگیرم در زیر این کارو انجام میدهد

User-agent: Googlebot
Disallow: /no-google/blocked-page.html

البته توجه داشته باشید اشتباه در این کد ممکن خزیدن وب سایت شما را برای موتورهای جستجوگر غیر ممکن کند

خزیدن به یک پوشه را نیز میتوانید برای موتورهای جستجوگر با استفاده از کد زیر غیر ممکن کنید

User-agent: *
Disallow: /folder/

برای کمک به سئو و خزیدن بهتر وب سایت نیز می توانید نقشه سایت در داخل فایل ربات تعریف کنید :

User-agent: *

Sitemap: http://www.yoursite.com/sitemap.xml

فایل robots.txt وردپرس و لزوم استفاده از آن

فایل robots.txt کمک می کند تا ربات موتور جستجو به صفحاتی که باید ایندکس کند هدایت شود. هنگامی که ربات یا اسپایدر موتور جستجو برای ایندکس صفحات به سایت شما وارد میشود ابتدا به دنبال فایل robots.txt میگردد و مسیر این فایل را برای ایندکس کردن صفحات وب سایت شما دنبال خواهد کرد .

اگر از وردپرس استفاده میکنید ، فایل robots.txt را میتوانید در روت وردپرس خود بیابید . در وب سایت های استاتیک، اگر این فایل توسط شما یا برنامه نویس وب سایت تان ایجاد شده باشد، آن را در پوشه روت خود پیدا خواهید کرد. در غیر اینصورت میتوانید با استفاده از notepad به سادگی یک فایل ایجاد کرده و با نام  robots.txt آن را ذخیره کنید . سپس این فایل را با استفاده از FTP به دایرکتوری روت دامنه خود ارسال کنید.

فایل Robots.txt در کجاست ؟ چگونه می توان Robots.txt ایجاد کرد ؟

این فایل دقیقا در مسیر اصلی سایت (روت) قرار گرفته است و در عدم وجود آن شما باید این فایل را در این مسیر ایجاد نمایید .

خوبی فایل Robots.txt این است که می توان آن را در کامپیوتر به راحتی با برنامه notepad ایجاد کرد و بعد از افزودن کد های مورد نظر آن را در روت سایت آپلود کرد .

 

چگونه از فایل Robots.txt استفاده کنیم؟

فرمت دستورات فایل Robots.txt بسیار آسان است . برای مثال در خط اول از دستور user agent استفاده می شود که در واقع این دستور مربوط به ربات های جستجوگر می باشد . برای مثال می توانید فقط از ربات های گوگل و بینگ استفاده کنید که کافیه به این صورت عمل کنید : User-Agent: Googlebot یا User-Agent: Bingbot . اما در صورتی که بخواهید تمامی ربات ها را فراخوانی کنید باید به این صورت عمل کنید : * :User-Agent

در خط های بعدی هم با دستورات Allow و Disallow مشخص می کنید که ربات ها به این بخش ها دسترسی داشته باشند و یا خیر .

نمونه فایل Robots.txt :

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

در این نمونه کد خط دوم به ربات ها اجازه می دهد تا تمامی تصاویر های استفاده شده در مطالب شما ایندکس شوند و در خط سوم و چهارم اجازه به ایندکس مسیر پلاگین و فایل readme.html به ربات ها داده نمی شود .

افزودن سایت مپ به فایل Robots.txt

اگر شما از پلاگین هایی برای ایجاد سایت مپ استفاده می کنید پس لازم است لینک سایت مپ خود را در فایل Robots.txt قرار دهید تا ربات ها از وجود سایت مپ شما با خبر شوند .

برای اینکه سایت مپ خود را به فایل Robots.txt اضافه کنید کافیه به صورت زیر عمل کنید :

Sitemap: http://www.example.com/sitemap.xml

در صورتی که سایت مپ شما بصورت جداگانه باشد یعنی برای مطالب ، صفحات و… سایت مپ بصورت جداگانه باشد آن ها را نیز به روش بالا می توانید اضافه کنید .

مثال :

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
Sitemap: http://www.example.com/deals-sitemap.xml

ارسال پاسخ