آموزش ساخت فایل robots.txt و کار با گوگل وبمستر تولز

آموزش ساخت فایل robots.txt و کار با گوگل وبمستر تولز

فایل robots.txt چیست؟

فایل robots.txt یک فایل متنی است که در وب سایت قرار داده می شود و به موتورهای جستجو گفته می شود که کدام قسمت های وب سایت برای موتورهای جستجو قابل دسترس است و کدام قسمت های وبب سایت قابل دسترس نمی باشد.

 فایل robots.txt به معنای این نیست که موتورهای جستجو ملزم به رعایت قوانین موجود در آن هستند برخی اوقات موتورهای جستجو از این قوانین پیروی نمی کنند. ولی فایل robots.txt یکی از روشهایی است که میی  توان ورود موتورهای جستجو به سایت را کنترل نمود.

این مسئله برای وب سایت ها بسیار مهم است با توجه به اینکه موتورهای جستجو بارها و بارها به وب سایت مراجعه می کنند به کدام قسمت های سایت دسترسی داشته باشد و به کدام قسمت های سایت دسترسی نداشته باشند و در برخی اوقات اطلاعات حساسی در وب سایت ها وجود دارد که موتورهای جستجو نباید به آنها دسترسی داشته باشند که یکی از روشهای کنترل دسترسی استفاده از فایل robots.txt  است.

ساختار فایل robots.txt

ساختار فایل robots.txt بسیار ساده و در عین حال منعطف پذیر است. فایل robots.txt از یکسری user agents و فایلها و دایرکتورهای disallowed تشکیل شده است. در واقع این فایل بصورت زیر است:

  • User-agent می توان خزنده های موتورهای جستجو که می توانند به سایت دسترسی داشته  باشند  را مشخص نمود.
  • Disallow می توان لیست فایلها یا دایرکتوری هایی را که می خواهیم موتورهای جستجو به آنها  دسترسی نداشته باشند را مشخص نمود.

برخی نمونه های فایل robots.txt

مسدود کردن دسترسی خزنده های موتورهای جستجو به کل محتویات سایت

User-agent: *

Disallow: /

مسدود کردن دسترسی خزنده های موتورهای جستجو به یک دایرکتوری مشخص

User-agent: Googlebot

Disallow: /no-google/

مسدود کردن دسترسی خزنده های موتورهای جستجو به یک صفحه مشخص

User-agent: Googlebot

Disallow: /no-google/blocked-page.html

پارامترهای نقشه سایت

User-agent: *

Disallow:

Sitemap: http://www.example.com/none-standard-location/sitemap.xml

اضافه کردن فایل robots.txt به گوگل وبمستر تولز

جهت اضافه کردن فایل robots.txt به گوگل وبمستر تولز می توانید بصورت زیر عمل نمایید:

ابتدا توسط اکانت خود وارد گوگل وبمستر تولز شوید و از منوی Crawl روی زیر منوی robots.txt Tester کلیک  نمایید.

در ادیتوری که در سمت راست صفحه نمایش داده می شود می توانید محتوای فایل robots.txt را وارد نمایید و سپس دکمه submit را کلیک کنید.

بعد از ارسال شدن محتوای فایل robots.txt به گوگل وب مستر تولز بعد از چند دقیقه محتوای بروزرسانی شده  نمایش داده خواهد شد.

تست آدرس های محدود شده در فایل robots.txt

جهت تست کردن اینکه کدام فایل ها یا دایرکتوری ها در فایل robots.txt محدود شده است می توانید توسط  تست کننده گوگل وبمستر که در شکل زیر نمایش داده شده است استفاده نمایید:

 

 

...
training-on-creating-robots-txt-file-and-working-with-google-webmaster-tools
  • design4
  • design4
design7