مرکز تولید و توسعه نرم افزار نوآور

برنامه نویسی نرم افزارهای ویندوز ، طراحی صفحات وب ، تولید اپلیکیشن موبایل ، ساخت ربات تلگرام

Googlebot چیست؟

گوگل بات یا ربات های جستجوگر گوگل عنوان مقاله ایست که در مورد آن بحث میکنیم.

googlebot چیست؟

گوگل بات یک خرنده گوگل است که محتویات سایتها را مورد بررسی قرار میدهد و صفحات را ایندکس میکند و در سئوی سایت تاثیر زیادی دارد. این خزنده روزانه از میلیاردها صفحه وب بازدید میکند.

googlebot

وبگردی چیست؟

خزنده های وب (همچنین به عنوان ربات ها یا عنکبوت ها نیز شناخته می شوند) نوعی نرم افزاری است که برای دنبال کردن لینک ها ، جمع آوری اطلاعات و سپس ارسال آن اطلاعات در جایی طراحی شده است.

Googlebot چه کاری انجام می دهد؟

در ادامه بحث googlebot چیست در مورد کارایی آن صحبت میکنیم.

googlebot

  • Googlebot محتوای صفحات وب (کلمات ، کد و منابعی را که صفحه وب را تشکیل می دهند) بررسی می کند.
  • اگر محتوایی که آن را بررسی می کند به موارد دیگر پیوند دارد ، آن را ذکر می کنید.
  • سپس اطلاعات را به Google ارسال می کند.

Googlebot و وب سایت شما

اطلاعاتی که Googlebot به رایانه های Google ارسال می کند ، نمایه Google را به روز می کند.

فهرست Google جایی است که صفحات وب مقایسه و رتبه بندی می شوند.

  • برای یافتن صفحات وب در Google ، باید برای Googlebot قابل مشاهده باشند.
  • برای اینکه صفحات وب شما بهینه شود ، کلیه منابع صفحه وب باید توسط Googlebot قابل دسترسی باشد.

تفاوت بین Googlebot و نمایه گوگل

googlebot

Googlebot

  • Googlebot محتوا را از وب بررسی می کند.
  • به هر حال Googlebot درباره محتوا داوری نمی کند ، فقط آن را بررسی می کند.
  • تنها نگرانی Googlebot این است که “آیا می توانم به این محتوا دسترسی پیدا کنم؟” و “آیا محتوای دیگری وجود دارد که می توانم به آن دسترسی پیدا کنم؟”

فهرست Google

فهرست Google محتوای دریافتی خود را از Googlebot می گیرد و از آن برای رتبه بندی صفحات استفاده می کند.

اولین قدم برای رتبه بندی توسط گوگل ، بازیابی توسط Googlebot است.

با اطمینان از Googlebot می توانید صفحات خود را ببینید

از آنجا که Googlebot راهی است که گوگل فهرست خود را به روز می کند ، ضروری است که Googlebot بتواند صفحات شما را ببیند.

اولین سؤالات اساسی که یک مدیر وب سایت باید بپرسد این است …

  1. آیا Googlebot می تواند صفحات من را “ببیند”؟
  2. آیا Googlebot می تواند به کلیه مطالب و پیوندهای من دسترسی داشته باشد؟
  3. آیا Googlebot می تواند به تمام منابع صفحه من دسترسی داشته باشد؟

بیایید موشکافانه تر بررسی کنیم:

آیا Googlebot می تواند صفحات من را ببیند؟

googlebot

برای اطلاع از آنچه Google از سایت شما می بیند ، جستجوی Google زیر را انجام دهید …

با قرار دادن واژه “site”: در مقابل نام دامنه خود ، از Google درخواست خواهید کرد صفحاتی را که Google برای سایت شما ایندکس کرده است لیست کند.

نکته: اطمینان حاصل کنید که هنگام انجام این کار هیچ فضا بین “site:” و نام دامنه شما وجود نداشته باشد. مثال زیر در مورد سایت نوآور می باشد:

اگر کمتر از تعداد صفحاتی که انتظار دارید مشاهده کنید ، به احتمال زیاد باید مطمئن شوید که دسترسی به فایل robot.txt را برای Googlebot مسدود نکرده باشید. (در مورد robots.txt در پایین همین صفحه بحث شده است).

آیا Googlebot می تواند به کلیه مطالب و پیوندهای من دسترسی داشته باشد؟

googlebot

قدم بعدی اطمینان از به درستی دیده شدن مطالب و لینکها توسط Google است.

فقط به این دلیل که Googlebot می تواند صفحات شما را ببیند ، به این معنی نیست که گوگل تصویر کاملی از همان صفحات دارد.

googlebot

Google bot همانند انسان ها وب سایت را نمی بیند. در تصویر بالا یک صفحه وب وجود دارد که یک تصویر روی آن قرار دارد. انسانها می توانند تصویر را ببینند ، اما آنچه که Googlebot می بیند ، تنها کدی است که آن تصویر را صدا می کند.

Googlebot ممکن است بتواند به آن صفحه وب (پرونده html) دسترسی پیدا کند ، اما به دلایل مختلف قادر به دسترسی به تصویر یافت شده در آن صفحه وب نیست.

در آن سناریو ، فهرست گوگل آن تصویر را در بر نمی گیرد ، به این معنی که گوگل درک ناقصی از صفحه وب شما دارد.

چگونه Googlebot یک صفحه وب را می بیند؟

Googlebot صفحات وب کامل را نمی بیند ، فقط اجزای فردی آن صفحه را مشاهده می کند.

googlebot

اگر هیچ یک از این مؤلفه ها در دسترس Googlebot نباشند ، آنها را به فهرست Google ارسال نمی کند.

برای استفاده از مثال قبلی ما ، Googlebot در اینجا یک صفحه وب (html و css) را مشاهده می کند اما تصویر را نمی بیند.

googlebot

این مشکل فقط مربوط به تصاویر نیست. المانهای زیادی در یک صفحه وب وجود دارد. برای اینکه Google بتواند صفحات وب شما را بهینه بگیرد ، Google به تصویر کامل نیاز دارد.

حالات بسیاری وجود دارد که در آن ممکن است Googlebot نتواند به محتوای وب دسترسی داشته باشد ، در اینجا چند مورد معمول وجود ذکر شده است:

  • منبعی المان مورد نظر توسط robots.txt مسدود شده است
  • پیوندهای صفحه قابل خواندن یا نادرست می باشند
  • بیش از حد از انمیمیشنهایی با فرمت فلش یا فن آوری دیگری که خزنده وب با آن مشکل دارند استفاده شده است
  • خطاهای HTML یا کد نادرست
  • پیوندهای پویا بیش از حد پیچیده

با استفاده از ابزار دستورالعمل های Google ، بسیاری از این موارد به سرعت قابل بررسی است .

اگر حساب Google دارید از ابزار “واکشی و ارائه” fetch and render موجود در کنسول جستجوی Google استفاده کنید . این ابزار یک مثال زنده از دقیقاً آنچه Google برای یک صفحه جداگانه می بیند ، به شما ارائه می دهد.

آیا Googlebot می تواند به تمام منابع صفحه من دسترسی داشته باشد؟

googlebot

اگر پرونده های CSS و جاوا اسکریپت توسط فایل robots.txt شما مسدود شده باشند ، ممکن است سوء تفاهم های جدی در مورد محتوای صفحه وب شما ایجاد شود (بسیار بدتر از یک تصویر گمشده).

یک صفحه وب ممکن است در نمایش متفاوت باشد ، یا در صورت بارگذاری منابع صفحه ، محتوای متفاوتی داشته باشد.مثلا نحوه نمایش در کامپیوتر و موبایل.

نمونه ای برای نشان دادن این یک صفحه موبایل است که از CSS یا جاوا اسکریپت استفاده می کند تا بسته به دستگاهی که به صفحه نگاه می کند چه چیزی را نشان دهد. اگر Googlebot نتواند به CSS یا Javascript آن صفحه دسترسی داشته باشد ، ممکن است متوجه نشود که این صفحه واکنشگرا است.

در این سناریو و مانند آن ، گوگل صفحه شما را “می بیند” ، و حتی ممکن است آن را درک کند ، اما ممکن است آن را به اندازه کافی درک نکند که می تواند در بسیاری از سناریوهای دیگر از آنچه HTML به تنهایی ارائه می دهد ، رتبه بندی کند.

این مورد نیز می تواند با استفاده از ابزار دستورالعمل های Google بررسی شود .

آیا می توانم Googlebot را کنترل کنم؟

جواب بله است.

Googlebot دستورالعمل های دریافت شده را از طریق استانداردهای robots.txt دنبال می کند و حتی روشهای پیشرفته ای برای کنترل آن خاص Google دارد.

برخی از راه هایی که می توانید Googlebot را کنترل کنید:

  • با استفاده از یک فایل robots.txt
  • شامل دستورالعمل های روبات در فوق داده های صفحه های وب شما
  • از جمله دستورالعمل های روبات در هدرهای خود
  • با استفاده از نقشه های سایت
  • با استفاده از کنسول جستجوی Google

متداول ترین روش استفاده از پرونده robots.txt است.

فایل robots.txt چیست؟

googlebot

فایل robots.txt نحوه کنترل عناصر خزیدن موتور Googlebot را با صفحات وب شما کنترل می کند.

خلاصه اینکه ، یک پرونده robots.txt به Googlebot می گوید با مراجعه به صفحات و پوشه هایی که نمی خواهید Googlebot به آنها دسترسی پیدا کنید چه کاری انجام دهید.

چند منبع از Google وجود دارد که از دستورالعمل های ربات ها صحبت می کنند:

نقشه های سایت و Googlebot

googlebot

نقشه سایت راهی است که می توانید به Googlebot در درک وب سایت خود کمک کنید.

“نقشه سایت فایلی است که می توانید با آن صفحات وب سایت خود را لیست کنید تا به Google و سایر موتورهای جستجو در مورد سازماندهی محتوای سایت خود بگویید. خزنده های وب موتور جستجوگر مانند Googlebot این فایل را می خوانند تا باهوش تر سایت شما را بررسی کنند.”

Google نحوه ساخت نقشه های سایت را در اینجا توضیح می دهد .

Googlebot و کنسول جستجوی Google

googlebot

مکان دیگری که می توانید Googlebot را کنترل کنید کنسول جستجوی Google است.

اگر Googlebot خیلی سریع به سرور وب شما دسترسی پیدا می کند ، می توانید نرخ خزیدن را تغییر دهد .

چند روش خزیدن وب Googlebots / Google وجود دارد؟

googlebot

  • Googlebot (جستجوی وب Google)
  • تلفن هوشمند Google
  • Google Mobile (تلفن ویژه)
  • تصاویر Googlebot
  • Googlebot Video
  • اخبار Googlebot
  • Google Adsense
  • Google Mobile Adsense
  • Google Adsbot (بررسی کیفیت صفحه فرود)

اگر می خواهید جزئیات مربوط به هر یک را بدانید راهنمای خزنده های Google ارائه شده توسط گوگل را بازدید کنید.

جمع بندی

در این مقاله در مورد رباتهای گوگل و نحوه خزیدن در صفحات و سایتها بحث شد و با فایل robots.txt و اهمیت آن آشنا شدید.امیدواریم توانسته باشیم در بیان مبحث موفق عمل کرده باشیم.

[تعداد: 1   میانگین: 5/5]
اطلاعات نویسنده
علی رمضانی
علی رمضانی

برنامه نویس تحت ویندوز و توسعه دهنده وب ( C# , Asp.Net Core , Wordpress)

1 دیدگاه

دیدگاهتان را بنویسید

آخرین مطالب
نرم افزار
تولید نرم افزار
اینجا کلیک کنید
وب سایت
طراحی صفحات وب
اینجا کلیک کنید
موبایل
ساخت اپ موبایل
اینجا کلیک کنید
بات تلگرام
ساخت ربات تلگرام
اینجا کلیک کنید
سئو
سئوی سایت
اینجا کلیک کنید
قبل
بعد
محصولات ویژه