گزارش Crawl Stats [جزئیات گزارشها و راه حل خطاها]

گزارش Crawl Stats آماری در مورد تاریخچه کراول وب سایت شما در گوگل را نشان می دهد. به عنوان مثال، درخواستها چه زمانی انجام شده است، پاسخ سرور شما چی بوده و چه مشکلات دسترسی پیش اومده است. .شما می توانید از این گزارش برای تشخیص اینکه آیا گوگل هنگام کراول سایت شما با مشکلات سرویس دهی روبرو میشه استفاده کنید.
البته این گزارش برای کاربران حرفه ای است. پس اگر شما سایتی با کمتر از هزار صفحه دارید، نیازی به استفاده از این گزارش یا نگرانی در مورد این سطح از جزئیات کراولینگ ندارید.
برای دسترسی به این گزارش کافی است بعد از انتخاب پروپرتی مد نظرتون به قسمت Settings آن و بعد Crawl stats بروید.

درباره داده ها

• همه URL های نمایش داده شده و شمارش شده URL های واقعی درخواست شده توسط گوگل هستند. داده های این قسمت برعکس بعضی بخش های دیگه بدون در نظر گرفتن url های کنونیکال هستند.
• اگر یک URL ریدایرکت شده باشد، هر درخواست در زنجیره ریدایرکت (redirect chain) به عنوان یک درخواست جداگانه در نظر گرفته می شود. بنابراین اگر صفحه اول به صفحه دوم ریدایرکت شود، که آن هم به صفحه سوم ریدایرکت شده، زمانی که گوگل صفحه اول رو در خواست کنه، درخواستهای جداگانه ای برای صفحه یک (301/302 بازگشت)، صفحه 2 (301/302 برمی گرداند) و صفحه 3 (امیدوارم 200 برگرداند) را مشاهده خواهید کرد. توجه داشته باشید که فقط صفحات موجود در دامنه فعلی نشان داده می شوند.

• منابع و دامنه:

• همه داده ها محدود به دامنه انتخاب شده فعلی هستند. درخواست های دامنه های دیگر نشان داده نمی شود. این شامل درخواست برای هرگونه منابع صفحه (مانند تصاویر) است که خارج از این پروپرتی میزبانی می شود. بنابراین اگر page.com.com/mypage تصویر شما شامل تصویر google.com/img.png است، درخواست google.com/img.png در گزارش Crawl Stats برای ویژگی example.com نشان داده نمی شود.
• به همین ترتیب، درخواست ها به یک دامنه خواهر و برادر (en.example.com , de.example.com) نشان داده نخواهد شد. بنابراین اگر به گزارش Crawl Stats برای پروپرتی en.example.com نگاه می کنید، درخواست های تصویر در de.example.com نشان داده نمی شوند.
• با این حال، درخواست های بین زیردامنه ها از دامنه اصلی قابل مشاهده است. بنابراین به عنوان مثال، اگر داده هایی برای مثال .com را مشاهده کنید، می توانید تمام درخواست ها را به example.com ، en.example ، de.example.com و سایر دامنه های کودک در هر سطح در زیر example.com مشاهده کنید.
• برعکس ، اگر منابع property شما توسط یک صفحه در دامنه دیگری استفاده شود، ممکن است درخواست های خزنده مرتبط با صفحه میزبان را مشاهده کنید، اما هیچ زمینه ای را نشان نمی دهد که منبع خزیده شود زیرا توسط یک صفحه در دامنه دیگری استفاده می شود (یعنی نمی بینید که تصویر example.com/imageX.png خزیده شده است زیرا در صفحه anotherexample.com/mypage موجود است)

• داده های خزنده شامل پروتکل های HTTP و https ، حتی برای ویژگی های پیشوند URL است . این به این معنی است که گزارش Crawl Stats برای http://example.com شامل درخواست هایی به http://example.com و https://example.com می باشد. با این حال، URLهای نمونه برای ویژگی های پیشوند URL محدود به پروتکل تعریف شده برای ویژگی( http یا https) هستند.

این گزارش ها شامل موارد زیر است:

• کل درخواست های خزیدن (Total crawl requests)
• حجم بارگیری کل (Total download size)
• میانگین زمان پاسخ (Average response time)
• وضعیت میزبان (Host status)
• پاسخ های خزنده (Crawl responses)
• نوع فایل (File type)
• هدف خزیدن (Crawl purpose)
• نوع گوگل بات (Googlebot type)

دامنه ها و زیر دامنه ها

اگر پروپرتی شما در سطح دامنه باشد- example.com ) http://example.com – https://m.example.com ) و شامل دو یا چند دامنه فرزند است مثلا fr.example.com و de. example.com ، می توانید داده هایی را برای والدین مشاهده کنید که شامل همه فرزندان است یا در یک دامنه تک فرزند محدود شده است.
برای دیدن گزارش مربوط به یک فرزند خاص، روی آن فرزند در لیست Hosts در صفحه فرود دامنه والد کلیک کنید. البته فقط 20 دامنه فرزند برتر که در 90 روز گذشته بازدید داشته اند نشان داده می شوند.

URL های نمونه (Example URLs)

برای دیدن لیستی از URL های نمونه می توانید بر روی هر نوع داده گروه بندی شده (پاسخ، نوع فایل، هدف، نوع (Googlebot کلیک کنید.
URL های مثال جامع نیستند، فقط نماینده یک نمونه از داده ها هستند. پس اگر URL موجود در سایت تان را در این لیست پیدا نکردید، به این معنی نیست که ما آن را درخواست نکرده ایم. تعداد نمونه ها را می توان به صورت روزانه وزن گذاری کرد، بنابراین ممکن است متوجه بشید؛ که برخی از درخواست ها، نمونه های بیشتری نسبت به انواع دیگر داشته اند. به مرور زمان این مشکل حل می شود.

کل درخواست های کراول (Total crawl requests)

این شاخص نشان دهنده تعداد کل درخواستهای خزش صادر شده برای URL ها در سایت شما، چه موفقیت آمیز باشند و چه نباشد هست. اگر این منابع در سایت شما هست، نشان دهنده تعداد درخواست ها برای منابعی هست که صفحه استفاده میکند. درخواست ها به منابعی که خارج از سایت شما میزبانی میشوند، محاسبه نمی شود. درخواست های تکراری برای یک URL به صورت جداگانه شمرده می شوند. اگر پرونده robots.txt شما به اندازه کافی در دسترس نیست ، فچ های (Fetch) محاسبه می شوند.

درخواست های ناموفق که شمارش می شوند شامل موارد زیر است:

• فچ هایی که هرگز انجام نشده اند، زیرا فایل robots.txt به اندازه کافی در دسترس نبوده است.
• فچ هایی که به دلیل مشکلات وضوح DNS انجام نشد.
• فچ هایی که به دلیل مشکلات اتصال سرور از کار افتادند.
• فچ هایی به دلیل redirect loops رها شده اند.

حجم بارگیری کل (Total download size)

نشان دهنده تعداد کل بایت های دانلود شده از سایت شما در کراولینگ، در مدت زمان مشخص شده . اگر گوگل منبعی از صفحه را که توسط چندین صفحه استفاده می شود، پیدا کند، این منبع فقط بار اول درخواست می شود (هنگامی که پیدا می شود).

میانگین زمان پاسخ (Average response time)

میانگین زمان پاسخگویی برای تمام منابعی که از سایت شما در بازه زمانی مشخص شده واکشی (Fecth) می شوند. هر منبع مرتبط با یک صفحه به عنوان یک پاسخ جداگانه حساب می شود.

وضعیت هاست (Host status)

وضعیت هاست مشخص میکند که آیا گوگل هنگام تلاش برای کراول سایت شما با مشکل در دسترس بودن روبرو شده است یا خیر. وضعیت می تواند یکی از مقادیر زیر باشد:

گوگل در 90 روز گذشته با مشکل قابل توجهی در مورد کراول(crawl) در سایت شما روبرو نشده است – کار خوب! اینجا کار دیگری نیست.

گوگل در 90 روز گذشته حداقل با یک مورد قابل توجه در دسترس بودن کراول (crawl) در سایت شما روبرو شده است، اما این مسئله بیش از یک هفته پیش رخ داده است. این خطا ممکن است یک مسئله گذرا باشد یا این مسئله حل شده باشد. شما باید طبق حالت های مختلف کدهای پاسخ متوجه شوید، چه مشکلی وجود دارد و در مورد اینکه آیا لازم است اقدامی انجام دهید تصمیم بگیرید.

گوگل در هفته گذشته در سایت شما با حداقل یک مورد قابل توجه در دسترس بودن کراول (crawl) مواجه شده است. از آنجا که خطا اخیراً رخ داده است، باید سعی کنید این مسئله را تکرار کنید یا خیر. طبق حالتهای مختلف کدهای پاسخ بررسی کنید، چه مشکلی وجود دارد و در مورد اینکه آیا لازم است اقدامی انجام دهید تصمیم بگیرید.

جزئیات وضعیت هاست

وضعیت در دسترس بودن هاست در دسته های زیر ارزیابی می شود. یک خطای قابل توجه در هر دسته می تواند منجر به کاهش وضعیت در دسترس بودن شود .برای دریافت جزئیات بیشتر بر روی یک دسته در گزارش کلیک کنید.
برای هر دسته، نمودار داده های کراولینگ برای دوره زمانی تعیین شده را مشاهده خواهید کرد. نمودار دارای یک خط نقطه چین قرمز است. اگر متریک بالای خط نقطه چین برای این دسته بود (به عنوان مثال، اگر وضوح DNS بیش از 5٪ درخواست ها را در یک روز خاص انجام ندهد) این مسئله برای همان دسته در نظر گرفته می شود و status نشان دهنده آخرین وضعیت از آخرین مشکل پیش آمده است.

• robots.txt fetching
نمودار نشان دهنده نرخ شکست تعداد رکوئستهای فایل robots.txt در طول یک کراولینگ است. گوگل مکررا به این فایل ربات رکوئست می فرستد، و اگر این رکوئست از یک فایل یک معتبر (چه شلوغ چه خالی) برنگردد یا حالت 404 (نبود فایل ربات) رخ دهد، گوگل کراولینگ را آهسته یا متوقف میکند تا زمانی که بتواند یک پاسخ قابل قبول دریافت کند.

• وضوح DNS
نمودار زمانی را نشان می دهد که DNS سرور شما نام هاست تان را تشخیص ندهد یا هنگام کراولینگ به آن پاسخ ندهد. اگر خطاهایی مشاهده کردید، با شرکت میزبانی هاست تان تماس بگیرید تا مطمئن شوید سایت شما به درستی راه اندازی شده و سرور شما به اینترنت متصل است.

• اتصال سرور
نمودار زمانی را نشان می دهد که سرور شما پاسخی نداده یا در زمان کراولینگ پاسخ کاملی برای یک URL ارائه نداده است.

پاسخ های خزنده (Crawl responses)

در این جدول پاسخهایی که گوگل هنگام کراولینگ سایت شما گرفته است، براساس نوع پاسخ، گروه بندی شده اند، به عنوان درصدی از کل پاسخهای کراولینگ. داده ها براساس تعداد کل درخواست هاست نه URL ، بنابراین اگر گوگل دو بار URL را درخواست کند و اولین بار خطای سرور (500) و بار دوم OK (200) دریافت کند ، پاسخ 50٪ خطای سرور و 50٪ خوب است.

در اینجا چند کد پاسخ متداول و نحوه مدیریت آنها آورده شده است:

کدهای پاسخ خوب

این صفحات خوب هستند و مشکلی ایجاد نمی کنند.

• تأیید (200) : در شرایط عادی، اکثریت قریب به اتفاق پاسخ ها باید 200 پاسخ باشد.
• ریدایرکت دائمی  (301) : صفحه شما پاسخ HTTP 301 (منتقل شده برای همیشه) را برمی گرداند، که احتمالاً همان چیزی است که شما می خواستید.
• ریدایرکت موقتی (302) : صفحه شما پاسخ HTTP 302 (به طور موقت منتقل شده) را برمی گرداند، که احتمالاً همان چیزی است که شما می خواستید. اگر این صفحه برای همیشه منتقل شده است ، آن را به 301 تغییر دهید.
• منتقل شده (دیگر):  پاسخ تغییر مسیر دیگری (نه 301 یا 302).
• اصلاح نشده (304):   صفحه از آخرین درخواست خزیدن تغییر نکرده است.

کدهای پاسخ مناسب

این پاسخ ها ممکن است خوب باشند، اما شما می توانید مطمئن شوید که این همان چیزی است که شما در نظر داشتید.

• مسدود شده توسط robots.txt : این معمولاً همانطور که شما تنظیم کردید کار می کند. با این حال، ممکن است بخواهید اطمینان حاصل کنید که هیچ صفحه یا منابعی را که می خواهید توسط گوگل کروال شود مسدود نمی کنید.
• خطاهای یافت نشده (404) : ممکن است به دلیل خرابی لینک های درون یا خارج سایت شما باشد. برطرف کردن همه خطاهای 404 در سایت شما امکان پذیر، ارزشمند و یا حتی مطلوب نیست و اغلب 404 کار صحیحی برای بازگشت است (به عنوان مثال ، اگر صفحه بدون جایگزینی واقعاً از بین رفته باشد)

کدهای پاسخ بد

شما باید صفحات بازگشت دهنده این خطاها را اصلاح کنید تا خزیدن خود را بهبود ببخشید.

• robots.txt در دسترس نیست : اگر پرونده robots.txt شما به مدت یک روز در دسترس نباشد، گوگل کراولینگ را برای مدتی متوقف می کند تا زمانی که بتواند از درخواست دادن robots.txtپاسخ قابل قبولی دریافت کند .این با پیغام قابل قبول فایل robots.txt Not found (404) یکی نیست.
• غیرمجاز (401/407): یا باید کراول این صفحات توسط robots.txt را مسدود کنید، یا در مورد بلاک آنها تصمیم بگیرید .اگر این صفحات داده محرمانه ندارند و می خواهید آنها را کراول کنید، ممکن است فکر کنید که می توانید اطلاعات را به صفحات غیر محرمانه منتقل کنید یا به Googlebot اجازه ورود بدون لاگین بدهید. (هشدار داده شده است که می توان Googlebot را جعل کرد، بنابراین ورود اجازه ورود به گوگل بات امنیت صفحه را از بین می برد.)
• خطای سرور (5XX) : این خطاها باعث هشدارهای در دسترس بودن (availability warnings) می شوند و در صورت امکان باید رفع شوند. نمودار کوچک بند انگشتی تقریباً زمان وقوع این خطاها را نشان می دهد. برای دیدن جزئیات بیشتر و زمان دقیق روی آن کلیک کنید. خطاها را بررسی کنید و تصمیم بگیرید که آیا این موارد گذرا بودند یا خطاهای در دسترس بودن عمیق تری در سایت شما وجود دارد. اگر گوگل بیش از حد از سایت شما کراول می کند ، می توانید نرخ کراولینگ کمتری را درخواست کنید. اگر این خطا مسئله جدی در مورد دسترسی سایت شماست، با مطالعه در مورد خطاهای سرور و خوشه های کرولینگ (crawling spikes) میتوانید آنها را رفع کنید.
• یک خطای کاربر دیگر (4XX): خطای 4XX (سمت مشتری) دیگری که در اینجا مشخص نشده است. بهترین راه حل برای حل این مشکلات است.
• DNS پاسخ نمی دهد: DNS سرور  شما به درخواست های URL در سایت شما پاسخ نمی داد.
• یک خطای DNS خطای دیگر: DNS مشخص نشده
• خطای واکشی(Fetch error) : به دلیل شماره پورت نامناسب، آدرس IP یا پاسخ غیرقابل قبول، صفحه قابل واکشی (Fetch) نیست.
• دسترسی به صفحه امکان پذیر نیست: هرگونه خطای دیگر در بازیابی صفحه، جایی که درخواست هرگز به سرور نرسیده است . از آنجا که این درخواست ها هرگز به سرور نرسیده اند، این درخواست ها در گزارش های شما ظاهر نمی شوند.
• مهلت زمانی صفحه (Page timeout) : زمان درخواست صفحه به پایان رسیده است.
• خطای ریدایرکت (Redirect error) :خطای درخواست ریدایرکت، مانند ریدایرکتهای بیش از حد، ریدایرکت خالی، یا ریدایرکت دایره ای.
• خطای دیگر (Other error): خطای دیگری که در هیچ یک از دسته های بالا نمی گنجد.

نوع فایل (File type)

نوع فایل با درخواست برگشت داده شده است. مقدار درصد نشان داده شده برای هر کدام درصد پاسخ های آن نوع است، نه درصد بایت های بازیابی شده از آن نوع.

مقادیر احتمالی:

• HTML
• تصویر
• ویدئو – یکی از قالب های ویدیویی پشتیبانی شده .
• جاوا اسکریپت
• CSS
• PDF
• XML دیگر – یک فایل XML شامل RSS ، KML یا هر قالب دیگر ساخته شده در بالای XML نیست.
• JSON
• سندیکا – خوراک RSS یا Atom
• صوتی
• داده های جغرافیایی – KML یا سایر داده های جغرافیایی.
• فایل نوع دیگر – هرنوع فایل دیگری که در اینجا مشخص نشده است.
• ناشناخته (ناموفق) – اگر درخواست ناموفق باشد، نوع پرونده مشخص نیست.

هدف کراول (Crawl purpose)

کشف (Discovery): درخواستی برای URL ای که قبلاً توسط گوگل خزیده نشده بود.
تازه کردن (Refresh): بازیابی مجدد یک صفحه شناخته شده.

اگر زود به زود صفحاتی را تغییر می دهید که اغلب سریعا بازکراول نمی شوند، مطمئن شوید که آن صفحات در نقشه سایت(sitemap) گنجانده شده اند .برای صفحاتی که با سرعت کمتری به روز می شوند، ممکن است لازم باشد به طور خاص درخواست کراول مجدد کنید. اگر اخیراً محتوای جدید زیادی اضافه کرده اید، یا نقشه سایت را معرفی کرده اید، در حالت ایده آل باید یک تاخیر در کراول سایت خود پیدا کنید.

نوع گوگل بات (Googlebot type)

نوع نماینده کاربری (user agent) ای که برای ایجاد درخواست کراول استفاده شده است. گوگل تعدادی یوزر ایجنت دارد که هر کدام برای هدف خاصی کراول انجام میدهند. انواع آنها در زیر آمده است.

• ربات گوگل تلفن هوشمند: (Googlebot smartphone)
• ربات گوگل دسک تاپ: (Googlebot desktop)
• ربات گوگل تصاویر: (Googlebot image) البته اگر تصویر به عنوان منبع صفحه بارگیری شود، نوع گوگل بات بعنوان Page resource load شناخته میشود نه تصویر!
• ربات گوگل ویدئو: (Googlebot video) البته اگر ویدئو به عنوان منبع صفحه بارگیری شود، نوع گوگل بات بعنوان Page resource load شناخته میشود نه ویدئو!
• بارگذاری منابع صفحه(Page resource load): واکشی ثانویه(secondary fetch) برای منابعی که صفحه شما از آنها استفاده می کند .وقتی گوگل صفحه را کراول می کند، اول منابع مهملینک شده مانند تصاویر یا فایل های CSS را واکشی(Fetch) می کند تا صفحه قبل از تلاش برای ایندکس آن رندر شود. این عامل کاربری است که این درخواست های منابع را انجام می دهد.

• ربات ادز گوگل(AdsBot): اگر در نموداراین رکوئستها برجستگی (قله) میبینید، احتمالاً اخیراً تعدادی هدف جدید برای تبلیغات جستجوی پویا در سایت خود ایجاد کرده اید AdsBot .هر 2 هفته یکبار URL ها را می خزد.
• ربات گوگل محصولات: (StoreBot)
• نوع عامل دیگر : خزنده گوگل دیگری که در اینجا مشخص نشده است.

بیشتر درخواستهای کراول شما باید از خزنده اصلی شما باشد. اگر در نمودار فراز و فرود دارید، نوع گوگل بات را بررسی کنید.

عیب یابی

میزان کراول بسیار زیاد است

گوگل بات الگوریتم هایی دارد که مانع از بارگیری بیش از حد سایت شما در هنگام خزیدن می شود. با این حال اگر به دلایلی نیاز به کاهش میزان خزیدن دارید، از این لینک نحوه انجام این کار را در اینجا بیاموزید .
چند نکته برای کاهش میزان خزیدن:

•  فایل robots.txt خود را خوب تنظیم کنید تا صفحاتی را که نباید فراخوانی شوند مسدود کنید.
•  می توانید حداکثر میزان خزیدن مورد نظر خود را در سرچ کنسول به عنوان یک راه حل کوتاه مدت تنظیم کنید. ما این راه را برای استفاده طولانی مدت توصیه نمی کنیم، زیرا به شما اجازه نمی دهد تنظیم کنید کدام صفحات یا منابعی را می خواهید خزیده شوند و کدام را نمیخواهید.
• مطمئن شوید که اجازه خزیدن به صفحات با نتایج “بی نهایت” را ندارید، مانند یک تقویم بی نهایت یا صفحه جستجوی بی نهایت. آنها را با برچسب های robots.txt یا nofollow مسدود کنید .
• اگر یک URL دیگر وجود ندارند یا ریدایرکت شده، حتماً کدهای پاسخ صحیح را بازگردانید: از 404 یا 410 برای URL هایی که دیگر وجود ندارند یا معتبر نیستند استفاده کنید و از 301 تغییر مسیر برای URL هایی استفاده کنید که برای همیشه ریدایرکت شده اند (و اگر دائمی نباشد 302) . از 503 برای توقف موقت برنامه ریزی شده استفاده کنید.اطمینان حاصل کنید که سرور شما هنگام مشاهده مواردی که نمی تواند از عهده آن برآید، خطای 500 را برمی گرداند.

اگر سایت شما بیش از حد شلوغ است و شما نیاز به کاهش اضطراری دارید، علت افزایش سرعت خزیدن شما ممکن است از موارد زیر باشد:

چرا نرخ کراول سایتم زیاده؟

اگر دسته ای از اطلاعات جدید قرار دهید یا اطلاعات بسیار مفیدی در سایت خود داشته باشید، ممکن است کمی بیشتر از آنچه می خواهید خزیده شوید. مثلا:

• بخش بزرگی از سایت خود را برای کراولینگ آنبلاک کرده اید
• شما بخش بزرگی را به سایت خود را اضافه کردید
• با افزودن فیدهای صفحه جدید یا قوانین URL_Equals تعداد زیادی هدف جدید برای تبلیغات جستجوی پویا اضافه کردید

اگر سایت شما آنقدر زیاد کراول می شود که دچار مشکلات دسترسی شده است، از یکی از روش های زیر برای محافظت آن استفاده کنید:
1. مشخص کنید کدام گوگل بات بیش از حد سایت شما را کراول می کند. به گزارش های وب سایت خود نگاه کنید یا از گزارش Crawl Stats استفاده کنید.

2. راه حل فوری:

•  اگر یک راه حل ساده می خواهید، داخل robots.txt همان رباتی از گوگل که باعث آورکراول می شود را بلاک کنید. البته اثر این روش ممکن است یک روز طول بکشد.
•  اگر می توانید افزایش بار را به صورت پویا تشخیص داده و به آن پاسخ دهید، هنگامی که به حداکثر میزان مجاز خدمت خود نزدیک می شوید، HTTP 5XX / 429 را برگردانید. مطمئن باشید که 5XX یا 429 را بیش از دو یا سه روز بر نمی گردانید، این به گوگل سیگنال میده که: در طولانی مدت سایت شما را کمتر کراول کند.

3. اگر این گزینه برای شما فعال است، میزان خزیدن را با استفاده از صفحه Crawl Rate Settings تغییر دهید .
4. دو یا سه روز بعد، هنگامی که نرخ کراول گوگل سازگار شد، می توانید بلاک های robots.txt خود را حذف کنید و یا بازگشت کدهای خطا را از مرحله 1 متوقف کنید.
5. اگر شما تحت فشارهای خزنده AdsBot قرار گرفته اید، احتمالا به دلیل این است که اهداف بسیار زیادی را برای تبلیغات جستجوی پویا در سایت خود با استفاده از URL_Equals یا صفحه های فوری ایجاد کرده اید. اگر ظرفیت سرورتان برای مدیریت این خزنده ها کم است، باید اهداف تبلیغات خود را محدود کنید، یا URL ها را به صورت دسته های کوچک اضافه کنید یا ظرفیت ارائه خدمات خود را افزایش دهید. توجه داشته باشید که AdsBot هر 2 هفته یکبار صفحات شما را جستجو می کند، بنابراین شما باید این مشکل را برطرف کنید در غیر این صورت دوباره تکرار می شود.
6. توجه داشته باشید که اگر میزان کراول را با استفاده از صفحه تنظیمات خزنده محدود کرده باشید، پس از 90 روز میزان کراول به تنظیم خودکار باز می گردد.

چرا نرخ کراول سایتم کمه؟

نمی توانید به گوگل بگویید که میزان کراول را افزایش دهد (مگر اینکه صریحاً آن را برای property خود کاهش دهید). با این حال، می توانید در مورد چگونگی مدیریت کراول برای وب سایت های بسیار بزرگ یا به روزرسانی شده بیشتر بدانید.
برای وب سایت های کوچک یا متوسط ، اگر متوجه شدید که گوگل در همه سایت های شما خزنده نشده است ، نقشه سایت وب سایت خود را به روز کنید و مطمئن شوید که هیچ صفحه ای را مسدود نمی کنید.

چرا سرعت کراول سایت من کم است؟

به طور کلی، میزان کراول گوگل شما باید در طول یک یا دو هفته نسبتاً ثابت باشد. اگر یک افت ناگهانی مشاهده کردید، در اینجا چند دلیل ممکن وجود دارد:

• شما یک قانون جدید (یا بسیار بزرگ) در robots.txt اضافه کردید. اطمینان حاصل کنید که فقط منابع مورد نیاز خود را مسدود می کنید. اگر گوگل برای درک مطلب به منابع خاصی مانند CSS یا JavaScript نیاز دارد، مطمئن شوید که آنها را برای گوگل بات مسدود نمی کنید.
• HTML شکسته یا محتوای پشتیبانی نشده در صفحات شما: اگر گوگل بات نتواند محتوای صفحه را تجزیه کند، شاید به این دلیل است که از نوع رسانه پشتیبانی نشده استفاده می کنید یا محتوای صفحه فقط تصاویر است، نمی تواند آنها را کراول کند. از ابزار بازرسی URL برای دیدن نحوه مشاهده گوگل بات صفحه شما استفاده کنید.
•  اگر سایت شما به کندی به درخواست ها پاسخ می دهد ، گوگل بات برای جلوگیری از بارگذاری بیش از حد سرور، درخواست های خود را پس میگیرد. گزارش Crawl Stats را بررسی کنید تا ببینید سایت شما با سرعت کمتری پاسخ داده است.
•  اگر میزان خطای سرور شما افزایش یابد، گوگل بات برای جلوگیری از بار بیش از حد سرور، درخواست های خود را پس می گیرد.
•  اطمینان حاصل کنید که در تنظیمات سرچ کنسول حداکثر میزان خزیدن مورد نظر خود را کاهش نداده اید.
• اگر سایتی شامل محتوایی است که کمتر تغییر می کند یا از کیفیت بالایی برخوردار نیست، ممکن است گوگل مکررا آن را کروال نکند. نگاهی صادقانه به سایت خود داشته باشید، از افرادی که با سایت شما مرتبط نیستند بازخورد بی طرفانه بگیرید و به چگونگی بهبود کلی سایت خود فکر کنید.

این مقاله ترجمه فارسی مقاله ای در این منبع است