چرا سرعت ایندکس شدن سایتم انقدر کند است

بودجه کرال چیست؟

بودجه خزیدن تعداد صفحاتی است که گوگل در هر روز در سایت شما می خزد. این عدد روزانه کمی متفاوت است، اما در کل، نسبتاً پایدار است. ممکن است گوگل هر روز شش صفحه را در سایت شما بخزد. ممکن است 5000 صفحه بخزد. حتی ممکن است هر روز 4000000 صفحه بخزد. تعداد صفحاتی که گوگل می خزند، "بودجه" شما به طور کلی بر اساس اندازه سایت شما، "سلامت" سایت شما (چند خطاهایی که گوگل با آن مواجه می شود) و تعداد لینک های سایت شما تعیین می شود. برخی از این عوامل چیزهایی هستند که می توانید بر آنها تأثیر بگذارید. کمی دیگر به آن خواهیم رسید

 
خزنده چگونه کار می کند؟

خزنده ای مانند Googlebot لیستی از URL ها را برای خزیدن در یک سایت دریافت می کند. به طور سیستماتیک از طریق آن لیست می گذرد. گاهی اوقات فایل robots.txt شما را می گیرد تا مطمئن شود که همچنان اجازه دارد هر URL را بخزد و سپس URL ها را به صورت جداگانه می خزد. هنگامی که یک عنکبوت یک URL را خزیده و محتویات آن را تجزیه می کند، URL های جدیدی را که در آن صفحه یافت می شود اضافه می کند که باید دوباره در لیست کارها بخزد.

چندین رویداد می تواند باعث شود Google احساس کند که یک URL باید خزیده شود. ممکن است پیوندهای جدیدی پیدا کرده باشد که به محتوا اشاره می کنند، یا شخصی آن را توییت کرده است، یا ممکن است در نقشه سایت XML به روز شده باشد، و غیره، و غیره... هیچ راهی برای تهیه فهرستی از همه دلایلی وجود ندارد که چرا گوگل یک URL را می خزد. اما وقتی تشخیص داد که باید انجام شود، آن را به لیست کارها اضافه می کند.

چه زمانی بودجه خزیدن یک مشکل است؟

اگر گوگل مجبور است URL های زیادی را در سایت شما بخزد و خزیدن های زیادی را اختصاص داده باشد، بودجه خزیدن مشکلی نیست. اما، فرض کنید سایت شما 250000 صفحه دارد و گوگل هر روز 2500 صفحه را در این سایت خاص می خزند. برخی از آن ها (صفحه اصلی را می پسندد) بیشتر از بقیه می خزند. اگر اقدامی نکنید، ممکن است تا 200 روز طول بکشد تا Google متوجه تغییرات خاصی در صفحات شما شود. بودجه خزیدن اکنون یک مسئله است. از طرف دیگر، اگر روزی 50000 خزیده باشد، اصلاً مشکلی وجود ندارد.

مراحل زیر را دنبال کنید تا متوجه شوید که آیا سایت شما مشکل بودجه خزیدن دارد یا خیر. این فرض را بر این می‌گذارد که سایت شما دارای تعداد نسبتاً کمی URL است که گوگل آن‌ها را می‌خزد اما ایندکس نمی‌کند (مثلاً چون متا noindex اضافه کرده‌اید).

    تعیین کنید که سایت شما چند صفحه دارد. تعداد URL ها در نقشه سایت XML شما ممکن است شروع خوبی باشد. 
    به کنسول جستجوی گوگل بروید.
    به "تنظیمات" -> "آمار خزیدن" بروید و میانگین صفحات خزیده شده در روز را محاسبه کنید.
    تعداد صفحات را بر عدد «میانگین خزیدن در روز» تقسیم کنید.
    اگر به عددی بالاتر از ~ 10 رسیدید، احتمالاً باید بودجه خزیدن خود را بهینه کنید (بنابراین شما 10 برابر بیشتر از صفحاتی که Google روزانه می خزند) دارید. اگر به عددی کمتر از 3 رسیدید می توانید چیز دیگری بخوانید.

گوگل چه URL هایی را خزیده است؟

شما واقعاً باید بدانید که گوگل چه URL هایی را در سایت شما خزیده است. گزارش های سرور سایت شما تنها راه "واقعی" برای دانستن است. برای سایت های بزرگتر می توانید از چیزی مانند Logstash + Kibana استفاده کنید. برای سایت های کوچکتر، بچه های Screaming Frog ابزار SEO Log File Analyzer را منتشر کرده اند.

 
گزارش های سرور خود را دریافت کنید و به آنها نگاه کنید

بسته به نوع میزبانی شما، ممکن است همیشه نتوانید فایل های گزارش خود را بگیرید. با این حال، اگر حتی فکر می کنید که باید روی بهینه سازی بودجه خزیدن کار کنید زیرا سایت شما بزرگ است، باید آنها را دریافت کنید. اگر هاست شما به شما اجازه نمی دهد آنها را دریافت کنید، وقت آن است که هاست را تغییر دهید.

اصلاح بودجه خزیدن سایت شما بسیار شبیه تعمیر ماشین است. شما نمی توانید با نگاه کردن به بیرون آن را برطرف کنید. شما باید آن موتور را باز کنید. نگاه کردن به سیاههها در ابتدا ترسناک خواهد بود. شما به سرعت متوجه خواهید شد که نویز زیادی در لاگ ها وجود دارد. بسیاری از 404 های معمولی را خواهید یافت که فکر می کنید مزخرف هستند. اما شما باید آنها را اصلاح کنید. شما باید از سر و صدا عبور کنید و مطمئن شوید که سایت شما در هزاران 404 قدیمی غرق نشده است.

به خواندن ادامه دهید: نگهداری وب سایت: صفحات خطای 404 را بررسی و رفع کنید »    

 
بودجه خزیدن خود را افزایش دهید

بیایید به مواردی که باعث بهبود تعداد صفحاتی که گوگل می تواند در سایت شما بخزد نگاه کنیم.

 
نگهداری وب سایت: کاهش خطاها

مرحله اول برای خزیدن بیشتر صفحات این است که مطمئن شوید صفحاتی که خزیده می شوند یکی از دو کد بازگشت احتمالی را برمی گردانند: 200 (برای "OK") یا 301 (برای "به جای آن به اینجا بروید"). همه کدهای برگشتی دیگر اوکی نیستند. برای فهمیدن این موضوع، به گزارش های سرور سایت خود نگاه کنید. گوگل آنالیتیکس و اکثر بسته های تحلیلی دیگر فقط صفحاتی را ردیابی می کنند که 200 مورد را ارائه می دهند. بنابراین شما خطاهای زیادی را در سایت خود در آنجا پیدا نخواهید کرد.

هنگامی که گزارش های سرور خود را دریافت کردید، خطاهای رایج را پیدا کرده و رفع کنید. ساده ترین راه این است که همه URL هایی را که 200 یا 301 برگردانده اند را بگیرید و سپس بر اساس تعداد دفعات دسترسی به آنها مرتب کنید. رفع یک خطا ممکن است به این معنی باشد که باید کد را اصلاح کنید. یا ممکن است مجبور شوید URL را به جای دیگری هدایت کنید. اگر می‌دانید چه چیزی باعث خطا شده است، می‌توانید منبع را نیز برطرف کنید.

یکی دیگر از منابع خوب برای یافتن خطاها، کنسول جستجوی گوگل است. برای اطلاعات بیشتر در مورد آن، راهنمای کنسول جستجوی ما را بخوانید. اگر Yoast SEO Premium دارید، می‌توانید به راحتی آنها را با استفاده از مدیر تغییر مسیرها هدایت کنید.

بخش هایی از سایت خود را مسدود کنید

اگر بخش هایی از سایت خود دارید که نیازی به حضور در گوگل ندارند، آنها را با استفاده از robots.txt مسدود کنید. البته این کار را فقط در صورتی انجام دهید که بدانید چه کاری انجام می دهید. یکی از مشکلات رایجی که در سایت‌های تجارت الکترونیک بزرگتر مشاهده می‌کنیم، زمانی است که آنها راه‌های زیادی برای فیلتر کردن محصولات دارند. هر فیلتر ممکن است URL های جدیدی برای Google اضافه کند. در مواردی مانند این، می‌خواهید اطمینان حاصل کنید که به گوگل اجازه می‌دهید تنها یک یا دو مورد از آن فیلترها و نه همه آنها را انتخاب کند.

 
زنجیره های تغییر مسیر را کاهش دهید

وقتی 301 یک URL را تغییر مسیر می دهید، اتفاق عجیبی رخ می دهد. گوگل آن URL جدید را می بیند و آن URL را به لیست کارها اضافه می کند. همیشه آن را بلافاصله دنبال نمی کند. آن را به لیست کارهای خود اضافه می کند و ادامه می دهد. برای مثال، هنگامی که ریدایرکت‌های زنجیره‌ای انجام می‌دهید، زمانی که غیرwww را به www، سپس http را به https هدایت می‌کنید، در همه جا دو تغییر مسیر دارید، بنابراین خزیدن همه چیز بیشتر طول می‌کشد.

 
لینک های بیشتری دریافت کنید

گفتنش آسان است اما انجام آن سخت است. به دست آوردن لینک های بیشتر فقط به خاطر عالی بودن نیست، بلکه باید مطمئن شوید که دیگران می دانند شما عالی هستید. این یک موضوع روابط عمومی خوب و تعامل خوب در رسانه های اجتماعی است. ما به طور گسترده در مورد لینک بیلدینگ نوشته ایم. خواندن این سه پست را پیشنهاد می کنیم:

    ایجاد لینک از دیدگاه سئوی جامع
    لینک بیلدینگ: چه کاری را نباید انجام داد؟
    6 مرحله برای یک استراتژی ساخت لینک موفق

هنگامی که مشکل ایندکس حاد دارید، ابتدا باید به خطاهای خزیدن خود نگاه کنید، بخش هایی از سایت خود را مسدود کنید و زنجیره های تغییر مسیر را برطرف کنید. لینک بیلدینگ روشی بسیار کند برای افزایش بودجه خزیدن شماست. از طرف دیگر، اگر قصد دارید یک سایت بزرگ بسازید، لینک بیلدینگ باید بخشی از فرآیند شما باشد.

در ادامه مطالبی را به شما پیشنهاد میکنم که به

افزایش سرعت ایندکس سایت شما کمک میکند :

معیار های یک محتوای با کیفیت چیست + اموزش

اموزش کامل و بدون نقص لینک سازی داخلی و فواید

چگونه سرعت ایندکس سایت خود را به سادگی بالا ببریم ؟