دادههای سئو نشان میدهند که نرخ ایندکس شدن گوگل در حال بهترشدن است
تحقیقات جدیدی که بر روی بیش از ۱۶ میلیون صفحه وب انجام شده است، نشان میدهد که نرخ ایندکس شدن گوگل بهبود یافته، اما بسیاری از صفحات در این مجموعه داده هرگز ایندکس نشدهاند و بیش از ۲۰٪ از صفحات در نهایت دی ایندکس شدهاند. این یافتهها ممکن است نشاندهنده روندها و چالشهایی باشند که مختص سایتهایی است که نگران سئو و ایندکس شدن صفحات خود هستند.
Data suggests Google is indexing more pages, but if they aren’t indexed within six months, it’s probably not going to happen
ترجمه: دادهها نشان میدهند که گوگل صفحات بیشتری را ایندکس میکند، اما اگر یک صفحه در عرض شش ماه ایندکس نشود، احتمالاً هرگز ایندکس نخواهد شد.
منبع: SEJ
تحقیق با ابزار IndexCheckr
IndexCheckr یک ابزار ردیابی ایندکس گوگل است که به مشترکین خود امکان میدهد از زمان ایندکس شدن محتوا مطلع شوند، صفحات ایندکسشده را رصد کنند و وضعیت ایندکس صفحات خارجی که به وبسایتهای آنها بکلینک دادهاند را بررسی کنند. این تحقیق ممکن است بهطور آماری با روندهای کلی ایندکس شدن در اینترنت همبستگی نداشته باشد، اما ممکن است ارتباط نزدیکی با سایتهایی داشته باشد که صاحبان آنها به قدری نگران ایندکس شدن و نظارت بر بکلینکها هستند که به مشترکین این ابزار های رصد کننده بپیوندند.
دربارهی ایندکس شدن
در ایندکس وب، موتورهای جستجو اینترنت را به اصطلاح می خزند( Web Crawlers )، محتوا را فیلتر میکنند (مانند حذف صفحات تکراری یا کمکیفیت) و صفحات باقیمانده را در یک پایگاه داده ساختاریافته به نام ایندکس جستجو ذخیره میکنند. این ایندکس جستجو روی یک سیستم فایل توزیعشده ذخیره میشود. گوگل در ابتدا از Google File System (GFS) استفاده میکرد اما بعدها آن را به Colossus ارتقا داد که برای مدیریت مقادیر عظیمی از دادههای جستجو در هزاران سرور بهینه شده است.
نرخ موفقیت ایندکس شدن
تحقیقات نشان میدهد که بیشتر صفحات این مجموعه داده ایندکس نشدهاند، اما نرخ ایندکس شدن از سال ۲۰۲۲ تا ۲۰۲۵ بهبود یافته است.
- بیشتر صفحات این مجموعه داده ایندکس نشدهاند (۶۱.۹۴٪)
- نرخ ایندکس شدن از سال ۲۰۲۲ تا ۲۰۲۵ بهبود یافته است.
- گوگل بیشتر صفحاتی را که ایندکس میکند، در عرض ۶ ماه ایندکس میکند (۹۳.۲٪).
روندهای دیایندکس شدن و نرخ دی ایندکس
یکی از جالب ترین بخش های این تحقیق، سرعت بالای گوگل در دیایندکس کردن صفحات است. از میان تمامی صفحاتی که ایندکس شدهاند، ۱۳.۷٪ آنها در عرض سه ماه پس از ایندکس شدن، دی ایندکس میشوند. نرخ کلی دیایندکس شدن ۲۱.۲۹٪ است. یک نگاه خوشبینانه به این دادهها این است که ۷۸.۷۱٪ از صفحات ایندکسشده همچنان در نتایج گوگل باقی میمانند.
دیایندکس شدن معمولاً به عوامل و استاندارد های کیفیتی گوگل مرتبط است، اما ممکن است نشاندهندهی اقداماتی از سوی ناشران وبسایتها و کارشناسان سئو باشد که عمداً از طریق دستور Noindex (مانند متا تگ Robots) درخواست حذف صفحات از ایندکس را دادهاند.
نسبت تجمعی دی ایندکس شدن بر اساس زمان:
- ۱.۹۷٪ از صفحات ایندکسشده در ۷ روز اول دی ایندکس میشوند.
- ۷.۹۷٪ در ۳۰ روز اول دی ایندکس میشوند.
- ۱۳.۷۰٪ در ۹۰ روز اول دی ایندکس میشوند.
- ۲۱.۲۹٪ پس از ۹۰ روز دی ایندکس شدهاند.
تحقیقات جدید پیشنهاد میکنند:
«این بازهی زمانی نشاندهندهی اهمیت نظارت اولیه و بهینهسازی برای جلوگیری از دیایندکس شدن است. پس از سه ماه، خطر دیایندکس شدن کاهش مییابد، اما همچنان ادامه دارد، بنابراین ممیزیهای دورهای برای حفظ ماندگاری محتوا در نتایج جستجو ضروری است.»
تأثیر سرویسهای ایندکسینگ
بخش بعدی تحقیق به بررسی میزان موفقیت ابزارهای ایندکسینگ و میزان بالا بردن نرخ ایندکس پرداخته است. نتایج نشان میدهند که نرخ موفقیت URLهایی که به این ابزارها ارسال شدهاند، تنها ۲۹.۳۷٪ است. یعنی ۷۰.۶۳٪ از صفحاتی که به ابزارهای ایندکسینگ ارسال شدهاند، همچنان ایندکس نشدهاند که این موضوع نسبتا محدودیتهای روشهای ارسال دستی صفحات به گوگل را نشان می دهد.
درصد بالای صفحات ایندکسنشده
- کمتر از ۱٪ از وبسایتهای ردیابیشده بهطور کامل ایندکس نشدهاند.
- بیشتر URLهای ایندکسنشده متعلق به سایتهایی هستند که بهطور کلی ایندکس شدهاند.
- ۳۷.۰۸٪ از کل صفحات ردیابیشده، بهطور کامل ایندکس شدهاند.
این اعداد ممکن است منعکسکننده وضعیت کلی اینترنت نباشند، زیرا دادهها فقط از سایتهایی جمعآوری شدهاند که مشترک یک ابزار ایندکسینگ هستند. این مسئله باعث میشود که دادههای اندازهگیری شده با وضعیت واقعی کل اینترنت متفاوت باشد.
نرخ ایندکس شدن گوگل از ۲۰۲۲ تاکنون بهبود یافته است
با وجود برخی آمارهای نگرانکننده، یک نکتهی مثبت این است که از سال ۲۰۲۲ تا ۲۰۲۵، نرخ ایندکس شدن گوگل بهطور پیوسته افزایش یافته است. این موضوع نشان میدهد که توانایی گوگل در پردازش و ایندکس کردن صفحات بهبود یافته است.
طبق گزارش IndexCheckr:
«دادههای ۲۰۲۲ تا ۲۰۲۵ نشاندهندهی افزایش مداوم در نرخ ایندکس شدن گوگل هستند، که نشان میدهد این موتور جستجو ممکن است پس از چالشهای قبلی، در حال بهبود باشد.»
خلاصهی یافتهها
دیایندکس شدن کامل یک وبسایت، در این مجموعه داده نادر است. سرعت و نرخ ایندکس شدن توسط گوگل متغیر است و بیش از نیمی از صفحات در این مجموعه داده برای ایندکس شدن مشکل دارند. این مسئله ممکن است با کیفیت سایتها مرتبط باشد.
چه نوع مشکلات کیفیتی میتوانند بر ایندکس شدن تأثیر بگذارند؟ برخی از دلایل احتمالی شامل این موارد هستند که صفحات محصول در سایتهای فروشگاهی که دارای محتوای کمکیفیت و صرفاً برای رباتهای گوگل تولید شدهاند. سایتهای فروشگاهی که برای رتبه گرفتن در نتایج جستجو، محتوای غیرضروری و مصنوعی اضافه میکنند، ممکن است با مشکل ایندکس شدن یا رتبهبندی مواجه شوند.
الگوریتم گوگل برای نتایج جستجوی ارگانیک (SERPs) در حوزهی فروشگاهی، به شدت دقیقتر شده است.چنین نتایج جستجویی (SERPs) زمانی که از دیدگاه سئو بررسی میشوند، منطقی به نظر نمیرسند، زیرا استراتژیهایی که بر اساس ارائه موجودیتها، کلمات کلیدی و نقشههای موضوعی به رباتهای جستجو بنا شدهاند، معمولاً منجر به وبسایتهایی میشوند که صرفاً برای موتورهای جستجو طراحی شدهاند.
این موضوع تأثیری بر عوامل رتبهبندی واقعی که به نحوه تعامل کاربران با محتوا مرتبط هستند، نخواهد داشت.