14 دلیل برای ایندکس نشدن سایت از جانب گوگل

به نظرتان گوگل برای ایندکس کردن وب سایت شما مشکل دارد؟ مسائل زیادی در این زمینه مطرح است. در اینجا 14 دلیل ایندکس نشدن سایت و نحوه حل آنها را بررسی خواهیم کرد.

با رفع مشکلات زیر ،گوگل می‌تواند دوباره صفحات سایت شما را ایندکس کند.

1.نام دامنه ندارید

اولین دلیل ایندکس نشدن سایت، نداشتن نام دامنه است. شاید از URL اشتباهی برای محتوا استفاده می‌کنید که به درستی در وردپرس تنظیم نشده است.

اگر این اتفاق برای شما افتاده، راه حل‌های آسانی دارد.

شروع شدن آدرس سایت با «https://XXX.XXX» را بررسی کنید. یعنی شاید شخصی به جای نام دامنه، یک آدرس IP را تایپ کند و به سایت شما هدایت شود.

همچنین، شاید ریدایرکت آدرس IP شما به درستی انجام نشده است.

یکی از راه‌های رفع این مشکل، افزودن ریدایرکت 301 از نسخه‌های WWW صفحات به دامنه مربوطه است. وقتی افراد سعی در جستجوی چیزی مانند نام سایت شما را دارند، می‌خواهیم به نام دامنه فیزیکی شما وارد شوند.

اطمینان از داشتن نام دامنه بسیار مهم است. اگر می‌خواهید در گوگل، رتبه‌بندی شوید و رقابت کنید، نام دامنه را فراموش نکنید. [بخوانید: راهنمای انتخاب نام دامنه برای سایت]

2.سایت شما مناسب موبایل نیست

از آنجایی که گوگل Mobile-First indexing را معرفی کرده، پس داشتن وب سایت ناسازگار با موبایل، در ایندکس نشدن سایت شما توسط گوگل دخیل است.

محتوای وب سایت شما هر چقدر هم عالی باشد، اگر برای مشاهده در گوشی هوشمند یا تبلت بهینه نشود، رتبه و ترافیک را از دست خواهید داد.

بهینه‌سازی موبایلی دشوار نیست. صرفاً افزودن اصول طراحی واکنش‌گرا مانند Fluid Grid و CSS Media Queries می‌تواند به رفع نیاز کاربران کمک کند.

اول از همه، سایت خودتان را از طریق ابزارهای Mobile-Friendly Testing تست کنید.

مطلب پیشنهادی: چک لیست طراحی ریسپانسیو سایت

3.زبان برنامه نویسی شما از نظر گوگل، بسیار پیچیده است

اگر از زبان برنامه نویسی به روشی پیچیده استفاده می‌کنید، گوگل سایت شما را ایندکس نمی‌کند. فرقی نمی‌کند زبان سایت چیست، می‌تواند قدیمی ‌یا حتی به‌روزرسانی شده مانند جاوا اسکریپت باشد. تا زمانی که تنظیمات برنامه نویسی نادرست است و باعث مشکلات خزش و ایندکس نشدن سایت شوند، باید اصلاح شوند.

اگر وب سایت شما استانداردهای ابزارهای Mobile-Friendly Testing را برآورده نکند، آنها منابع زیادی را با دستورالعمل‌هایی در مورد انواع ویژگی‌های طراحی یک صفحه وب واکنش گرا ارائه می‌دهند.

4.بارگیری سایت شما به آهستگی صورت می‌گیرد

سایت‌های کند باعث می‌شوند تا گوگل کمتر آنها را در نتایج برتر فهرست خودش نشان دهد. اگر بارگذاری سایت شما زمان زیادی طول می‌کشد، عوامل مختلفی دخیل است.

شاید محتوای زیادی در صفحه دارید که مرورگر کاربر نمی‌تواند آن را مدیریت کند یا از یک سرور قدیمی ‌با منابع محدود استفاده می‌کنید. در هر صورت، باید برای کاهش زمان لود سایت اقدام کنید.

راه حل‌ها:

• از Google Page Speed ​​Insights استفاده کنید. این ابزار به شما نشان می‌دهد که چه بخش‌هایی از وب‌سایت، نیازمند بهبود سرعت هستند. این ابزار، صفحه وب شما را به پنج روش برتر عملکردی (که برای داشتن سایت‌هایی با سرعت بالای بارگذاری حیاتی هستند) مانند به حداقل رساندن اتصالات، کاهش حجم بار، استفاده از حافظه پنهان مرورگر و غیره تجزیه و تحلیل می‌کند و به شما پیشنهاد می‌دهد که چگونه می‌توانید هر یک از جنبه‌های آن را بهبود ببخشید.
• از ابزاری مانند webpagetest.org استفاده کنید. این ابزار به شما اطلاع می‌دهد که آیا وب سایت شما با سرعت کافی بارگیری می‌شود یا خیر. همچنین امکان دیدن عناصر داخلی و مشکل ساز سایت را با جزئیات به شما می‌دهد.
• دوباره از Google Page Speed Insights استفاده کنید. ببینید کجا می‌توانید زمان بارگذاری سایت را بهبود دهید. به عنوان مثال، شاید بررسی طرح هاستینگ جدید با منابع بیشتر ارزشش را داشته باشد (سرورهای اختصاصی به مراتب بهتر از سرورهای مشترک هستند). یا از سرویس CDN (شبکه تحویل محتوا) استفاده کنید که محتوای ایستا را از حافظه کش در چندین مکان در سراسر جهان ارائه می‌دهد.

در حالت ایده آل، باید مطمئن شوید که سرعت صفحه شما به 70 یا بیشتر برسد. تا حد امکان نزدیک به 100 ایده آل است.

5.سایت شما محتوای خوب محدودی دارد

نوشتن محتوای خوب برای موفقیت در گوگل بسیار مهم است. اگر محتوای شما با سطوح رقبای شما مطابقت ندارد، پس حتی در رسیدن به 50 رتبه برتر هم با مشکلات مهمی ‌روبرو خواهید شد.

طبق تجربه، معمولا محتوایی که کمتر از 1000 کلمه دارد، به خوبی محتوا با بیش از 1000 کلمه، عمل نمی‌کند.

شاید از خودتان بپرسید: ما که شرکت تولید محتوا نیستیم یا آیا تعداد کلمات عامل رتبه بندی هستند؟ نه اینطور نیست. اما، وقتی در مورد رقابت صحبت می‌کنیم، اطمینان از نوشتن محتوای خوب، کلید موفقیت است.

به محتوای سایت خوب و آموزنده نیاز دارید. باید به سؤالات پاسخ دهید، اطلاعات ارائه کنید یا دیدگاهی متفاوت با سایت‌های رقیب اتخاذ کنید.

مطلب پیشنهادی: چگونه سرعت ایندکس شدن سایت را افزایش دهیم؟

اگر این استانداردها را رعایت نکند، گوگل احتمالاً سایت دیگری با محتوای با کیفیت بهتر پیدا خواهد کرد.

اگر ‌سایت شما با وجود پیروی از بهترین روش‌های سئو مانند افزودن کلمات کلیدی مرتبط در سراسر متن، رتبه بالایی در نتایج جستجوی گوگل برای برخی از کلمات کلیدی کسب نمی‌کند، شاید صفحات کم حجم یکی از مشکلات اصلی هستند. باید بیش از 100 کلمه در هر صفحه قرار دهید!

صفحات کم حجم می‌توانند باعث ایندکس نشدن سایت از جانب گوگل شوند، زیرا حاوی محتوای منحصر به فرد زیادی نیستند و در مقایسه با رقبای شما، حداقل سطح کیفی را ندارند.

6.سایت شما کاربرپسند نیست

داشتن یک سایت کاربرپسند و جذاب برای سئوی خوب، بسیار مهم است. اگر بازدیدکنندگان به راحتی محتوای مدنظرشان را بیابند و بدون احساس ناامیدی یا ناراحتی در وب سایت حرکت کنند، گوگل هم رتبه سایت شما را در نتایج جستجو، بالاتر خواهد برد.

گوگل نمی‌خواهد کاربران زمان زیادی را روی صفحه‌ای بگذرانند که بارگیری آن برای همیشه طول می‌کشد، پیمایش گیج‌کننده‌ای دارد یا استفاده از آن به خاطر وجود عوامل حواس‌پرتی‌ بیش از حد در صفحه (مانند تبلیغات در بالای صفحه) بسیار سخت است.

در یک سایت فروشگاهی، اگر در هر دسته بندی، به جای چندین محصول، فقط یک محصول را فهرست کرده‌اید، این کار می‌تواند دلیلی برای عدم رتبه بندی محتوای شما در گوگل باشد! نه تنها باید کلمات کلیدی را در هر پست هدف قرار دهید، بلکه مطمئن شوید که همه پست‌ها یا صفحه‌ها دارای موضوع مرتبط هستند.

آیا مردم دوست دارند وبلاگ شما را به اشتراک بگذارند؟ آیا خوانندگان از محتوای شما شگفت زده می‌شوند؟ اگر نه، پس شاید دلیل ایندکس نشدن سایت همین است.

از وجود همه محصولات لیست شده در هر زیر مجموعه مربوطه اطمینان حاصل کنید تا کاربران بتوانند به راحتی بدون نیاز به پیمایش در سلسله مراتب پیچیده، خرید کنند.

7.لوپ ریدایرکت دارید

لوپ‌های ریدایرکت یکی دیگر از مشکلات رایج در زمینه ایندکس نشدن سایت است. این موارد معمولاً به دلیل یک اشتباه تایپی معمولی ایجاد می‌شوند و با مراحل زیر قابل رفع هستند:

صفحه‌ای که باعث ایجاد لوپ ریدایرکت شده را پیدا کنید. اگر از وردپرس استفاده می‌کنید، منبع HTML یکی از پست‌های خودتان را در این صفحه یا در فایل htaccess. پیدا کنید و به دنبال «Redirect 301» بگردید تا ببینید که از کدام صفحه می‌خواهد ترافیک را هدایت کند. همچنین هر گونه ریدایرکت 302 را اصلاح کنید و مطمئن شوید که روی 301 تنظیم شده است.

از «find» در Windows Explorer (یا Command + F در Mac) استفاده کنید تا تمام فایل‌های حاوی «redirect» را تا زمان پیدا کردن مشکل جستجو کنید.

هرگونه اشتباه تایپی را برطرف کنید تا آدرس URL تکراری به سمت خود نشانی نباشد، سپس از کد ریدایرکت به صورت زیر استفاده کنید:

کدهای وضعیت مانند 404s همیشه در گوگل سرچ کنسول نمایش داده نمی‌شوند. با استفاده از یک خزنده خارجی مانند Screaming Frog، می‌توانید کدهای وضعیت s404 و سایر خطاها را پیدا کنید.

اگر همه چیز خوب به نظر می‌رسد، از گوگل سرچ کنسول در سایت برای خزش مجدد در سایت و ارسال مجدد آن برای ایندکس شدن استفاده کنید. اگر هشدارهای جدیدی ظاهر شد و نیاز به توجه داشت، قبل از اینکه دوباره با Google Search Console بررسی کنید، یک هفته صبر کنید.

مطلب پیشنهادی: راهنمای رفع خطاهای گوگل سرچ کنسول

گوگل هر روز نمی‌تواند ایندکس‌هایش را به روزرسانی کند، اما هر چند ساعت یک بار تلاش می‌کند. یعنی شاید گاهی اوقات محتوای شما حتی با وجود به روزرسانی شدن، بلافاصله نمایش داده نشود. صبور باشید! باید به زودی ایندکس شود.

8.از پلاگین‌هایی استفاده می‌کنید که مانع از خزش Googlebot در سایت شما می‌شود

یکی از این پلاگین‌ها، robots.txt است. اگر فایل robots.txt خودتان را از طریق این پلاگین به صورت noindex تنظیم کنید، Googlebot نمی‌تواند در آن بخزد.

یک فایل robots.txt راه اندازی کنید و موارد زیر را انجام دهید:

در حین تهیه فایل، آن را به صورت عمومی ‌تنظیم کنید تا خزنده‌ها بتوانند بدون محدودیت به آن دسترسی پیدا کنند.

مطمئن شوید که فایل robots.txt شما دارای خطوط زیر نیست:

User-agent: *

Disallow: /

اسلش رو به جلو به این معنی است که فایل robots.txt همه صفحات را از فولدر روت سایت مسدود می‌کند. باید فایل robots.txt شما بیشتر شبیه به این شود:

User-agent: *

Disallow:

خالی بودن خط Disallow، به خزنده‌ها می‌گوید که همه می‌توانند بدون محدودیت در هر صفحه از سایت شما بخزند و ایندکسشان کنند (با فرض اینکه صفحات خاصی به‌ صورت ایندکس نشده فهرست‌بندی علامت‌گذاری شده‌اند).

9.سایت شما از جاوا اسکریپت برای ارائه محتوا استفاده می‌کند

استفاده از جاوا اسکریپت (JS) به خودی خود مسئله پیچیده‌ای نیست که باعث ایندکس نشدن سایت شود. یک قانون واحد وجود ندارد که بگوید جاوا اسکریپت تنها چیزی است که باعث ایجاد مشکل می‌شود. شما باید سایت را بررسی کنید و مشکلات را تشخیص دهید.

جایی که JS با انجام کارهای مبهم از خزیدن جلوگیری می‌کند، مشکل ساز می‌شود.

اگر HTML رندر شده در مقابل HTML خام، دارید و لینکی در HTML خام دارید که در HTML رندر شده نیست، شاید گوگل در آن لینک بخزد و ایندکس نکند. به همین دلیل بررسی مسائل مربوط به HTML رندر شده در مقابل HTML خام، بسیار مهم است.

اگر به دنبال مخفی کردن فایل‌های JS و CSS هستید، این کار را نکنید. گوگل اشاره کرده است که می‌خواهد تمام فایل‌های JS و CSS شما را در هنگام خزش یا کراول ببیند.

گوگل از شما می‌خواهد که تمام JS و CSS را قابل خزش نگه دارید. اگر هر یک از آن فایل‌ها را مسدود کرده‌اید، شاید بخواهید آن‌ها را رفع انسداد کنید و اجازه خزیدن کامل را بدهید تا دید کاملی از سایت را در اختیار گوگل قرار دهید.

مطلب پیشنهادی: چک لیست سئو سایت

10.همه ویژگی‌های دامنه را به گوگل سرچ کنسول اضافه نکردید

اگر بیش از یک نسخه از دامنه خودتان را دارید، به خصوص در شرایطی که آدرس را از //:http  به //:https  تغییر داده اید، باید همه تغییرات دامنه را به گوگل سرچ کنسول اضافه و تأیید کنید.

باید مطمئن شوید که هیچ یک از تغییرات دامنه را در هنگام اضافه کردنشان به GSC از دست نمی‌دهید.

آنها را به GSC اضافه کنید و مالکیت خودتان بر تمام ویژگی‌های دامنه را تأیید کنید تا مطمئن شوید که ویژگی‌های مناسب را دنبال می‌کنید.

این مسأله برای سایت‌های جدیدی که تازه شروع به کار کرده‌اند، چندان مشکل ساز نیست.

11.متاتگ‌های شما روی Noindex، Nofollow تنظیم شده‌اند

گاهی اوقات، به خاطر بدشانسی محض، متا تگ‌ها روی noindex، nofollow تنظیم می‌شوند. به عنوان مثال، شاید سایت شما دارای یک لینک یا صفحه است که توسط خزنده گوگل ایندکس شده و سپس قبل از تغییر به صورت noindex، nofollow در بک اند وب سایت شما، حذف شده است.

در نتیجه، شاید آن صفحه مجددا ایندکس نشود و اگر از پلاگینی برای جلوگیری از خزیدن گوگل در سایت خودتان استفاده می‌کنید، شاید آن صفحه دیگر هرگز ایندکس نشود.

راه حلش ساده است: هر متا تگ حاوی کلمات noindex، nofollow را تغییر دهید و به جایش از index، follow استفاده کنید.

با این حال، اگر هزاران صفحه با این متا تگ‌ها دارید، پس کارتان سخت است. در آخر، عملکرد سایت شما بهبود پیدا خواهد کرد.

12.از نقشه سایت استفاده نمی‌کنید

باید از نقشه سایت (سایت مپ) استفاده کنید!

نقشه سایت لیستی از تمام صفحات سایت شما و یکی از راه‌های پیش روی گوگل برای یافتن محتوای شماست. با کمک این ابزار، اطمینان حاصل می‌شود که هر صفحه توسط گوگل سرچ کنسول خزیده شده و ایندکس می‌شود.

اگر نقشه سایت ندارید، گوگل کور می‌شود! مگر اینکه تمام صفحات شما در حال حاضر ایندکس شده و ترافیک دریافت کنند.

با این حال، توجه به این نکته مهم است که نقشه سایت HTML در گوگل سرچ کنسول منسوخ شده است. امروزه فرمت ترجیحی برای نقشه‌های سایت، نقشه‌های XML هستند.

شما از نقشه سایت استفاده می‌کنید تا به گوگل بگویید که صفحات مهم سایت شما کدامند و می‌خواهید آن را به طور منظم برای خزیدن و ایندکس شدن ارسال کنید.

13.در گذشته توسط گوگل جریمه شده‌اید و هنوز این جریمه را پاکسازی نکرده‌اید

گوگل بارها اعلام کرده که جریمه‌ها می‌توانند وبال گردنتان شوند.

اگر قبلا جریمه (پنالتی) شده‌اید و آن را پاک نکرده‌اید، گوگل سایت شما را ایندکس نمی‌کند.

مسئله این است که راه‌هایی برای جریمه شدن وجود دارد، ولی بسیاری از مردم نمی‌دانند چگونه جریمه شده‌اند یا دیگر نمی‌توانند آن تغییرات را به هر دلیلی اعمال کنند. همچنین برخی فکر می‌کنند که فقط حذف صفحات و قرار دادن محتوای قدیمی ‌در یک سایت جدید، کفایت میکند، ولی اینطور نیست.

اگر جریمه شدید، ایمن ترین مسیر، پاکسازی کامل عمل قبلی است. شما باید محتوای کاملاً جدیدی داشته باشید و دامنه را از ابتدا دوباره بسازید یا یک بازنگری کامل روی محتوا انجام دهید. طبق توضیح گوگل، رفع جریمه به همان اندازه ثبت جریمه، طول می‌کشد.

14.سئوی فنی شما وحشتناک است

انجام صحیح سئوی فنی ارزشمند است؛ چون گوگل و کاربران را به شما علاقمند می‌کند.

بیایید نگاهی به برخی از مشکلات و راه حل‌های رایج سئو فنی بیاندازیم.

مشکل: سایت شما به اعداد Core Web Vitals دسترسی ندارد.

راه حل: سئوی فنی به شما کمک می‌کند تا مشکلات موجود در Core Web Vitals را شناسایی کرده و راهی برای اصلاح این مشکلات در اختیار شما قرار می‌دهد. فقط به حسابرسی استراتژیک اعتماد نکنید. برای کشف برخی از این مسائل ساده تا پیچیده به بررسی کامل فنی سئو نیاز دارید.

مشکل: سایت شما دارای مشکلات خزیدن و ایندکس نشدن است.

راه حل: این مشکلات می‌توانند فوق العاده پیچیده باشند و به یک سئوی فنی عالی برای کشف و رفعشان نیاز دارید. اگر متوجه شدید که کشش (traction) صفر دارید یا هیچ عملکردی در سایت خودتان ندارید، باید این مشکلات را شناسایی کنید.

مشکل: فایل robots.txt سایت شما به نحوی ناخواسته مانع از دسترسی خزنده‌ها به فایل‌های مهم می‎شود.

راه حل: باز هم، سئوی فنی در اینجا شما را نجات می‌دهد. برخی از سایت‌ها آنقدر عمیق هستند که شاید راهی جز حذف سایت و شروع دوباره پیدا نکنید. البته گزینه تخریب هسته‌ای، همیشه بهترین گزینه نیست. اینجاست که به یک متخصص سئوی فنی باتجربه نیاز دارید.

مطلب پیشنهادی: بهترین ابزارهای سئو

در نهایت…

شناسایی مسائل مربوط به ایندکس نشدن سایت نوعی چالش است، اما ارزش حل کردن را دارد.

محتوا، سئوی فنی و لینک‌ها همگی برای تداوم عملکرد سایت شما مهم هستند. اما اگر سایت شما دارای مشکلات ایندکس نشدن است، سایر عناصر سئو هم شما را به نتیجه نمی‌رساند.

فراموش نکنید که هر صفحه از وب سایت خودتان را از نظر کلمات کلیدی مرتبط بهینه کنید! هرچه گوگل بهتر بتواند در سایت شما بخزد، ایندکس و رتبه بندی کند، به نتایج بهتری هم خواهید رسید.

منبع

https://www.searchenginejournal.com/definitive-list-reasons-google-isnt-indexing-site