موارد مطرح شده در این آموزش

اگر گوگل وب سایت شما را index نکند، گویا وجود ندارید و در جستجوها نمایش داده نمیشوید. در این مقاله روش های index شدن سایتتون را در گوگل برای شما آموزش میدهیم و اینکه چطور مشکل index نشدن سایتتون را بر طرف کنید و جز رتبه های برتر گوگل باشید.ممکنه یکی از مشکلات زیر برای هر یک از ما ایجاد بشه. پس همراه ما باشید.

کل وب سایت شما index نشده است.
برخی از صفحات شما index می شوند، اما برخی دیگر اینگونه نیستند.
صفحات وب تازه منتشر شده شما به اندازه کافی سریع ایندکس نمی شوند.

crawling (خزیدن) و indexing (ایندکس کردن) چیست؟

گوگل با crawl یا خزیدن در وب صفحات، صفحات جدید را پیدا کرده و آنها را به فهرست خود اضافه میکند.اینکار توسط عنکبوت های گوگل Googlebot انجام میشه.

اول شما باید با اصلاحات زیر آشنا باشید.

crawling: پیمودن وب برای کشف محتوای جدید

indexing:ذخیره هر صفحه وب در یک پایگاه داده گسترده

Web spider: قطعه ای از نرم افزار خزش در صفحات

Googlebot: عنکبوت وب گوگل

وقتی چیزی را در گوگل جستجو می کنید، از گوگل می خواهید که همه صفحات مربوط به موضوع را به شما نمایش دهد. از آنجا که میلیون ها صفحه متناسب با هر موضوع وجود دارد، الگوریتم رتبه بندی Google با رتبه بندی صفحات تلاش میکند مرتبط ترین آنها را به شما نشان دهد.

نکته:ایندکس یعنی شما در مسابقه شرکت داده شده اید و رتبه بندی یعنی آیا شما برنده مسابقه بوده اید؟ بدون حضور در مسابقه نمیتوانید برنده باشید.

چطور بفهمم در گوگل index شده ام یا نه؟

برای بررسی ایندکس سایت در گوگل به Google بروید، سپس سایت را جستجو کنید: yourwebsite.com

تعداد نشان داده شده تعداد صفحات ایندکس شده شما در گوگل است و اگر صفحه index نشده باشد، هیچ نتیجه ای نشان داده نمی شود.

اگه هم کاربر سرچ کنسول گوگل باشید از مسیر زیر به راحتی می توانید از آدرس زیر تعداد صفحه های معتبر و غیر معتبر سایت خودتان را مشاهده کنید.

Google Search Console > Index > Coverage

یکی از مهم ترین ابزار های کسانی که سایتی را اداره میکننند استفاده از سرچ کنسول گوگل است. سایت خود در سرچ کنسول گوگل وارد کنید.

همینطور می توانید از Search Console برای بررسی ایندکس شدن صفحه خاصی استفاده کنید. آدرس صفحه را وارد کرده و چنانچه با پیغام سبز زیر مواجه شدید این صفحه در گوگل ایندکس شده است.

اگر صفحه ایندکس نشده باشد، عبارت “URL is not on Google” را مشاهده خواهید کرد.

روش های index سایت در گوگل

اگر از یکی از راه های بالا متوجه شدیم که وب سایت ما ایندکس نشده چکار کنیم؟یکی از بهترین راه حل های اینه که وقتی در حال اضافه کردن یک مطلب یا پست جدید به سایت خودتون هستید دایما سیکل زیر را بررسی کنید.

به سرچ کنسول گوگل بروید.
به ابزار بازرسی URL بروید.
URL را که می خواهید گوگل آن را ایندکس کند، در نوار جستجو قرار دهید.
صبر کنید تا گوگل URL را بررسی کند.
روی دکمه “indexing request” کلیک کنید.

به این صورت شما دایما به گوگل اطلاع میدهید که پست جدیدی را منتشر کرده اید.

اگر پستی را قبلا قرار داده باشیم وindex نشده باشد چکارکنیم؟

بلوک های crawler را در فایلtxt خود حذف کنید.
برچسب های noindex را بردارید.
صفحه را در نقشه سایت خود قرار دهید.
پیوندهای داخلی nofollow را برطرف کنید.
پیوندهای داخلی “قدرتمند” اضافه کنید.
اطمینان حاصل کنید که صفحه ارزشمند و منحصر به فرد است.
صفحات با کیفیت پایین را حدف کنید
بک لینک با کیفیت بالا بسازید

1) بلوک های crawler را در فایل robots.txt خود حذف کنید.

آیا گوگل کل وب سایت شما را ایندکس نمی کند؟ اولین علت می تواند به دلیل crawl block در فایل robots.txt باشد.

برای بررسی این موضوع، به yourdomain.com/robots.txt بروید.

به دنبال هر یک از این دو قطعه کد زیر باشید.هر دوی این موارد به Googlebot می گویند که اجازه جستجوی هیچ صفحه ای در سایت شما را ندارند.این کد ها را پاک کنید.

ممکن است این اتفاق تنها در یک صفحه خاص اتفاق افتد پس آدرس سایت را در ابزار بازرسی URL در Google Search Console جایگذاری کنید. برای نشان دادن جزئیات بیشتر، روی بلوک Coverage کلیک کنید، سپس به دنبال ارور “Crawl allowed? No: blocked by robots.txt” بگردید.

در این صورت، فایل robots.txt خود را مجدداً بررسی کنید تا هرگونه قانون “disallow” مربوط به صفحه یا زیرمجموعه مربوطه را بررسی کنید.

2) برچسب های noindex را بردارید.

گاهی ما خودمان از گوگل می خواهیم صفحات ما را بررسی نکند. این تنظیمات را برای ایندکس شدن سایت باید تغییر دهید.

روش 1: برچسب متا

صفحات دارای هر یک از این برچسب های متا در بخش <head> توسط Google ایندکس نمی شوند:

<meta name=“robots” content=“noindex”>
<meta name=“googlebot” content=“noindex”>

برای یافتن همه صفحات دارای برچسب متنی noindex در سایت خود، با Ahrefs ’Site Audit یک crawl را اجرا کنید. به گزارش indexing بروید. به دنبال هشدارهای “page Noindex” باشید.

کلیه صفحات خود را بررسی کنید و متا برچسب noindex را از هر صفحه ای که متعلق به آن نیست حذف کنید.برای کسب اطلاعات بیشتر راجب برچسب ها و متا می توانید به مقاله رنک مث (عناوین ومتا)مراجعه کنید.

روش 2: برچسب X ‑ Robots

خزنده های وب به عنوان پاسخ X ‑ Robots-Tag HTTP احترام می گذارند. می توانید این کار را با استفاده از زبان برنامه نویسی سمت سرور مانند PHP یا در پرونده .htaccess یا با تغییر در پیکربندی سرور خود پیاده سازی کنید.

ابزار بازرسی URL در Search Console به شما می گوید که آیا گوگل به دلیل این سرصفحه از خزیدن صفحه مسدود شده است. فقط URL خود را وارد کنید، سپس به دنبال “Indexing allowed? No: ‘noindex’ detected in ‘X‑Robots-Tag’ http header” باشید.

اگر می خواهید این مشکل را در سراسر سایت خود بررسی کنید، در ابزار حسابرسی سایت Ahrefs یک crawler اجرا کنید، سپس از فیلتر “Robots information in HTTP header” در صفحه اکسپلورر استفاده کنید:

همواره این عنوان را ازصفحاتی که می خواهید ایندکس شوند ،حذف کنید.

3) صفحه را در نقشه سایت خود قرار دهید.

یک نقشه سایت به گوگل می گوید کدام صفحات در سایت شما مهم هستند و کدام یک از این موارد مهم نیستند. به علاوه به گوگل راهنمایی می کند صفحات نقشه سایت شما را در صورت بروزرسانی مجددا پیمایش کند.

برای بررسی اینکه آیا صفحه ای در نقشه سایت شما قرار دارد یا خیر، از ابزار بازرسی URL در سرچ کنسول استفاده کنید. اگر خطای “URL is not on Google” و “Sitemap: N / A” را مشاهده کردید، آن صفحه در نقشه سایت شما وجود ندارد یا ایندکس نشده است.

اگر می خواهید تمام صفحاتی را که قابل خزش و قابل ایندکس شدن در نقشه سایت شما نیستند، پیدا کنید، یک crawler را در حسابرسی سایت Ahrefs اجرا کنید. به صفحه Explorer بروید و این فیلترها را اعمال کنید:

این صفحات باید در نقشه سایت شما باشد، بنابراین آنها را اضافه کنید. پس از پایان کار، به Google اطلاع دهید که با پینگ این URL طبق زیر نقشه سایت خود را به روز کرده اید.

http://www.google.com/ping؟sitemap=http://yourwebsite.com/sitemap_url.xml

دقت کنید شما باید بجای yourwebsite آدرس سایت خود را وارد کنید.سپس تصویری مطابق زیر خواهید دید.

برای تنظیمات راحت تر در این زمینه هم چنین می توانید به مقاله آموزش رنک مث(تنظیمات نقشه سایت) مراجعه کنید.

4) برچسب های canonical را بردارید.

یک برچسب کنونیکال به گوگل می گوید که نسخه برگزیده یک صفحه است. و کدی مقابل زیر برای آن صفحه وجو دارد.

اکثر صفحات یا فاقد برچسب canonical هستند، یا اگر برچسب canonical دارند به گوگل می گویند آن صفحه نسخه برگزیده و احتمالاً تنها نسخه است.یعنی در واقع با قرار دادن این برچسب شما به گوگل اعلام میکنید که میخواهدی این نسخه ایندکس شود.

اما چنانچه این برچشب را قرار دادید اما صفحه ایندکس نشد آن را بردارد.

5) بررسی کنید که صفحه orphan یا یتیم نباشد.

گوگل به صفحات بدون لینک داخلی واژه orphan یایتیم را اطلاق میکند.و مطمئنن چون که Google با crawl در وب محتوای جدید را کشف می کند، بنابراین نمی تواند صفحات orphan را از طریق این روند کشف کند. بازدیدکنندگان وب سایت نیز نمی توانند آنها را پیدا کنند.

برای بررسی صفحات یتیم، سایت خود را با حسابرسی سایت Ahrefs جستجو کنید. در مرحله بعد، گزارش پیوندها را برای خطاهای “صفحه یتیم (فاقد پیوند داخلی است)” بررسی کنید:

این همه صفحاتی را نشان می دهد که هم ایندکس می شوند و هم در نقشه سایت شما وجود دارند، اما هیچ پیوند داخلی به آنها وجود ندارد.

راه ساده تر چنانچه از افزونه های مانند رنک مث استفاده کنید کلیه این صفحات بدون لینک های داخلی برای شما نمایش داده خواهد شد.و می توانید به آنها لینک داخلی اضافه کنید.

6) پیوندهای داخلی nofollow را برطرف کنید.

پیوندهای نوفالو پیوندهایی با برچسب rel = “nofollow” هستند. آنها از انتقال PageRank به URL مقصد جلوگیری می کنند. Google همچنین پیوندهای nofollow را crawl نمی کند.

به طور خلاصه، برای ایندکس سایت در گوگل باید اطمینان حاصل کنید که تمام لینک های داخلی به صفحه های قابل ایندکس شدن دنبال می شوند.

برای این کار، از ابزار Ahrefs ’Site Audit برای جستجوی سایت خود استفاده کنید. گزارش پیوندها را برای صفحات قابل ایندکس شدن با خطاهای “Page has nofollow incoming internal links only” بررسی کنید.

با فرض اینکه می خواهید Google صفحه را ایندکس کند، برچسب nofollow را از این پیوندهای داخلی حذف کنید. در غیر این صورت، یا صفحه را حذف کنید یا آن را noindex کنید.

7) پیوندهای داخلی اضافه کنید.

گوگل با جستجوی وب سایت محتوای جدید را پیمایش می کند. پس چنانچه ، اگر می خواهید Google هرچه سریع تر صفحه شما را ایندکس کند،این کار را برای یکی از صفحات قدرتمندخود انجام دهید.

برای انجام این کار، به Explorer سایت Ahrefs بروید، دامنه خود را وارد کنید، سپس از گزارش بهترین پیوندها بازدید کنید.صفحات وب سایت شما ار بر اساس اعتبار رتبه بندی می کند.

نکته حرفه ای

صفحه ای را که پیوند داخلی را از آن اضافه کرده اید، در ابزار بازرسی URL Google جایگذاری کنید. دکمه ” Request indexing” را بزنید تا به Google اطلاع دهید که چیزی در صفحه تغییر کرده است و آنها باید در اسرع وقت دوباره آن را بازیابی کنند. اینکار روند کشف پیوند داخلی و ایندکس صفحه شما را سریع تر میکند.

8) مطمئن شوید که صفحه ارزشمند و منحصر به فرد است.

برای ایندکس سایت در گوگل ، لازم است صفحه شما “عالی و الهام بخش” باشد. پس همواره محتوی خود را به روز و عالی نگه دارید.

9) حذف صفحات با کیفیت پایین (برای بهینه سازی “crawl budget“)

وجود بیش از حد زیاد صفحات بی کیفیت در وب سایت شما فقط باعث هدر رفتن crawl budget می شود.همواره به یاد داشته باشید که کیفیت از کمیت مهم تر است آنچنان که حتی تعداد بالا و بی کیفیت محتوی باعث میشود گوگل شما را در رتبه بندی خود نشان ندهد.اگر چه

Google اعلام کرده است که crawl budget موضوعی نیست که نگران آن باشید و “اگر سایتی کمتر از چند هزار URL داشته باشد، بیشتر اوقات به طور کارآمد crawl می شود”.

10) بک لینک با کیفیت بالا بسازید.

بک لینک ها به گوگل می گویند که یک صفحه وب مهم است. اگر کسی در حال پیوند دادن به آن است، پس باید ارزش داشته باشد.

البته صفحات ایندکس شده زیادی وجود دارد که بدون بک لینک هستند. با این حال، Google صفحات دارای پیوندهای با کیفیت را که از اهمیت بیشتری برخوردار اند، به احتمال زیاد سریع تر از آنهایی که فاقد آن هستند، crawl می کند. که منجر به سریع تر ایندکس شدن می شود.

پس از ایندکس شدن و ورود شما به مسابقه اینجاست که سئو ، به معنای هنر بهینه سازی صفحات وب مطرح میشود. البته نکته حائز اهمیت این است اگر چنانچه مشکل ایندکس نشدن وب سایت شما مشکل فنی نباشد با آشنایی در زمینه سئو و افزونه های آن به راحتی می توانید با یک تیر دو نشان بزنید یعنی مطمینا صفحات دارای سئو خوب بدون وجود ایراد فنی در گوگل ایندکس خواهند شد.

به همین علت است که گروه طراحی آوین همواره قالب زنبیل را برای وب سایت شما پیشنهاد میکند زیرا می توانید با خیال راحت از ایندکس حرفه ای صفحات خودتون بدون نگرانی و اعمال این گونه تنظیمات، سایتی با سئو خوب در گوگل داشته باشید.

برای آشنایی با سایر اصول اولیه راه اندازی فروشگاه های اینترنتی به دسته مقالات فروشگاه آنلاین مراجعه کنید.

و برای آشنایی با ابزار های سئو به دسته مقالات سئو مراجعه کنید.

5/5 - (2 امتیاز)

چراسایتم در گوگل index نمیشه؟