آموزش بخش Coverage، Sitemap و Index در سرچ کنسول گوگل
فروردین
آموزش بخش indexing در سرچ کنسول گوگل
در این آموزش میخواهیم تمام موارد مربوط به بخش indexing و coverage سرچ کنسول گوگل را بررسی کنیم. من امیر عباس سعدی به عنوان یک کارشناس سئو کنار شما هستم تا تمام موارد این بخش نظیر انواع خطاها، کار با سایت مپ، آموزش قسمت removal و… را به شما آموزش دهم.
آشنایی و آموزش بخش pages
بخش Pages مهمترین قسمت آموزش indexing و حتی میتوان گفت مهمترین قسمت سرچ کنسول است. چرا که تمام اتفاقات روی صفحات و آدرسهای شما در این قسمت نمایش داده میشود و اگر بخش pages مشکل داشته باشد یعنی صفحات شما مشکل دارد و شما هیچوقت در سئو رشد نخواهید کرد پس باقی بخشها مثل performance گزارش و آمار درخوری نخواهند داشت که به شما نمایش دهند.
پس بدون معطلی به سراغ حالتهای مختلف نمایش دیتا در قسمت Pages میرویم.
حالات مختلف نمایش اطلاعات بخش pages
به صورت کلی ما ۳ حالت نمایش در قسمت pages بخش Indexing داریم. همانطور که در تصویر زیر میبینید در این سه حالت ما میتوانیم نحوه نمایش دیتا را فیلتر کنیم که هرکدام را برای شما توضیح میدهم.
All known pages
این قسمت تمام صفحات موجود شما را نشان میدهد چه صفحاتی که توسط گوگل ایندکس شدهاند چه صفحاتی که ایندکس نشدهاند و حتی صفحاتی که دارای خطا و مشکل هستند در اصل این قسمت حکم گزارش و دیتای all را دارد.
All submitted pages
کلیه صفحاتی که شما برای ایندکس به گوگل فرستادهاید در این قسمت مشخص میشود حال میتواند این مورد به صورت دستی بوده باشد یا آدرس آن صفحات را در سایتمپ قرار داده باشید.
Unsubmitted pages only
این مورد برعکس حالت قبلی است و صفحاتی را نشان میدهد که بنا به هردلیلی توسط شما یا نقشه سایت به گوگل ارسال نشدهاند و اصطلاحا از دست شما در رفته یا در برنامه ایندکس شما نیستند.
شاید برای شما مفید باشد: آموزش بخش Experience سرچ کنسول گوگل
وضعیت صفحات در بخش Pages
در حالت کلی صفحات در بخش indexing شامل ۳ حالت میشوند که هر 3 حالت را خدمت شما توضیح میدهم.
صفحات ایندکس شده
در این قسمت که به رنگ سبز نمایش داده میشود تمام صفحاتی را خواهید دید که به درستی توسط گوگل ایندکس شدهاند و هیچ مشکلی ندارند.
صفحات ایندکس نشده
روی نمودار و کنار باکس سبز که ایندکسیها را نشان میداد باکس دیگری وجود دارد به رنگ خاکستری یا طوسی. این مورد نشان دهنده صفحاتی است که ایندکس نشدهاند توجه داشته باشید ایندکس نشدن به معنی مشکلدار بودن نیست شاید بنا به صلاح سایت شما تصمیم گرفتهاید صفحهای را noindex کنید که در این صورت جز موارد خاکستری میشود.
بهبود بخش ظاهر صفحه (Improve page appearance)
این مورد یعنی شما صفحاتی دارید که باید اصلاح شوند یا بهبود پیدا کنند در حالت عادی این مورد به ندرت دیده میشود و حتی گفته میشود از سرچ کنسول جدید حذف شده است. شخصا این مورد را تایید و یا رد نمیکنم.
شاید برای شما مفید باشد: آموزش بخش security و manual actions در سرچ کنسول گوگل
معرفی و شناخت انواع پیغام های بخش Pages
ما در قسمت indexing و بخش Pages پیغام ها و خطاهای مختلفی را میبینیم که گاها نمیدانیم باید با آن چطور رفتار کنیم. در این قسمت مرسومترین و حتی میشود گفت تمام پیغامهایی که شما در این قسمت با آن مواجه میشوید آوردهایم تا در صورت مواجه با آن بدانید باید چکار کنید و چطور آن را برطرف کنید.
Submitted URL Blocked by Robots.txt
همانطور که از پیغامی که در تصویر زیر دور آن خط کشیدهام مشخص است این خطا بخاطر بسته شدن URL مدنظر توسط فایل robots.txt رخ میدهد. وقتی شما مسیر یا آدرس خاصی را در فایل ربات میبندید از گوگل میخواهید که آن URL یا مسیر بعد از آن را خزش نکند و وقتی کراولر صفحه را خزش نکند آن را ایندکس نخواهد کرد در نتیجه شما در سرچ کنسول خود بخش indexing این پیغام را خواهید دید.
شاید برای شما مفید باشد: آموزش بخش Links در سرچ کنسول گوگل
Submitted URL marked noindex
این پیغام هم که در تصویر زیر میبینید مانند پیغام قبلی است ما در حالت عادی برخی صفحات را در فایل ربات میبندیم تا توسط گوگل ایندکس نشوند، صفحاتی مثل سبد خرید، درگاه، پروفایل کاربران و… چراکه این صفحات حریم خصوصی هستند و اصلا سئو یا ایندکس شدن آنها برای ما منفعتی ندارد پس آنها را خودمان در فایل ربات میبندیم. اگر صفحهای دارید که این پیغام روی آن است و شامل مواردی که گفتم نمیشود میتوانید به فایل ربات مراجعه کرده و آن را از فایل ربات حذف کنید.
New Index coverage issue Detected
این پیغام خیلی کلی است و وقتی به آن برخورد کردید باید جزئیات بیشتری را بررسی کنید. اما در حالت کلی حرف این پیغام و خطا این است که گوگل صفحه شما را ایندکس کرده است اما خطا و مشکلاتی در صفحه شما وجود دارد برای بررسی دقیقتر باید آن آدرس را در قسمت URL Inspection وارد و کلید اینتر را بزنید و در صفحه باز شده ببینید علت وجود این خطا چیست. مثلا این خطا میتواند بابت بیکیفیت بودن محتوا یا کپی رایت قسمتی از آن یا دلایل مشابه رخ دهد.
شاید برای شما مفید باشد: آموزش بخش settings سرچ کنسول گوگل
Soft 404
خطای 404 در حالت کلی یعنی صفحه و URL قبلا وجود داشته و توسط گوگل ایندکس شده اما در حال حاضر پاک شده یا در دسترس نیست اما برای soft 404 کمی داستان متفاوت است در تصویر زیر میتوانید این خطا را مشاهده کنید. تعبیر خود گوگل برای این پیغام توضیح زیر است.
A soft 404 occurs when a webserver responds with a 200 OK HTTP response code for a page that doesn’t exist rather than the appropriate 404 Not Found . Soft 404 s can limit a site’s crawl coverage by search engines because these duplicate URLs may be crawled instead of pages with unique content.
اگر این عبارت را بخواهیم ترجمه کنیم یعنی:
خطای “Soft 404” زمانی رخ میدهد که یک سرور وب به جای ارسال کد پاسخ 404 “یافت نشد” برای صفحهای که وجود ندارد، کد 200 OK را ارسال کند. این باعث میشود که موتورهای جستجو به جای صفحات با محتوای منحصر به فرد، این آدرسهای تکراری را خزیده (crawl) کنند. خطاهای “Soft 404” میتوانند پوشش خزیدن سایت توسط موتورهای جستجو را محدود کنند.
خوب وقتی این خطا را دیدیم چه کار باید کنیم؟ چند اقدام وجود دارد که این خطا را به حداقل میرساند:
- صفحه 404 اختصاصی و سفارشی طراحی کنید. در سرویس هایی مثل وردپرس به راحتی میتوان این کار را کرد.
- مطمئن شوید صفحهای که این خطا را دارد از جایی لینک داخلی یا خارجی دریافت نکرده باشد در صورت وجود لینک را حذف کنید.
- از ریدایرکت 301 برای صفحه به صفحه متناظر استفاده کنید.
Submitted URL has crawl issues
این خطا هم یکی از خطاهای خیلی کلی و عمومی سرچ کنسول است که در تصویر زیر میبینید. معمولا وقتی شما درخواست ایندکس صفحهای را میدهید یا آن را در سایت مپ قرار میدهید که توسط گوگل ایندکس شود، گوگل به سراغ آن میآید و اگر حین ایندکس آن دچار مشکل شود این خطا یکی از آن دسته پیغامهایی است که نمایش داده میشود. برای بررسی دقیق این خطا هم باید از URL Inspection همان URL استفاده کنید تا جزئیات بیشتر به شما داده شود.
Submitted URL not found 404
همانطور که در تصویر زیر از بخش Indexing میبینید این خطا بخاطر پیدا نشدن صفحه هنگام ایندکس کردن آن توسط خزنده است، یعنی خزنده به آدرس و URL رسیده است اما آن را نیافته است به علاوه دلایل زیر هم میتواندد باعث بروز این خطا شوند:
- حذف یا جابجایی URL یا محتوای آن
- آدرس اشتباه یا تایپ اشتباه
- مشکلات ریدایرکت
- فایلهای حذف شده یا آسیبدیده
- خطاهای سرور یا دسترسی
اما برای رفع این مشکل ابتدا مطئن شوید URL و محتوای آن به درستی نمایش داده میشود و برای گوگل استاتوس 200 ok دارد. بعد مطمئن شوید اگر از جایی به آن صفحه لینک دادهاید با URL درست این کار را انجام دادهاید و در نهایت اگر صفحه مهم نیست آن را ریدایرکت کنید.
Excluded by noindex tag
این خطا مشابه Submitted URL marked noindex است با این تفاوت که این ارور صفحاتی را نشان میدهد که تگ نوایندکس دارند و در صفحه و تگ head دستور rel نوایندکس گرفتهاند. اما دستور قبلی برای صفحاتی بود که در ربات بسته شده بودند. حتی میتوان گفت این پیغام خطا نیست چراکه ما برحسب نیاز در بسیاری از مواقع صفحات را نوایندکس میکنیم.
Blocked by page removal tool
ما در سرچ کنسول و بخش indexing قسمتی داریم تحت عنوان removal که جلوتر به آن میرسیم و کاملا تحت کنترل ما است. در این قسمت پیغامی که میبینید در اصل خطا نیست و صرفا اعلانی است که به شما میگوید این صفحات در لیست removal شما هستند تا اگر به اشتباه آنها را در لیست قرار دادهاید ببینید و از لیست خارج کنید.
Submitted URL Return Unauthorized request 401
اگر خاطرتان باشد کمی قبلتر گفتیم که ما خودمان صفحاتی را در ربات میبندیم که گوگل آنها را ایندکس نکند. یکی از این صفحات صفحات ورود و ثبتنام است یا بهتر بگویم هر صفحهای که نیازمند لاگین کاربر است. اگر ما این صفحات را نبندیم و خود گوگل به آنها برسد با توجه به نیاز سطح دسترسی لاگین پیغامی که در تصویر زیر میبینید به شما میدهد.
Crawl anomaly
خطای نامعلوم!! زمانی که گوگل در حال کراول صفحه بوده است با خطایی مواجه شده که علت آن مشخص نیست برای بررسی این خطا هم لازم است شما URL را مستقیما در قسمت URL Inspection بزنید و بررسی کنید علت خطا چیست.
Crawled currently not indexed
این پیغام میگوید که گوگل صفحات را کراول کرده است اما هنوز ایندکس نکرده است. وقتی این پیغام را دیدید زمانی را مهلت دهید ممکن است صفحات ایندکس شوند ولی اگر صفحات ایندکس نشدند یعنی محتوای آن از نظر گوگل خیلی قوی نیست یا محتوای آن را بهبود دهید یا آن را به صورت دستی fetch کنید.
Discovered currently not indexed
این نشان میدهد که گوگل صفحات را شناسایی کرده اما نتوانسته است آنها را به خوبی کراول و ایندکس کند. معمولا این خطا زمانی رخ میدهد که در حین یا هنگام شروع کراول سرور شما نتواند به خوبی اطلاعات را در اختیار گوگل قراردهد و اصطلاحا اطلاعات fade شود و برای گوگل در دسترس نباشد. معمولا گوگل در کراول بعدی مجدد به این صفحات سرمیزند و تا آن موقع منتظر بمانید اما اگر باز هم این صفحات ایندکس نشدند باید وضعیت رسپانس سرور را بررسی کنید.
Alternate page with proper canonical tag
اگر شما صفحهای داشته باشید که کپی صفحه دیگر باشد یا اصطلاحا canonical صفحه دیگری را به ارث برده باشد آن صفحه تحت عنوان Alternate شناخته میشود و شما این خطا را خواهید دید. بهتر است آن را به صفحه با canonical اصلی ریدایرکت یا محتوای صفحه را یونیک کنید.
Duplicate without user- selected canonical
در حالت قبلی صفحه تکراری تک canonical صفحه اصلی را به ارث برده بود اما در این حالت گوگل صفحه را تکراری شناسایی کرده است اما تگ کنونیکال صفحه اصلی را پیدا نکرده است. اگر درباره کنونیکال یا کنیبال چیزی نمیدانید بهتر است مقاله کنیبالیزیشن چیست را مطالعه نمایید.
Duplicate non HTML page
صفحات سایت با فرمت HTML شناخته میشوند. این خطا میگوید شما صفحهای دارید مثلا با پسوند pdf که با یک صفحه سایت شما که HTML است محتوای مشابه دارد و تکراری است.
Duplicate, submitted URL not selected as canonical
خطای “Duplicate, submitted URL not selected as canonical” به این معنی است که شما یک URL را از طریق نقشه سایت XML یا بهصورت دستی برای ایندکس به گوگل ارسال کردهاید، اما گوگل آن را بهعنوان URL کنونیکال انتخاب نکرده است. این اتفاق زمانی رخ میدهد که گوگل تشخیص میدهد صفحهای که شما ارسال کردهاید، مشابه صفحه دیگری است و آن صفحه دیگر را بهعنوان URL اصلی یا کنونیکال میشناسد.
Duplicate, google choose different canonical than user
خطای “Duplicate, Google choose different canonical than user” زمانی رخ میدهد که شما برای یک صفحه آدرس کنونیکال (Canonical URL) تعیین کردهاید، اما گوگل صفحه دیگری را به عنوان صفحه کنونیکال شناسایی میکند. این مشکل ممکن است زمانی پیش بیاید که گوگل تشخیص دهد صفحهای که شما به عنوان کنونیکال انتخاب کردهاید، به دلیل تکراری بودن یا محتوای مشابه با صفحه دیگری، مناسب نیست و یک صفحه دیگر را به عنوان کنونیکال انتخاب میکند.
Page removed because of legal complaint
یکی از خطاهای خطرناک گوگل که باید سریعا به آن رسیدگی شود. گوگل در این خطا میگوید شما صفحه یا صفحاتی دارید که ناقض قوانین گوگل است و باید حذف شود در صورت مواجه با این پیغام سریعا صفحه را 410 و حذف کنید.
Page with redirect
اگر شما صفحه یا صفحاتی را ریدایرکت کرده باشید این قسمت به شما اعلام میکند، در اصل این قسمت خطا نیست و یک بخش کاربردی است تا شما مطمئن شوید ریدایرکتهایی که انجام دادهاید به درستی توسط گوگل شناخته شده است. اگر آدرسی در این قسمت قرارگرفته باشد یعنی گوگل ریدایرکت شما را دیده و پذیرفته است.
Redirect error
وقتی هاست شما مشکل داشته باشد و یا ریدایرکتهای تودرتو غیرقابل فهم برای گوگل داشته باشید این خطا نمایش داده میشود برای رفع آن بهتر است یکبار ریدایرکتهای خود را بررسی کنید تا از درست بودن آن مطمئن شوید. ریدایرکت باید تک مرحلهای باشد یعنی یک صفحه به صفحه درستی ریدایرکت شود و تمام نه اینکه یک صفحه به صفحهای ریدایرکت شود که خود آن صفحه ریدایرکت صفحه دیگر باشد.
علاوه بر موارد گفته شده خطاهای دیگری نظیر:
- خطای 500 (Internal Server)
- خطای 502 (Bad Gateway)
- خطای 503 (Service Unavailable)
- خطای 504 (Gateway Timeout)
هم وجود دارند که خطاهای سمت سرور و هاست هستند و در صورت مواجه با آن بهتر است از میزبان خود کمک بگیرید و یا از خدمات سئو یک سئوکار حرفهای بهرهمند شوید.
شناخت و معرفی بخش Videos
اگر سایت شما محتوای ویدئویی داشته باشد این قسمت برای شما در بخش indexing اضافه میشود در غیر این صورت شما این بخش را نخواهید دید. معمولا ویدئوهای این قسمت در اکثر مواقع Not index هستند و با پیغام video isn’t on a watch page نمایش داده میشوند. ملاک گوگل برای ایندکس ویدیو این است که ساختار آن صفحه برای ویدئو تنظیم شده باشد مثل سایت آپارات یا یوتیوب. اگر شما سایتی مثل سایت استاد سئو دارید که ماهیت آن محتوای آموزشی و متنی است اگر ویدئویی در صفحه قرار دهید در اکثر مواقع ایندکس نخواهد شد.
اگر ویدئویی ایندکس نشود یعنی به صورت مستقل از بخش ویدئو گوگل ورودی نمیگیرد اما این به آن معنی نیست که وجود ویدئو شما در این صفحه بیحاصل و بینتیجه است.
آموزش بخش نقشه سایت یا Sitemaps
در گوگل سرچ کنسول، بخش نقشه سایت (Sitemaps) به شما این امکان را میدهد که نقشه سایت خود را به گوگل ارسال کنید و وضعیت ایندکس صفحات سایت خود را بررسی کنید. این ابزار به گوگل کمک میکند تا تمام صفحات سایت شما را بهتر و سریعتر شناسایی و ایندکس کند.
اضافه کردن نقشه سایت
در قسمت بالای صفحه “Add a new sitemap” (افزودن نقشه سایت جدید) را مشاهده خواهید کرد.
در این قسمت، باید URL نقشه سایت خود را وارد کنید. به طور معمول این URL به شکل زیر است:
https://www.yoursite.com/sitemap.xml
(جایگزین کردن “yoursite” با دامنه واقعی سایت شما)
پس از وارد کردن URL، روی “Submit” (ارسال) کلیک کنید.
بررسی وضعیت نقشه سایت
پس از ارسال نقشه سایت، گوگل شروع به پردازش آن میکند و وضعیت نقشه سایت شما را بروزرسانی میکند.
در اینجا اطلاعاتی مانند تعداد صفحات شناسایی شده، مشکلات احتمالی و موفقیتآمیز بودن ارسال نقشه سایت نمایش داده میشود.
- رنگ سبز نشاندهنده این است که نقشه سایت بهدرستی ارسال و ایندکس شده است.
- رنگ قرمز یا زرد نشاندهنده مشکلاتی است که باید بررسی شوند، مانند URLهای اشتباه، خطاهای 404 یا صفحات مسدود شده.
آموزش و نحوه کار با Removals
بخش Removals (حذفها) در گوگل سرچ کنسول به شما این امکان را میدهد که درخواستهای حذف موقت یا دائمی از نتایج جستجوی گوگل ارسال کنید. این ابزار بهویژه زمانی مفید است که شما بخواهید صفحات خاصی را از ایندکس گوگل حذف کنید، مثلاً در مواردی که محتوای حساس یا ناخواسته منتشر شده باشد.
در اینجا نحوه کار با بخش Removals در گوگل سرچ کنسول را توضیح میدهم:
- رفتن به بخش Removals
- در پنل سمت چپ، به قسمت “Removals” بروید. این بخش معمولاً زیر منوی “Index” قرار دارد.
- در این قسمت میتوانید درخواستهای حذف موقت یا دائمی از ایندکس گوگل را ارسال کنید.
- انجام درخواست حذف موقت
اگر میخواهید یک صفحه را بهطور موقت از نتایج جستجوی گوگل حذف کنید، مراحل زیر را دنبال کنید:- کلیک بر روی “New Request” (درخواست جدید):
- در بالای صفحه، دکمه “New Request” را کلیک کنید.
انتخاب نوع حذف: - در این مرحله، شما دو گزینه اصلی برای حذف موقت دارید:
- Temporary Remove URL (حذف موقت URL) که URL را بهطور موقت از نتایج جستجو حذف میکند.
- Remove cached URL (حذف کش شده URL) که نسخه کش شده از صفحه را حذف میکند.
وارد کردن URL: - در کادر مربوطه، URL کامل صفحهای که میخواهید حذف شود را وارد کنید. این URL باید دقیقاً مطابق با آدرس صفحهای باشد که میخواهید از ایندکس گوگل حذف کنید.
ارسال درخواست: - پس از وارد کردن URL، روی “Next” (بعدی) کلیک کنید و سپس درخواست را ارسال کنید.
- پس از ارسال درخواست حذف موقت، گوگل صفحه شما را از نتایج جستجو حذف میکند تا زمانی که خودتان تصمیم به بازگرداندن آن بگیرید یا گوگل مجدداً آن را ایندکس کند.
- انجام درخواست حذف دائمی
حذف دائمی یک صفحه از نتایج جستجوی گوگل کمی پیچیدهتر است و معمولاً زمانی استفاده میشود که شما بهطور دائمی نمیخواهید صفحهای ایندکس شود.برای درخواست حذف دائمی، میتوانید یکی از دو روش زیر را امتحان کنید:- حذف صفحه از سرور (از بین بردن صفحه):
شما میتوانید صفحه را از سرور خود حذف کنید و پس از آن درخواست ارسال کنید تا گوگل آن را از نتایج جستجو حذف کند. - استفاده از تگ noindex:
اگر شما میخواهید صفحهای بهطور دائمی از نتایج جستجو حذف شود، میتوانید از تگ noindex در کد HTML صفحه استفاده کنید تا گوگل آن صفحه را دیگر ایندکس نکند.
- حذف صفحه از سرور (از بین بردن صفحه):
امیدوارم این آموزش برای شما مفید بوده باشد. پیشنهاد میکنم باقی قسمتهای آموزش سرچ کنسول گوگل را ببینید همچنین آموزشهای زیر هم میتواند برای شما مفید باشد.
آموزش بخش performance در گوگل سرچ کنسول
آموزش بخش Enhancements گوگل سرچ کنسول
