چگونگی ایندکس محتوا در گوگل (با قوانین جدید)

ایندکس محتوا توسط گوگل، امکان یافتن وب سایت شما را برای افرادی که آن را به صورت آنلاین جستجو می‌کنند فراهم می‌نماید. با مطالعه این مقاله، در می‌یابیم که چگونه محتوای خود را در گوگل ایندکس کنیم.

شما می‌توانید چندین کار برای گوگل انجام دهید تا خزیدن و ایندکس کردن وب سایت تان را بسیار سریعتر انجام دهد. این تنها راه موفقیت در تلاش‌های بازاریابی دیجیتال است. از این رو، درک مفهوم ایندکس کردن و خزیدن(Crawling)، قبل از انجام هر کاری بسیار اهمیت دارد.

مفهوم ایندکس کردن و خزیدن

به فرایند ارسال نرم افزار تخصصی گوگل (عنکبوت، خزنده یا ربات گوگل)، جهت دستیابی به داده‌های در هم و بر هم و نابسامان از وب سایت های موجود و جدید توسط گوگل، خزیدن گفته می‌شود. این مسئله، می تواند مبنایی برای هر فردی که تمایل دارد، درباره نحوه ایندکس محتوا توسط گوگل بداند، باشد.

گوگل از این داده ها برای آگاهی یافتن از وب سایت شما و صفحات موجود در آن استفاده می‌کند. این اطلاعات به موتور جستجو کمک می‌کند، تا عبارات و کلمات کلیدی خاصی را به صفحات خزنده اختصاص دهد. سپس آنها را در لیستی ذخیره می‌کند که ما آن را ایندکس می‌گوییم و از این رو اصطلاح ایندکس کردن به وجود می‌آید.

مفاهیم ایندکس و خزیدن در دنیای سئو و آموختن آن نیز بسیار مهم است. زیرا تحلیل های گوگل برای سئوی محتوا و در کل برای سئوی سایت بسیار کمک کننده است. لینک های سایت توسط خزنده با همان عنکبوت  مورد بررسی قرار می گیرد و صفحات ارزشمندتر سایت شما به وسیله گوگل ایندکس می شوند.

به همین دلیل، وقتی که یک کاربر سؤالی را در قسمت کوئری(پرس و جو) وارد می‌کند، گوگل لیست تمام وب سایت های ایندکس شده را سریعاً اسکن می‌کند. البته، فقط صفحات مرتبط و مناسب را در صفحات نتایج موتور جستجو (SERPs) نمایش می دهد. حالا که با اصطلاح ایندکس گوگل آشنا شدید، کمی جلوتر می رویم تا ببینیم که چگونه بعد از تولید محتوا، محتوای خود را در گوگل ایندکس کنیم.

1. بهبود بخشیدن ساختار لینک داخلی

آنچه که باید در مورد آن مطمئن شوید این است که تمام صفحات وب سایت شما با یکدیگر پیوند دارند یا خیر. اگر گوگل صفحه اصلی(homepage) شما را ایندکس می کند، و هدفتان این است که تمام صفحات دیگر را نیز پیدا کند و ایندکس نماید، باید آنها به هم پیوسته باشند.

بهترین روشی که برای ساختار لینک داخلی توصیه می شود، لینک دادن به صفحات فعلی در قسمت هایی از محتوای جدید می باشد. با این کار، خزنده های وب، صفحات جدید شما را هنگام حرکت از یک لینک به لینک دیگر، به سرعت کشف می کنند.

علاوه بر این، توصیه می‌گردد که لینک های با کیفیت بالا، به طور مساوی در سراسر صفحاتی که بیشترین اهمیت را در وب سایت شما دارند، پخش شوند. در غیر اینصورت، ممکن است، با یک صفحه اصلی مواجه گردید که برای موتورهای جستجو بسیار ارزشمند است، در حالی که سایر صفحات وب سایت شما، با عنوان بی‌کیفیت، برچسب گذاری می‌شود. درک ساختار لینک، بهترین نقطه شروع برای فهمیدن چگونگی ایندکس محتوا توسط گوگل است. 

2. بدست آوردن لینک های ورودی

تعداد زیاد لینک های ورودی با کیفیت بالا، بهgooglebot کمک می کند تا سایت شما را سریعتر بیابد. وقتی گوگل از طریق لینک های آنلاین، شروع به اسکن می کند، می تواند وب سایت های جدیدی را شناسایی نماید. بنابراین، وقتی صفحات بیشتری را به صفحه جدیدی لینک دهید، احتمال پیدا کردن آن توسط گوگل افزایش می یابد. هدف اصلی شما باید ساخت لینک های مرتبط و طبیعی، از سوی وب سایت های مشهور و معتبری مانند Forbes و CNN باشد. این کار، افزایش سرعت ایندکس سایت در گوگل را به دنبال دارد.

علاوه بر این، انتشار پاسخ هایی در وب سایت های معروف پرسش و پاسخ مانند Quora نیز، می تواند به شما در ایجاد لینک و جذب ترافیک بیشتر کمک کند. ترفند دیگر، نظر دادن(کامنت گذاشتن) با لینک تان در انجمن ها و وبلاگ های Dofollow است که به کاربران اجازه می دهد تا از link juice (دریافت بک لینک برای افزایش اعتبار سایت) عبور کنند.

شما می توانید برای به دست آوردن وبلاگ های مفید، از رشته های جستجوی مختلف استفاده کنید. با این وجود، استراتژی ایجاد لینک را بیش از حد انجام ندهید و به خاطر داشته باشید که مهمترین عامل در این زمینه، کیفیت لینک های شما است. داشتن لینک های ورودی کم اما با کیفیت بالا، بهتر است. تعداد زیاد لینک های ضعیف و بی کیفیت، می تواند به تلاش های شما جهت ایندکس محتوا آسیب برساند. 

3. ارسال پست های وبلاگ به سایت های Reddit و Digg

با انتشار پست های وبلاگی که، محتوای جدید شما را در وب سایت های اجتماعی که مخاطبان زیادی دارند مانند Reddit و Digg پیوند می دهد، سبب افزایش سرعت ایندکس سایت در گوگل شوید.

Googlebot تمایل دارد، در چنین وب سایت هایی، از طریق URL، خیلی سریعتر عمل ردیابی و اسکن را انجام دهد. با این وجود، این کار ممکن است یکی دو روزی زمان ببرد. 

4. انتشار مرتب مطالب جدید

مناسب ترین روزها و زمان ها را، برای انتشار مطالب جدید در وب سایت خود انتخاب کنید و به این برنامه خود پایبند باشید. وقتی به طور فعال و منظم، محتوای جدیدی را به وب سایت خود اضافه می‌کنید، ربات های خزنده گوگل را جذب کرده و در آنها، انگیزه جهت بازگشت و اسکن مجدد سایت تان را ایجاد خواهید کرد.

بنابراین، هنگامی که وب سایت خود را مرتباً به روز می کنید، گوگل دلایل کافی برای بازگشت و جستجوی دوباره آن را دارد. مهمترین نکته این است که مطمئن شوید، محتوایتان از نظر خوانندگان بسیار ارزشمند است تا موتور جستجو، صفحات شما را با کیفیت پایین برچسب گذاری نکند. 

5. ایجاد پیمایش مناسب برای وب سایت خود

شما می توانید با تنظیم صحیح پیمایش(Navigation) وب سایت خود، بر سرعت ایندکس محتوای آن تأثیر مثبت بگذارید. این عامل، هم برای ایندکس کردن وب، هم برای خزیدن و هم تجربه کاربر بسیار اهمیت دارد.

برای اینکه به این هدف دست پیدا کنید، باید تلاش زیادی در جهت بهبود ساختار لینک و منوی ناوبری خود انجام دهید. برای مقالات مرتبط، بخشی را اضافه کنید، که مستقیم و سرراست باشد. مطمئن شوید که هم ربات و هم انسان می توانند، با خیالی آسوده، وب سایت شما را درک کنند.

6. تعامل با رسانه های اجتماعی 

یکی از بهترین روش ها، برای افزایش سرعت ایندکس سایت در گوگل، استفاده مناسب از شبکه های اجتماعی است. قبل از راه اندازی وب سایت خود، باید پروفایل خود را در سیستم عامل های مختلف رسانه های اجتماعی مانند LinkedIn ، Twitter و Facebook ایجاد کنید.

اگر هنوز این کار را انجام نداده اید، نگران نباشید زیرا هیچ وقت برای این کار دیر نیست. بدست آوردن تعامل بالا در قالب پسندیدن(لایک ها) و ریتوییت(ارسال مجدد توییت) برای وضعیت رتبه بندی وب سایت شما در موتور جستجو، بسیار مهم است.

پس از آماده شدن پروفایل شبکه های اجتماعی، لینک را به سایت خود در بخش اطلاعات حساب اضافه کنید و سپس از طریق پست های خود در شبکه های اجتماعی، شروع به لینک دادن به صفحات جدید وب کنید. 

علاوه بر این، به طور منظم و فعال در دسترس باشید، و به تنظیم همه پلتفرم های شبکه اجتماعی خود از جمله، مکالمات جذاب، به روزرسانی مرتب و ارسال اخبار مرتبط بپردازید. همانطوری که در وب سایت خود هیاهوی اجتماعی بیشتری ایجاد می کنید، ایندکس محتوای وب سایت شما سریعتر صورت می گیرد. بنابراین، شبکه های اجتماعی می تواند، پاسخی برای هر فردی باشد که می خواهد درباره چگونگی ایندکس محتوا توسط گوگل بداند.

7. حداکثر استفاده از کنسول جستجوی گوگل

این مورد، یکی از بهترین روش ها برای افزایش سرعت ایندکس سایت در گوگل است. در گذشته از آن به عنوان ابزار گوگل وبمستر (Google Webmaster Tools) یاد می شد. شما می توانید همه آمار مربوط به خزیدن را از طریق این سرویس وب مشاهده کنید. همچنین می توانید اطلاعات اضافی مربوط به ایندکس کردن، مانند تعداد URL هایی را که گوگل ایندکس می کند، مدت زمان لازم برای این کار و بسیاری موارد دیگر را مشاهده کنید.

اولین کاری که باید در این زمینه انجام دهید این است که سایت خود را در کنسول جستجوی گوگل با ایجاد اطلاعات مناسب تأیید کنید. قبلاً، شما فقط می توانستید فرم را پر کنید. این فرم آدرس اینترنتی مورد نظر شما (URL) را نشان می داد، اما گوگل تصمیم گرفت این گزینه را حذف کند. پس از انتشار محتوای جدید، به داشبورد کنسول جستجوی گوگل بروید و سپس بر روی دکمه بازرسی URL کلیک کنید. همچنین می توانید URLی را که تمایل دارید ایندکس شود، مستقیماً در قسمت جستجو وارد کنید.

صفحه بعدی به شما این امکان را می دهد که آیا می خواهید URL خود را ایندکس کنید یا خیر. حتی اگر اینگونه نیز باشد، شما می خواهید خزنده ها این تمرین را تکرار کنند، زیرا در وب سایت خود محتوای جدیدی دارید که ایندکس نشده است.

گوگل برای تعیین اینکه آیا می تواند URL شما را ایندکس کند یا خیر، تستی انجام می دهد و پاسخ مناسبی را در این زمینه به صورت پیام دریافت خواهید کرد. می توانید از فرآیند درخواست فوق، برای ایندکس کردن تمام URL هایی که محتوای جدید یا به روزی دارند استفاده کنید. با این حال، تعداد URL هایی که می توانید برای ایندکس کردن به کنسول جستجوی گوگل ارسال کنید، حداکثر ده آدرس در روز می باشد. 

8. ارسال نقشه سایت XML به گوگل

یک نقشه سایت XML به عنوان راهنمای پیمایش Googlebot عمل کرده و تمام صفحات موجود در وب سایت شما را نشان می دهد. نقشه سایت، زمانی که یک وب سایت بزرگ داشته باشید، به کار شما می آید، زیرا در، مدت زمانی که ربات، برای جستجوی صفحات وب شما بکار می برد، صرفه جویی می شود و در نتیجه، سایت شما سریعتر ایندکس می شود. چندین ابزار تولید نقشه سایت وجود دارد که می تواند به شما در ساخت نقشه XML کمک کند. 

هنگام استفاده از ابزار حسابرسی (Audit tool) وب سایت،  می توانید انواع صفحات را برای عضویت در نقشه سایت خود انتخاب کنید. همچنین به شما این امکان را می دهد که فرکانس تغییر صفحه را انتخاب کرده و اولویت را برای عمق مختلف خزیدن تنظیم کنید. حتما مقاله 10 عامل رتبه بندی سایت در گوگل را مطالعه بفرمایید.

پس از آماده شدن نقشه سایت، باید آن را به کنسول جستجوی گوگل ارسال کنید. این فرایند مستلزم رفتن به "Sitemaps" و سپس انتخاب گزینه "Add a new sitemap" می باشد. این فرایند ساده است، به طوری که حتی یک تازه وارد نیز می تواند به راحتی از پس آن  برآید. همچنین می توانید به صورت جداگانه، برای فیلم ها و تصاویر موجود در وب سایت خود نقشه سایت تهیه کنید. نقشه های سایت XML سرعت ایندکس محتوای شما را افزایش می دهد.

9. بررسی سرعت وب سایت

وب سایتهایی که سرعت بارگذاری بالایی دارند، شانس بیشتری برای ایندکس شدن سریع، از جانب رباتهای خزنده را دارند. علاوه بر این، سرعت بارگذاری وب سایت شما، از مهمترین فاکتورهای رتبه بندی برای گوگل است. سرعت وب سایت، نقشی اساسی در شتاب دادن صفحات موبایل (AMP) دارد.

بنابراین، اگر احساس می کنید وب سایت شما، با سرعت کافی بارگیری نمی شود، در اجرای تست سرعت آن یک لحظه هم تردید نکنید. در غیر این صورت، گوگل ممکن است به دلیل سرعت کم بارگذاری، سایت شما را ایندکس نکند زیرا توجه زیادی به تجربه کاربر دارد.

10. پینگ گرفتن از وب سایت خود

می توانید به موتورهای جستجو، اجازه دهید تا بلافاصله از محتوای جدید شما، از طریق پینگ(ping) مطلع شوند. موتورهای جستجو، هنگام جستجوی صفحات در سایت شما، با مشکل روبرو می شوند و بهترین راه حل این مشکل پینگ گرفتن است.

هنگامی که از یک وب سایت پینگ می گیرید، به گوگل اطلاع می دهید که بیاید و محتوای جدید را در سایت شما بررسی کند. چندین سرویس پینگ مانند Pingoat ، Pingler و Pingomatic وجود دارد که می توانند به موتورهای جستجو کمک کنند تا سریعتر به ایندکس محتوای شما بپردازند.

با این حال، اگر بیش از حد از پینگ استفاده کنید، موتور جستجو می تواند وب سایت شما را به عنوان هرزنامه(اسپم) برچسب گذاری کند. بنابراین، با این کار، به تلاش های ایندکس محتوای خود آسیب می رسانید. 

مشکلات ایندکس کردن سایت گوگل

در صورت مواجهه با مشکلات ایندکس گوگل، برای وب سایت خود، برخی از اقداماتی که می توانید انجام دهید، عبارتند از:

• ممیزی سئوی داخلی را انجام دهید

• کدهای پاسخ سرور خود را بررسی کنید

• فایل اصلی ورود به سیستم خزنده وب را بررسی کنید

• تست سرعت وب سایت را اجرا کنید که دستگاه های تلفن همراه را نیز در برگیرد

• از کنسول جستجوی گوگل، برای گزارش وضعیت پوشش ایندکس بازدید کنید

• فایل robots.txt را بازبینی کنید

• بررسی کنید که ریدایرکت های(redirects) شما به ویژه چند مورد به درستی کار می کنند

بر طبق گفته searchenginemagazine ، همه این عوامل به شما اطلاعات بیشتری در مورد نحوه ایندکس محتوا توسط گوگل می دهند. علاوه بر این، اگر محتوای تکراری در صفحات خود داشته باشید، گوگل آنها را به عنوان صفحات جداگانه فهرست نمی کند.

سخن آخر

به طور کلی تا وقتی که برای صفحه سایت شما فرایند ایندکس جریان پیدا نکرده باشد، گوگل صفحه شما را به رسمیت نمی شناسد زیرا اصلا از وجود چنین صفحه ای آگاهی ندارد و قطعا تا زمانی که این اتفاق صورت نگرفته باشد  صفحه شما در لیست نتایج جست و جوی کاربران ظاهر نخواهد شد. این موضوع اهمیت ایندکس شدن و خزیدن را برای شما نمایان می کند.