ربات های خزنده گوگل برای خزش (crawling) در سرتاسر دنیای اینترنت و URLهای متفاوت گزینه به کار گیری قرار می گیرند. در محرمانه مقالات آموزش seo، غرض ما تعریف و تشریح عملکرد خزنده گوگل، شیوهی ایندکس صفحه ها تارنما در گوگل و در غایت کیفیت نشانه دادن نتیجه ها به مخاطبان میباشد. در آخر نیز به همگی سوالات و کامنتهای شما راجع به خزش یا این که کراول خزنده گوگل، ایندکس صفحه ها سایت و مرتبهی تارنما بوسیله گوگل جواب خوا هیم اعطا کرد. برای شناخت با خزنده گوگل و التفات آن تا انتهای این نوشته ی علمی با آکادمی گرشا یار و همدم باشید.
نکته: در برخی از مقاله ها، بجای کلمه خزش از کراول (یا این که کرول) و برای واژه و کلمه خزنده، از کراولر (یا این که کرولر) استعمال می نمایند.
موتور جستجوی گوگل چه طور عمل مینماید؟
با فرض بر اینکه با گوگل و دیگر موتورهای کاوش شناخت دارید یک راست به سراغ طرزی شغل گوگل و اثر خزنده گوگل بر جستجوهای آن میرویم. مجموعاًَ گوگل برای نماد دادن یک شیت در حاصل خویش برای یوزرها، ۳ مرحلهی ذیل را انجام میدهد:
خزش در سایتها و URLهای متعدد به وسیله خزنده گوگل
ایندکس (Index) صفحه ها خزش گردیده
درجهبندی و اکران محتوا به یوزرها بر اساس الگوریتمهای توسعه یافته
شیوهی خزش خزنده گوگل
نحوه شغل خزش ربات خزنده گوگل به این شکل است کهاین ربات یا این که اپلیکیشن به هر لینکی که بر رمز راهش قرار می گیرد وارد میشود و از یک محتوا یا این که URL به محتوا و URL دیگر میرود. بطور کلی میاقتدار اظهار کرد وظیفهی خزنده گوگل استیناف و بازبینی محتواهای URLهای متفاوت میباشد. مثلا فرض فرمایید شما یک مقاله در دل وب سایت خویش دارید که باطن آن لینکسازی داخلی یا این که حتی فرنگی انجام یافته هست. سئو در مشهد خزنده گوگل با ورود به محتوای شما، از اولیهِ محتوا تا انتهای محتوای شما را بازبینی مینماید و کلیات و جزئیات آن را بر اساس الگوریتمهای منحصربهفرد گوگل رندر (Render) و برای به عبارتی URL ذخیره مینماید. دراین بین در حین بازبینی محتوای به عبارتی ورقه، در شکل واکنش با یک یا این که یکسری پیوند در دل محتوا، خزنده از روش به عبارتی پیوندها به صفحه ها غرض میرود و در URLهای تازه نیز محتوای صفحات را بازبینی و این توشه برای URL غرض ذخیره مینماید. این چرخه همیشه و در عمقهای گوناگون تکرار میشود تا خزنده گوگل با محتواهای نو سایتهای مختلف آشنا شود و موجب ایندکس شدن صفحه های و محتواهای جدید خواهد شد. به نظر میرسد که خزنده گوگل فضولترین ربات دانا باشد و قصد داراست سر از عمل آحاد سایتها و URLها در بیاورد. ولی خیر، خزنده گوگل کنجکاوی پیش فعالانه و هدفمند دارااست.
نحوه ایندکس صفحه ها وبسایت در گوگل
بعد از کنجکاوی هدفمند رباتهای خزنده گوگل، مرحلهی ایندکس وارد فرآیند کاری گوگل میگردد. خزندهها بعد از گردآوریآوری تمامی اطلاعات دردسترس در یک URL با ارسال داده ها رندر گردیده به گوگل، URL تازه با محتوای تازه را وارد مقر دادههای کلان گوگل مینماید. بهاین مرحله که موجب تصویب و ذخیره صفحه های وبسایت در گوگل میگردد، ایندکس می گویند. گوگل پس از ایندکس با دقت به الگوریتمهایش، مبادرت به طبقهبندی و مجموعهبندی URLها بر اساس معیار و فاکتورهای گوناگون مینماید. یکیاز این طبقهبندیها بر طبق محتواهای مرتبط می باشد.رایا پارس شاید این گفته دیدنیخیس و قابل فهم و شعورخیس باشد که با ایندکس شدن یک کاغذ، آن کاغذ تحت عنوان یک کتاب در کتابخانهی پهناور، تعالی و بی پایان گوگل قرار میگیرد. کتابی که در کاوشهای یوزرها و با اعتنا به نیاز آنها، به وسیله گوگل معرفی میشود. البته گوگل چرا بین صفحه ها متعدد تمایز قائل می شود؟ چرا به یک محتوا مانند فرزند روشنایی چشمی و ته تغاری نگاه مینماید و به محتوای دیگر تحت عنوان فرزند اولیه و گرانقدر؟ اینجاست که باید به مرحلهی سوم گوگل وارد شویم. مرحلهی که نشان میدهد گوگل حقیقتا فی مابین فرزندانش (صفحه های مختلف سایتهای گوناگون) تفاوتی قائل نمیشود.
کیفیت درجهبندی صفحه های تارنما در حاصل گوگل
جواب این عنوان تنها یک چیز میباشد: الگوریتمهای توسعه یافته و بغرنج که توسط هوش تصنعی ( ولی شاید هم طبیعی) گوگل جاری ساختن میگردد. بعد از مرحله کنجکاوی خزنده گوگل و ایندکس صفحات در مقر دادهی گوگل، گوگل با آزمایش، محاسبه توسعه یافته، مقایسه ظریف و انجام یکسری فاکتور اثر گذار برای شناسایی مرتبطترین، مجاورتترین و شایسته ترین صفحات برای جواب مخاطبان مبادرت مینماید. هرچه یک برگه و محتوای آن برای جواب یک کاوش یا این که کوئری (Query) بدون نقصخیس و ظریفخیس باشد، جايگاهی بهتری نزد گوگل خواهد گرفت.what is seo ولی گوگل درین بین فقط به تعیین اولی هوش تصنعی و مصنوعی و خزندههای خویش اکتفا نمینماید. اینجاست که معین میشود گوگل در میان صفحه های متعدد تفاوت قائل نمیشود. گوگل با آزمایش صفحه ها جدید و نو سایتهای گوناگون به ویژه وب سایتهای نوپای دنیای اینترنت، خلق مخاطبان و یوزرها را نسبت به آن ها میسنجد. درین دربین هر برگه و محتوایی که رضایت خیال بیشتر مخاطبان را جلب نماید، نزد گوگل مقام رفیعخیس و جايگاه بالاتری را می گیرد. ولی هنوز نکات مهم دیگری درخصوص خزش خزنده گوگل، ایندکس و درجهبندی صفحه های وب سایت وجود داراست. نکاتی که هر سئوکار بایستی داده ها کافی درخصوص آن ها داشته باشد. در سوژه SERP گوگل و درجهدهی گوگل سوال های بخش اعظمی وجود داراست که توضیح آن سوا مقولهی این نوشتهعلمی است. ولی هر سوالی که شما در کامنتها در این زمینه بپرسید، در سریعترین مجال به آن جواب داده خواهد شد
پژوهش صفحه های ایندکس گردیده در گوگل
اولی پرسش و شاید جدیترین پرسش این است که آیا صفحه ها تارنما شما در گوگل ایندکس گردیدهاند یا این که نه؟
طبق تصویر گوگل تعداد URLهای ایندکس گردیده مرتبط با دامنهی شما را اکران میدهد. ولی در شرایطی که جدید محتوایی ساخت و منتشر کردهاید توقع نداشته باشید که سریعا شیتی تازه شما در گوگل ایندکس گردد. به ویژه در حالتی که محتوانویسی وب سایت نو احداث را آغاز کرده باشید. برای تشخیص آنکه خزنده گوگل در صفحه های تارنما خزیده و آنها را ایندکس کرده یا این که خیر، میاقتدار از گوگل سرچ کنسول نیز به کار گرفت.
چرا صفحه ها وب سایت در جستجوهای گوگل اکران داده نمیشود؟
یکیاز دیگر از مهمترین سوال ها درخصوص خزنده گوگل و ایندکس صفحه ها تارنما، چرایی عدم اکران صفحه های دیرین و حتی جدید در نتایج گوگل است. عامل این امر ممکن است یکی مورد ها زیر باشد:
در حالتیکه تارنما شما جدید شروع به فعالیت نموده است، احتمالا هنوز توسط خزندهها شناسایی نشده است یا این که در باکس شنی (Sand Box) گوگل مورد تست قرار گرفته میباشد.
محتوای شما جدید منتشر گردیده و هنوز ایندکس نشده است. در مواقعی ممکن می باشد به جهت محدودیت دارایی خزش، مقاله ها تارنما شما دیرتر ایندکس شوند.
هیچ لینکی به شیت متبوع داده نشده و نشانی URL آن نیز در سایت مپ نیست.(کاغذ یتیم یا این که Orphan Page)
راه خزش بر روی رباتهای خزنده گوگل بسته میباشد. (از روش متا تگ robots)
وجود هیبتهای لاگین و عضویت برای مشاهده محتوای وب سایت
تهیه نبودن وردپرس برای قرائت مطالب تارنما بوسیله خزنده گوگل
خزش به وسیله خزندهها در وبسایت شما به دلایل متفاوت دشوار و غیر ممکن میباشد. (مثلا محتوا از روش پوشه جاوااسکریپی غیراستاندارد بارگذاری میگردد)
به کار گیری از فریمورک های جاوا اسکریپت و رندر سمت کلاینت (CSR)، پروسه خزش خزنده گوگل را کُند (پردازش دو مرحله ای) و گاها مختل مینماید.
بعضی صفحه ها یا این که تمام تارنما شما بوسیله گوگل پنالتی شده است.
هریک از موردها بالا راهحلهای منحصر به خویش داراست. گاهی برطرف کردن این ایرادها ریلکس و به سادگی شکل میگیرد و گاهی بسیار طاقت فرسا می شود. از جمله در حالتیکه طریق خزش بر روی خزنده گوگل بسته گردیده باشد به راحتی میاقتدار با تگ و کدنویسی ساده این شیوه را آماده ایجاد کرد. البته در شکل پنالتی شدن سایت، بازگشتن به جستجوهای گوگل بسیار سخت و گاهی ناممکن میباشد. گوگل سرچ کنسول در موردهای بسیاری به خزش و ایندکس صفحه ها یاری مینماید. یکی این موردها طراحی وب سایت مپ برای وبسایت می باشد. وبسایت مپ امداد شایانی به خزندهها جهت خزش در سرتاسر وبسایت مینمایند. پس هیچ زمان از ساخت وب سایت مپ غافل نشوید. همینطور در گوگل سرچ کنسول میتوانید به راحتی صفحه های ایندکس گردیده را ملاحظه کنید. و هم اینکه بصورت دستی صفحات مدنظر خویش را سریعخیس ایندکس فرمایید.
ایندکس دستی (Indexing) صفحه های تارنما
راههای زیادی جهت تسریع مراحل ایندکس صفحات وبسایت وجود دارااست. البته متداولترین آن ایندکس دستی به امداد گوگل سرچ کنسول میباشد. در این طرز از گوگل بصورت مستقیم درخواست می کنید که خزنده گوگل را به URL مدنظر شما بفرستد و مبادرت به خزش و ایندکس صفحه نماید. برای اجرا ایندکس دستی فرآیند تحت را دنبال کنید:
نام نویسی در گوگل سرچ کنسول
تصویب وبسایت در گوگل سرچ کنسول
URL ورقه مدنظر خودتان را کپی نمایید.
وارد گوگل سرچ کنسول گردیده و وارد نصیب URL Inspection گردید
در فریم بالای ورقه URL اسکن گردیده را عینا قرار دهید
در شیت تازه در نصیب URL is not on Google سمت چپ بر روی Request Indexing کلیک نمائید.
چند ثانیه شکیبایی نمایید تا پیغام پذیرش Indexing requested مواجه گردید.
ربات های خزنده گوگل برای خزش (crawling) در سرتاسر دنیای اینترنت و URLهای متفاوت گزینه به کار گیری قرار می گیرند. در محرمانه مقالات آموزش seo، غرض ما تعریف و تشریح عملکرد خزنده گوگل، شیوهی ایندکس صفحه ها تارنما در گوگل و در غایت کیفیت نشانه دادن نتیجه ها به مخاطبان میباشد. در آخر نیز به همگی سوالات و کامنتهای شما راجع به خزش یا این که کراول خزنده گوگل، ایندکس صفحه ها سایت و مرتبهی تارنما بوسیله گوگل جواب خوا هیم اعطا کرد. برای شناخت با خزنده گوگل و التفات آن تا انتهای این نوشته ی علمی با آکادمی گرشا یار و همدم باشید.
نکته: در برخی از مقاله ها، بجای کلمه خزش از کراول (یا این که کرول) و برای واژه و کلمه خزنده، از کراولر (یا این که کرولر) استعمال می نمایند.
موتور جستجوی گوگل چه طور عمل مینماید؟
با فرض بر اینکه با گوگل و دیگر موتورهای کاوش شناخت دارید یک راست به سراغ طرزی شغل گوگل و اثر خزنده گوگل بر جستجوهای آن میرویم. مجموعاًَ گوگل برای نماد دادن یک شیت در حاصل خویش برای یوزرها، ۳ مرحلهی ذیل را انجام میدهد:
خزش در سایتها و URLهای متعدد به وسیله خزنده گوگل
ایندکس (Index) صفحه ها خزش گردیده
درجهبندی و اکران محتوا به یوزرها بر اساس الگوریتمهای توسعه یافته
شیوهی خزش خزنده گوگل
نحوه شغل خزش ربات خزنده گوگل به این شکل است کهاین ربات یا این که اپلیکیشن به هر لینکی که بر رمز راهش قرار می گیرد وارد میشود و از یک محتوا یا این که URL به محتوا و URL دیگر میرود. بطور کلی میاقتدار اظهار کرد وظیفهی خزنده گوگل استیناف و بازبینی محتواهای URLهای متفاوت میباشد. مثلا فرض فرمایید شما یک مقاله در دل وب سایت خویش دارید که باطن آن لینکسازی داخلی یا این که حتی فرنگی انجام یافته هست. سئو در مشهد خزنده گوگل با ورود به محتوای شما، از اولیهِ محتوا تا انتهای محتوای شما را بازبینی مینماید و کلیات و جزئیات آن را بر اساس الگوریتمهای منحصربهفرد گوگل رندر (Render) و برای به عبارتی URL ذخیره مینماید. دراین بین در حین بازبینی محتوای به عبارتی ورقه، در شکل واکنش با یک یا این که یکسری پیوند در دل محتوا، خزنده از روش به عبارتی پیوندها به صفحه ها غرض میرود و در URLهای تازه نیز محتوای صفحات را بازبینی و این توشه برای URL غرض ذخیره مینماید. این چرخه همیشه و در عمقهای گوناگون تکرار میشود تا خزنده گوگل با محتواهای نو سایتهای مختلف آشنا شود و موجب ایندکس شدن صفحه های و محتواهای جدید خواهد شد. به نظر میرسد که خزنده گوگل فضولترین ربات دانا باشد و قصد داراست سر از عمل آحاد سایتها و URLها در بیاورد. ولی خیر، خزنده گوگل کنجکاوی پیش فعالانه و هدفمند دارااست.
نحوه ایندکس صفحه ها وبسایت در گوگل
بعد از کنجکاوی هدفمند رباتهای خزنده گوگل، مرحلهی ایندکس وارد فرآیند کاری گوگل میگردد. خزندهها بعد از گردآوریآوری تمامی اطلاعات دردسترس در یک URL با ارسال داده ها رندر گردیده به گوگل، URL تازه با محتوای تازه را وارد مقر دادههای کلان گوگل مینماید. بهاین مرحله که موجب تصویب و ذخیره صفحه های وبسایت در گوگل میگردد، ایندکس می گویند. گوگل پس از ایندکس با دقت به الگوریتمهایش، مبادرت به طبقهبندی و مجموعهبندی URLها بر اساس معیار و فاکتورهای گوناگون مینماید. یکیاز این طبقهبندیها بر طبق محتواهای مرتبط می باشد.رایا پارس شاید این گفته دیدنیخیس و قابل فهم و شعورخیس باشد که با ایندکس شدن یک کاغذ، آن کاغذ تحت عنوان یک کتاب در کتابخانهی پهناور، تعالی و بی پایان گوگل قرار میگیرد. کتابی که در کاوشهای یوزرها و با اعتنا به نیاز آنها، به وسیله گوگل معرفی میشود. البته گوگل چرا بین صفحه ها متعدد تمایز قائل می شود؟ چرا به یک محتوا مانند فرزند روشنایی چشمی و ته تغاری نگاه مینماید و به محتوای دیگر تحت عنوان فرزند اولیه و گرانقدر؟ اینجاست که باید به مرحلهی سوم گوگل وارد شویم. مرحلهی که نشان میدهد گوگل حقیقتا فی مابین فرزندانش (صفحه های مختلف سایتهای گوناگون) تفاوتی قائل نمیشود.
کیفیت درجهبندی صفحه های تارنما در حاصل گوگل
جواب این عنوان تنها یک چیز میباشد: الگوریتمهای توسعه یافته و بغرنج که توسط هوش تصنعی ( ولی شاید هم طبیعی) گوگل جاری ساختن میگردد. بعد از مرحله کنجکاوی خزنده گوگل و ایندکس صفحات در مقر دادهی گوگل، گوگل با آزمایش، محاسبه توسعه یافته، مقایسه ظریف و انجام یکسری فاکتور اثر گذار برای شناسایی مرتبطترین، مجاورتترین و شایسته ترین صفحات برای جواب مخاطبان مبادرت مینماید. هرچه یک برگه و محتوای آن برای جواب یک کاوش یا این که کوئری (Query) بدون نقصخیس و ظریفخیس باشد، جايگاهی بهتری نزد گوگل خواهد گرفت.what is seo ولی گوگل درین بین فقط به تعیین اولی هوش تصنعی و مصنوعی و خزندههای خویش اکتفا نمینماید. اینجاست که معین میشود گوگل در میان صفحه های متعدد تفاوت قائل نمیشود. گوگل با آزمایش صفحه ها جدید و نو سایتهای گوناگون به ویژه وب سایتهای نوپای دنیای اینترنت، خلق مخاطبان و یوزرها را نسبت به آن ها میسنجد. درین دربین هر برگه و محتوایی که رضایت خیال بیشتر مخاطبان را جلب نماید، نزد گوگل مقام رفیعخیس و جايگاه بالاتری را می گیرد. ولی هنوز نکات مهم دیگری درخصوص خزش خزنده گوگل، ایندکس و درجهبندی صفحه های وب سایت وجود داراست. نکاتی که هر سئوکار بایستی داده ها کافی درخصوص آن ها داشته باشد. در سوژه SERP گوگل و درجهدهی گوگل سوال های بخش اعظمی وجود داراست که توضیح آن سوا مقولهی این نوشتهعلمی است. ولی هر سوالی که شما در کامنتها در این زمینه بپرسید، در سریعترین مجال به آن جواب داده خواهد شد
پژوهش صفحه های ایندکس گردیده در گوگل
اولی پرسش و شاید جدیترین پرسش این است که آیا صفحه ها تارنما شما در گوگل ایندکس گردیدهاند یا این که نه؟
طبق تصویر گوگل تعداد URLهای ایندکس گردیده مرتبط با دامنهی شما را اکران میدهد. ولی در شرایطی که جدید محتوایی ساخت و منتشر کردهاید توقع نداشته باشید که سریعا شیتی تازه شما در گوگل ایندکس گردد. به ویژه در حالتی که محتوانویسی وب سایت نو احداث را آغاز کرده باشید. برای تشخیص آنکه خزنده گوگل در صفحه های تارنما خزیده و آنها را ایندکس کرده یا این که خیر، میاقتدار از گوگل سرچ کنسول نیز به کار گرفت.
چرا صفحه ها وب سایت در جستجوهای گوگل اکران داده نمیشود؟
یکیاز دیگر از مهمترین سوال ها درخصوص خزنده گوگل و ایندکس صفحه ها تارنما، چرایی عدم اکران صفحه های دیرین و حتی جدید در نتایج گوگل است. عامل این امر ممکن است یکی مورد ها زیر باشد:
در حالتیکه تارنما شما جدید شروع به فعالیت نموده است، احتمالا هنوز توسط خزندهها شناسایی نشده است یا این که در باکس شنی (Sand Box) گوگل مورد تست قرار گرفته میباشد.
محتوای شما جدید منتشر گردیده و هنوز ایندکس نشده است. در مواقعی ممکن می باشد به جهت محدودیت دارایی خزش، مقاله ها تارنما شما دیرتر ایندکس شوند.
هیچ لینکی به شیت متبوع داده نشده و نشانی URL آن نیز در سایت مپ نیست.(کاغذ یتیم یا این که Orphan Page)
راه خزش بر روی رباتهای خزنده گوگل بسته میباشد. (از روش متا تگ robots)
وجود هیبتهای لاگین و عضویت برای مشاهده محتوای وب سایت
تهیه نبودن وردپرس برای قرائت مطالب تارنما بوسیله خزنده گوگل
خزش به وسیله خزندهها در وبسایت شما به دلایل متفاوت دشوار و غیر ممکن میباشد. (مثلا محتوا از روش پوشه جاوااسکریپی غیراستاندارد بارگذاری میگردد)
به کار گیری از فریمورک های جاوا اسکریپت و رندر سمت کلاینت (CSR)، پروسه خزش خزنده گوگل را کُند (پردازش دو مرحله ای) و گاها مختل مینماید.
بعضی صفحه ها یا این که تمام تارنما شما بوسیله گوگل پنالتی شده است.
هریک از موردها بالا راهحلهای منحصر به خویش داراست. گاهی برطرف کردن این ایرادها ریلکس و به سادگی شکل میگیرد و گاهی بسیار طاقت فرسا می شود. از جمله در حالتیکه طریق خزش بر روی خزنده گوگل بسته گردیده باشد به راحتی میاقتدار با تگ و کدنویسی ساده این شیوه را آماده ایجاد کرد. البته در شکل پنالتی شدن سایت، بازگشتن به جستجوهای گوگل بسیار سخت و گاهی ناممکن میباشد. گوگل سرچ کنسول در موردهای بسیاری به خزش و ایندکس صفحه ها یاری مینماید. یکی این موردها طراحی وب سایت مپ برای وبسایت می باشد. وبسایت مپ امداد شایانی به خزندهها جهت خزش در سرتاسر وبسایت مینمایند. پس هیچ زمان از ساخت وب سایت مپ غافل نشوید. همینطور در گوگل سرچ کنسول میتوانید به راحتی صفحه های ایندکس گردیده را ملاحظه کنید. و هم اینکه بصورت دستی صفحات مدنظر خویش را سریعخیس ایندکس فرمایید.
ایندکس دستی (Indexing) صفحه های تارنما
راههای زیادی جهت تسریع مراحل ایندکس صفحات وبسایت وجود دارااست. البته متداولترین آن ایندکس دستی به امداد گوگل سرچ کنسول میباشد. در این طرز از گوگل بصورت مستقیم درخواست می کنید که خزنده گوگل را به URL مدنظر شما بفرستد و مبادرت به خزش و ایندکس صفحه نماید. برای اجرا ایندکس دستی فرآیند تحت را دنبال کنید:
نام نویسی در گوگل سرچ کنسول
تصویب وبسایت در گوگل سرچ کنسول
URL ورقه مدنظر خودتان را کپی نمایید.
وارد گوگل سرچ کنسول گردیده و وارد نصیب URL Inspection گردید
در فریم بالای ورقه URL اسکن گردیده را عینا قرار دهید
در شیت تازه در نصیب URL is not on Google سمت چپ بر روی Request Indexing کلیک نمائید.
چند ثانیه شکیبایی نمایید تا پیغام پذیرش Indexing requested مواجه گردید.

سئوی بیرون وبسایت (Off-Page بهینه سازی)
به وبلاگ خود خوش امدید