طراحی سایت اختصاصی

ربات خزنده گوگل چیست؟
کلیه‌ی موتورهای کاوش برای گشتن در صفحه ها تارنما از بات‌های اختصاصی‌به‌ خودشان به کار گیری می‌نمایند؛ برای مثال، خزنده‌‌‌های موتور جستجوی یاهو Slurp اسم دارا هستند. درین نوشته‌ی‌علمی صرفا درباره ی ربات‌های جستجوی گوگل کلام می گردد، زیرا گوگل دوست داستنی‌ترین موتور جستجوی طراحی سایت اخصاصی دنیاست.

شما سایتی را می‌سازید و شایسته ترین محتواها و داده ها جهان را در داخل آن قرار می‌دهید. به طور طبیعی این عمل را برای این می کنید که یوزرها به وب سایت شما بیایند و آن را ببینند. به‌احتمال خیلی زیاد، استفاده کننده از حاصل جستجوی گوگل به وبسایت شما میرسد. درواقع، گوگل میباشد که وب سایت شما‌را به مخاطب آرم می دهد. پس طبیعی میباشد که اولیه گوگل بایستی وب سایت و محتوای آن را ببیند.

گوگل برای اینکه بفهمد شما در هر برگه از تارنما چه اطلاعاتی قرار دادید می بایست آن شیت را Index نماید. یعنی آن را ببیند، کلیه محتواهایی را که در آن قرار داده گردیده‌است بخواند و بفهمد و آن را در لیست صفحاتی که چشم و میشناسد قرار دهد. تمامی‌ی آن امور را ربات‌های خزنده برای گوگل اجرا می دهند.

وبسایت‌های مرجع در seo تارنما خزنده‌های گوگل را تعریف‌و‌تمجید کردند. البته به‌لحاظ اینجانب شایسته ترین و جامع‌ترین تمجید را وب سایت مرجع ahrefs ارائه نموده است:

Googlebot is the web crawler used by Google to gather the information needed and build a searchable index of the web. Googlebot has mobile and desktop crawlers, as well as specialized crawlers for news, images, and videos.

بات‌های گوگل خزنده‌های اینترنت می‌باشند که داده ها مایحتاج برای ساختن فهرستی قابل‌کاوش از صفحه ها تارنما را عده‌آوری می‌نمایند. بات‌های گوگل دو مجموعه خزنده‌ی اساسی دارا هستند: خزندگان ورژن‌ی گوشی وب سایت و خزندگان ورژن‌ی دسکتاپ. اما، خزندگان دیگری هم می باشند که به‌شکل تخصصی صرفا خبرها، عکس‌ها و ویدئوها را میبینند.
چرا خزندگان گوگل اصلی می باشند؟
فهرست جستجوی گوگل (Google Search Index) را خزنده‌ها می سازند. گوگل با به کارگیری‌از کرالرها لیستی از همه صفحه های وبسایت‌های مو جود در وب مهیا می‌نماید تا بعد از آن آن ها را درجه‌بندی نماید. بات‌های گوگل مثل یک استفاده کننده ورقه را میبینند و در فهرست قرار میدهند. پس خزندگان گوگل و اینکه وبسایت برای آنها با صرفه گردیده باشد اساسی میباشد زیرا در صورتیکه عنکبوت‌ها صفحه های وب سایت را نبینند و در آن نخزند، گوگل هم آنان را نمی‌بیند و درنتیجه کاغذ و وبسایت جایی (سکو‌ای) در حاصل جستجوی گوگل نخواهند داشت.

سوال ها بسیار مهمی در باب طرز‌ی فعالیت ربات‌های جستجوی گوگل پیش میاید: آیا دارای تخصص seo یا این که وبمستر قادر است کرالرها را در اختیار گرفتن نماید یا این که تمامی‌چیز دراختیار گوگل میباشد؟ میشود صفحاتی را به خزندگان (گوگل) نماد نداد؟ آیا خزندگان هرروز به یک وبسایت راز میزنند و دنبال صفحه ها نو در آن می گردند؟ ربات‌ها چه مقطع در یک تارنما می مانند؟

آری، متخصص seo می تواند تاحدی خوی خزندگان گوگل در وبسایت را در اختیار گرفتن نماید و بعضا صفحه های یا این که عکس‌ها را به وی نماد ندهد. تمامی‌ی کارشناسان seo با پوشه robots.txt آشنا میباشند. این فولدر درواقع لیستی از صفحه های وبسایت میباشد که شما می خواهید کراولرها (موتورهای کاوش) آنها‌را ببینند. در همین فولدر ممکن میباشد به خزندگان اذن ندهید و بگویید که به صفحه ها مشخصی از وبسایت نروند.

درادامه، نکات مهمی که کارشناسان بهینه سازی وبسایت در زمینه‌ی طرز‌ی کارکردن ربات‌های جستجوی گوگل بایستی بدانند، نام برده میباشد.

ربات های خزنده‌ی گوگل چطور شغل می‌نمایند؟
متخصص seo هیچ وقت نباید فراموش نماید، به‌غیراز صفحه های یا این که محتواهایی که در پوشه robots.txt از خزندگان نهفته نموده است، عنکبوت‌های گوگل هرچند ثانیه یک‌توشه به وبسایت‌ها رمز میزنند و در آن میچرخند و به دنبال چیزهای نو میگردند.
متخصص seo نمی‌تواند برای گوگل گزینش نماید که کرالرها چه‌وقتی، چنددفعه و برای چه مدتی در وب سایت بخزند.
هرچه دامنه تارنما معتبرتر باشد، خزندگان وقت بیشتری را برای خزیدن در آن تارنما تخصیص می دهند و صفحه های (محتواهای) بیشتری را می بینند و Index می‌نمایند (یعنی crawl budget آن تارنما زیادتر میباشد).
خزندگان گوگل شاید در تمامی‌ی صفحه ها یک وب سایت نروند. بات‌های گوگل اولیه براساس پوشه robots.txt و سپس براساس نقشه‌ی وب سایت (Sitemap) میان صفحه های وب سایت میچرخند. نقشه تارنما برای هدایت کرالرها بسیار موءثر و اساسی میباشد. نقشه وب سایت منظم و ساختارمند و پر‌نور عمل ربات‌ها را شل‌خیس و سریع‌خیس می‌نماید و آن‌ها‌را زودتر به صفحه های و محتواهای اصلی وب سایت می رساند.

ربات های گوگل چندین نوع می‌باشند؟
گذشته‌از اینکه به جذاب‌ترین و کاربردی‌ترین قسمت این نوشته ی علمی برسیم، خوب میباشد توضیحی کوتاه در زمینه‌ی گونه های ربات‌های گوگل داده گردد. به عبارتی‌طور که اشاره شد، موتورهای کاوش برای دیدن صفحه ها و محتواهای آن ها و چرخیدن در وب سایت (ازطریق پیوند‌سازی داخلی) از نرم‌افزار‌ها و ماشین‌هایی به کارگیری می‌نمایند که معمولا به آنها خزنده یا این که ربات‌های خزنده گفته می گردد. متخصص بهینه سازی هر سایتی قادر است برای خزندگان شرایطی مشخص و معلوم نماید (پوشه robots.txt).

در آن فولدر متخصص میتواند مشخص و معلوم نماید ورود نوع خاصی از کراولرها به وب سایت ممنوع میباشد. وی برای تعریف و تمجید‌کردن قانون ها برای خزندگان از اسم خاص هر کدام به کار گیری می‌نماید. بات‌های خزنده دردرجه‌ی‌نخستین براساس اینکه وابسته به کدام موتور کاوش می‌باشند و دردرجه‌ی‌دوم کاری که ایفا می دهند با پسوندی (user-agent) شناخته می شوند. به عنوان مثال خزندگان گوگل که صرفا محتواهای ویدئویی را میبینند و فهرست می‌نمایند با این اسم شناخته میشوند: Googlebot-Video یا این که Googlebot-News خزندگانی می‌باشند که تنها خبرها را ایندکس می‌نمایند.

درصورتی که دارای تخصص بهینه سازی سایتی به‌ هر دلیلی نخواهد ویدئوهای سایتش ایندکس شوند، به‌راحتی میتواند آن خزندگان (Googlebot-Video) را از ورود به وبسایت بازداشتن نماید. طبیعی میباشد کلیه‌ی گونه های خزندگان به یک‌اندازه اساسی نیستند و متخصص seo زیرا می‌‌خواهد تک تک متحواهای سایتش چشم گردد و در حاصل کاوش سکو بگیرد، دلیلی ندارد بخواهد خزندگان گوگل را از ورود به تارنما ممانعت نماید. (می توانید لیست مهمترین بات‌های گوگل را در developers.google.com ملاحظه کنید.)

ربات خزنده گوگل چیست؟
کلیه‌ی موتورهای کاوش برای گشتن در صفحه ها تارنما از بات‌های اختصاصی‌به‌ خودشان به کار گیری می‌نمایند؛ برای مثال، خزنده‌‌‌های موتور جستجوی یاهو Slurp اسم دارا هستند. درین نوشته‌ی‌علمی صرفا درباره ی ربات‌های جستجوی گوگل کلام می گردد، زیرا گوگل دوست داستنی‌ترین موتور جستجوی طراحی سایت اخصاصی دنیاست.

شما سایتی را می‌سازید و شایسته ترین محتواها و داده ها جهان را در داخل آن قرار می‌دهید. به طور طبیعی این عمل را برای این می کنید که یوزرها به وب سایت شما بیایند و آن را ببینند. به‌احتمال خیلی زیاد، استفاده کننده از حاصل جستجوی گوگل به وبسایت شما میرسد. درواقع، گوگل میباشد که وب سایت شما‌را به مخاطب آرم می دهد. پس طبیعی میباشد که اولیه گوگل بایستی وب سایت و محتوای آن را ببیند.

گوگل برای اینکه بفهمد شما در هر برگه از تارنما چه اطلاعاتی قرار دادید می بایست آن شیت را Index نماید. یعنی آن را ببیند، کلیه محتواهایی را که در آن قرار داده گردیده‌است بخواند و بفهمد و آن را در لیست صفحاتی که چشم و میشناسد قرار دهد. تمامی‌ی آن امور را ربات‌های خزنده برای گوگل اجرا می دهند.

وبسایت‌های مرجع در seo تارنما خزنده‌های گوگل را تعریف‌و‌تمجید کردند. البته به‌لحاظ اینجانب شایسته ترین و جامع‌ترین تمجید را وب سایت مرجع ahrefs ارائه نموده است:

Googlebot is the web crawler used by Google to gather the information needed and build a searchable index of the web. Googlebot has mobile and desktop crawlers, as well as specialized crawlers for news, images, and videos.

بات‌های گوگل خزنده‌های اینترنت می‌باشند که داده ها مایحتاج برای ساختن فهرستی قابل‌کاوش از صفحه ها تارنما را عده‌آوری می‌نمایند. بات‌های گوگل دو مجموعه خزنده‌ی اساسی دارا هستند: خزندگان ورژن‌ی گوشی وب سایت و خزندگان ورژن‌ی دسکتاپ. اما، خزندگان دیگری هم می باشند که به‌شکل تخصصی صرفا خبرها، عکس‌ها و ویدئوها را میبینند.
چرا خزندگان گوگل اصلی می باشند؟
فهرست جستجوی گوگل (Google Search Index) را خزنده‌ها می سازند. گوگل با به کارگیری‌از کرالرها لیستی از همه صفحه های وبسایت‌های مو جود در وب مهیا می‌نماید تا بعد از آن آن ها را درجه‌بندی نماید. بات‌های گوگل مثل یک استفاده کننده ورقه را میبینند و در فهرست قرار میدهند. پس خزندگان گوگل و اینکه وبسایت برای آنها با صرفه گردیده باشد اساسی میباشد زیرا در صورتیکه عنکبوت‌ها صفحه های وب سایت را نبینند و در آن نخزند، گوگل هم آنان را نمی‌بیند و درنتیجه کاغذ و وبسایت جایی (سکو‌ای) در حاصل جستجوی گوگل نخواهند داشت.

سوال ها بسیار مهمی در باب طرز‌ی فعالیت ربات‌های جستجوی گوگل پیش میاید: آیا دارای تخصص seo یا این که وبمستر قادر است کرالرها را در اختیار گرفتن نماید یا این که تمامی‌چیز دراختیار گوگل میباشد؟ میشود صفحاتی را به خزندگان (گوگل) نماد نداد؟ آیا خزندگان هرروز به یک وبسایت راز میزنند و دنبال صفحه ها نو در آن می گردند؟ ربات‌ها چه مقطع در یک تارنما می مانند؟

آری، متخصص seo می تواند تاحدی خوی خزندگان گوگل در وبسایت را در اختیار گرفتن نماید و بعضا صفحه های یا این که عکس‌ها را به وی نماد ندهد. تمامی‌ی کارشناسان seo با پوشه robots.txt آشنا میباشند. این فولدر درواقع لیستی از صفحه های وبسایت میباشد که شما می خواهید کراولرها (موتورهای کاوش) آنها‌را ببینند. در همین فولدر ممکن میباشد به خزندگان اذن ندهید و بگویید که به صفحه ها مشخصی از وبسایت نروند.

درادامه، نکات مهمی که کارشناسان بهینه سازی وبسایت در زمینه‌ی طرز‌ی کارکردن ربات‌های جستجوی گوگل بایستی بدانند، نام برده میباشد.

ربات های خزنده‌ی گوگل چطور شغل می‌نمایند؟
متخصص seo هیچ وقت نباید فراموش نماید، به‌غیراز صفحه های یا این که محتواهایی که در پوشه robots.txt از خزندگان نهفته نموده است، عنکبوت‌های گوگل هرچند ثانیه یک‌توشه به وبسایت‌ها رمز میزنند و در آن میچرخند و به دنبال چیزهای نو میگردند.
متخصص seo نمی‌تواند برای گوگل گزینش نماید که کرالرها چه‌وقتی، چنددفعه و برای چه مدتی در وب سایت بخزند.
هرچه دامنه تارنما معتبرتر باشد، خزندگان وقت بیشتری را برای خزیدن در آن تارنما تخصیص می دهند و صفحه های (محتواهای) بیشتری را می بینند و Index می‌نمایند (یعنی crawl budget آن تارنما زیادتر میباشد).
خزندگان گوگل شاید در تمامی‌ی صفحه ها یک وب سایت نروند. بات‌های گوگل اولیه براساس پوشه robots.txt و سپس براساس نقشه‌ی وب سایت (Sitemap) میان صفحه های وب سایت میچرخند. نقشه تارنما برای هدایت کرالرها بسیار موءثر و اساسی میباشد. نقشه وب سایت منظم و ساختارمند و پر‌نور عمل ربات‌ها را شل‌خیس و سریع‌خیس می‌نماید و آن‌ها‌را زودتر به صفحه های و محتواهای اصلی وب سایت می رساند.

ربات های گوگل چندین نوع می‌باشند؟
گذشته‌از اینکه به جذاب‌ترین و کاربردی‌ترین قسمت این نوشته ی علمی برسیم، خوب میباشد توضیحی کوتاه در زمینه‌ی گونه های ربات‌های گوگل داده گردد. به عبارتی‌طور که اشاره شد، موتورهای کاوش برای دیدن صفحه ها و محتواهای آن ها و چرخیدن در وب سایت (ازطریق پیوند‌سازی داخلی) از نرم‌افزار‌ها و ماشین‌هایی به کارگیری می‌نمایند که معمولا به آنها خزنده یا این که ربات‌های خزنده گفته می گردد. متخصص بهینه سازی هر سایتی قادر است برای خزندگان شرایطی مشخص و معلوم نماید (پوشه robots.txt).

در آن فولدر متخصص میتواند مشخص و معلوم نماید ورود نوع خاصی از کراولرها به وب سایت ممنوع میباشد. وی برای تعریف و تمجید‌کردن قانون ها برای خزندگان از اسم خاص هر کدام به کار گیری می‌نماید. بات‌های خزنده دردرجه‌ی‌نخستین براساس اینکه وابسته به کدام موتور کاوش می‌باشند و دردرجه‌ی‌دوم کاری که ایفا می دهند با پسوندی (user-agent) شناخته می شوند. به عنوان مثال خزندگان گوگل که صرفا محتواهای ویدئویی را میبینند و فهرست می‌نمایند با این اسم شناخته میشوند: Googlebot-Video یا این که Googlebot-News خزندگانی می‌باشند که تنها خبرها را ایندکس می‌نمایند.

درصورتی که دارای تخصص بهینه سازی سایتی به‌ هر دلیلی نخواهد ویدئوهای سایتش ایندکس شوند، به‌راحتی میتواند آن خزندگان (Googlebot-Video) را از ورود به وبسایت بازداشتن نماید. طبیعی میباشد کلیه‌ی گونه های خزندگان به یک‌اندازه اساسی نیستند و متخصص seo زیرا می‌‌خواهد تک تک متحواهای سایتش چشم گردد و در حاصل کاوش سکو بگیرد، دلیلی ندارد بخواهد خزندگان گوگل را از ورود به تارنما ممانعت نماید. (می توانید لیست مهمترین بات‌های گوگل را در developers.google.com ملاحظه کنید.)