جستجو نشان دهند، سایت شما باید قابل خزیدن باشد. نه تنها این، بلکه باید اطمینان حاصل کنید که موتورهای جستجو فرصتی برای خزیدن در صفحاتی که می‌خواهید با آنها رتبه‌بندی کنید، داشته باشند. هیچ راه آسانی برای انجام آن وجود ندارد. اما، با تنظیمات خزیدن در Yoast SEO Premium، می‌توانید همه URLهایی را که ارزش سئو ندارند را از سر راه موتور جستجو پاک کنید.
طرف دیگری نیز وجود دارد که کمتر در مورد آن صحبت شده است. خزیدن به منابع زیادی نیاز دارد. به عنوان مثال، موتورهای جستجو و سایر طرف‌ها مانند برنامه‌های مختلف، برای خزیدن تعداد فزاینده سایت‌ها و آدرس‌های اینترنتی آنها، به انرژی زیادی نیاز دارند. صاحبان وب‌سایت‌ها همچنین به سرورهای قدرتمندی نیاز دارند تا هم بازدیدکنندگان و هم ربات‌ها بتوانند سایت‌هایشان را بخزند. بنابراین، با کارآمدتر کردن خزیدن، نه تنها به سئوی سایت خود کمک می کنید، بلکه به مصرف برق کمتر نیز کمک می کنید!
تنظیمات خزیدن در Yoast SEO Premium به شما کمک می کند تا URL های غیرضروری را پاک کنید و به موتورهای جستجو کمک می کند تا سایت شما را به طور موثرتر خزیدن کنند. می توانید تنظیمات را در تب General در تنظیمات Yoast SEO Premium پیدا کنید. در زیر، می توانید در مورد آنچه تنظیمات انجام می دهند بخوانید.
تنظیمات اولیه خزیدن
تنظیمات اولیه خزیدن
برخلاف انسان‌هایی که آنچه را که در قسمت جلویی سایت شما وجود دارد می‌خوانند، روبات‌ها آنچه را که در کد منبع پیدا می‌کنند، می‌خوانند. اگر کد منبع سایت خود را باز کنید (تصویر زیر را ببینید)، URL های زیادی را در آنجا مشاهده خواهید کرد. هنگامی که خزنده ها برای خزیدن سایت شما می آیند، از هر یک از URL هایی که پیدا می کنند بازدید می کنند. و آنها این کار را دهها یا صدها بار در روز انجام خواهند داد.
Crawl settings in Yoast SEO Premium
بنابراین، چرا این یک مشکل است؟ خوب، وردپرس تعداد زیادی URL و برخی برچسب ها را به سربرگ و <head>بخش وب سایت شما اضافه می کند. بسیاری از این موارد اضافی غیر ضروری هستند و هیچ ارزش سئوی ندارند. بنابراین، ما چندین ضامن ایجاد کرده ایم که به شما امکان می دهد یک قطعه خاص از خروجی را غیرفعال کنید. در زیر، می‌توانید درباره کارهایی که هر یک از ضامن‌ها انجام می‌دهند بیشتر بخوانید.
پیوندهای کوتاه
در <head>بخش یک پست، وردپرس یک shortlinkخروجی ایجاد می کند (نمونه زیر را ببینید).
[php]
<link rel=’shortlink’ href=’http://testsite.com/?p=1′ />
[/php]
لینک کوتاه اساساً یک نسخه کوتاه شده از URL همان صفحه است. با این ضامن می توانید آن خروجی را حذف کنید.
پیوندهای REST API
WordPress REST API یک ویژگی توسعه‌دهنده است که به برنامه‌ها اجازه می‌دهد با سایت وردپرس شما تعامل داشته باشند . وردپرس به صورت خودکار یک لینک REST API را به <head> سایت شما اضافه می کند تا قابل شناسایی باشد.
[php]
<link rel="https://api.w.org/" href="http://testsite.com/wp-json/" />
[/php]
با این حال، بیشتر سایت ها از API REST WordPress استفاده نمی کنند. اگر سایت شما یکی از این موارد است، می توانید با خیال راحت لینک را با این ویژگی حذف کنید.
پیوندهای RSD/WLW
پیوند RSD (Really Simple Discovery) در <head>سایت شما برای زمانی است که از این نوع خدمات استفاده می کنید. اگر این کار را نکنید، می‌توانید پیوند را با این کلید حذف کنید.
[php] <link rel="EditURI" type="application/rsd+xml" title="RSD" href="http://testsite.com/xmlrpc.php?rsd" /> [/php]
پیوند WLW برای کاربران Windows Live Writer متوقف شده در نظر گرفته شده است . اگر از آن استفاده نمی کنید، می توانید با خیال راحت این لینک را نیز حذف کنید.
[php]
<link rel="wlwmanifest" type="application/wlwmanifest+xml" href="http://testsite.com/wp-includes/wlwmanifest.xml" />
[/php]
جاسازی لینک ها oEmbed links
با استفاده از این کلید، می توانید پیوندهای oEmbed را از <head>بخش تمام پست های خود حذف کنید.
[php]
<link rel="alternate" type="application/json+oembed" href="http://testsite.com/wp-json/oembed/1.0/embed?url=http%3A%2F%2Ftestsite.com%2F2022%2F05%2Fhello-world%2F" /><link rel="alternate" type="text/xml+oembed" href="http://testsite.com/wp-json/oembed/1.0/embed?url=http%3A%2F%2Ftestsite.com%2F2022%2F05%2Fhello-world%2F&format=xml" />
[/php]
این لینک ها به سایت های دیگر کمک می کنند تا محتوای شما را مصرف کنند. با حذف آنها به هیچ یک از محتوای خود آسیبی نخواهید رساند.
برچسب ژنراتور Generator tag
تگ generator نسخه وردپرسی که سایت شما از آن استفاده می کند را نشان می دهد.
[php]
<meta name="generator" content="WordPress 6.0" />
[/php]
این تگ ارزش سئو ندارد و در واقع می تواند یک تهدید امنیتی باشد. بنابراین، شما به راحتی می توانید آن را با این ضامن حذف کنید.
اسکریپت های ایموجی Emoji scripts
اگر از ایموجی ها در محتوای خود استفاده نمی کنید، به احتمال زیاد نیازی به پشتیبانی از شکلک هایی که وردپرس به سایت خود اضافه می کند، نخواهید داشت. با این جابجایی، <link rel=’dns-prefetch’ href=’//s.w.org’ />خط و همچنین بخش طولانی اسکریپت مربوط به ایموجی ها را از سایت خود حذف خواهید کرد. تنظیمات خزیدن در Yoast SEO Premium یکی از راه حل های آن است.
هدر HTTP پینگ بک Pingback HTTP header
از پینگ بک ها برای اطلاع دادن به شما در زمانی که شخصی لینکی به سایت شما اضافه کرده است استفاده می شود. با این حال، این استاندارد بسیار قدیمی است و به احتمال زیاد دیگر از آن استفاده نمی کنید. اگر ضامن را برای حذف تغییر دهید، X-Pingback: http://testsite.com/xmlrpc.phpهدر پاسخ حذف خواهد شد.
پشتیبانی شده توسط هدر HTTP Powered by HTTP header
با این جابجایی، اطلاعات مربوط به نسخه PHP که سایت شما استفاده می کند را از سربرگ پاسخ حذف می کنید . این اطلاعات برای عملکرد صحیح سایت شما لازم نیست، بنابراین می توانید با خیال راحت آن را حذف کنید.
Feed crawl settings
تنظیمات خزیدن در Yoast SEO Premium؛ سایت شما احتمالاً URL های بیشتری از آنچه تصور می کنید دارد. به عنوان مثال، وردپرس برای محتوای زیادی در سایت شما فید ایجاد می کند. که می تواند برای خزنده ها مشکل ساز باشد. یک خزنده شروع به خزیدن URL ها می کند، و در برخی مواقع ممکن است بودجه خزیدن آن تمام شود . در نتیجه هیچ بودجه ای برای پست ها و صفحات مهم شما باقی نمی ماند. به همین دلیل عاقلانه است که آن URL ها را حذف کنید و به موتورهای جستجو اجازه دهید سایت شما را با کارایی بیشتری بخزند.
در تنظیمات Yoast SEO Premium Crawl، می‌توانید چندین سوئیچ را تغییر دهید که به شما امکان می‌دهد فیدهای مختلف را نگه دارید یا حذف کنید. ما آنها را به طور خودکار برای هر سایت حذف نمی کنیم زیرا نمی توانیم نیازهای همه کاربران Yoast SEO Premium را پیش بینی کنیم. اما، اگر مقداری از آنها دریافت نکردید، توصیه می کنیم ضامن ها را روی Remove تنظیم کنید. در زیر، می توانید ببینید که دقیقا کدام فیدها را می توانید با تنظیمات Crawl حذف کنید.
خوراک جهانی Global feed
نوع صفحه: هر صفحه
فید نمونه: http://testsite.com/feed/
فید نظرات جهانی Global comments feed
نوع صفحه: هر صفحه
فید نمونه: http://testsite.com/comments/feed/
توجه: غیرفعال کردن این فید، فید نظرات پست را نیز غیرفعال می کند.
فیدهای نویسنده پست Post author feeds
نوع صفحه: آرشیو نویسنده، به عنوان مثال، http://testsite.com/author/admin/
فید نمونه: http://testsite.com/author/admin/feed/
فیدهای نوع پست Post type feeds
نوع صفحه: بایگانی نوع پست، به عنوان مثال، http://basic.wordpress.test/my-books/
فید نمونه: http://testsite.com/my-books/feed/
فیدهای دسته Category feeds
نوع صفحه: آرشیو دسته، به عنوان مثال، http://testsite.com/fiction/
فید نمونه: http://testsite.com/category/fiction/feed/
فیدها را تگ کنید Tag feeds
نوع صفحه: آرشیو برچسب، به عنوان مثال، http://testsite.com/tag/fantasy/
فید نمونه: http://testsite.com/tag/fantasy/feed/
فیدهای طبقه بندی سفارشی Custom taxonomy feeds
نوع صفحه: آرشیو طبقه بندی سفارشی، به عنوان مثال، http://testsite.com/book-genre/crime/
فید نمونه: http://testsite.com/book-genre/crime/feed/
فیدهای نتایج جستجو Search results feeds
نوع صفحه: نتایج جستجو، به عنوان مثال، http://testsite.com/?s=world
فید نمونه: http://basic.wordpress.test/search/world/feed/rss2/
تغذیه اتم/RDF Atom/RDF feeds
نوع صفحه: هر صفحه
فید مثال: هر فید ذکر شده در بالا، اضافه کردن /atom یا /rdf در پایان، به عنوان مثال:
http://testsite.com/feed/atom
http://testsite.com/feed/rdf
http://testsite.com/comments/feed/atom
http://testsite.com/comments/feed/rdf
http://testsite.com/hello-world/feed/atom
http://testsite.com/hello-world/feed/rdf
تنظیمات پاکسازی را جستجو کنید
هرزنامه ها گاهی URL های جستجوی داخلی سایت در سایت شما را برای اهداف خود هدف قرار می دهند. این URL ها ممکن است توسط Google خزیده شوند و ممکن است توسط کاربران دیده شوند. این می تواند به سئو (و برندسازی شما) آسیب برساند! این ویژگی برخی از الگوهای رایج هرزنامه را شناسایی می کند و آنها را در مسیر خود متوقف می کند.
تنظیمات پاکسازی پیوند دائمی
اینها تنظیمات پیشرفته ای هستند که فقط در صورتی باید از آنها استفاده کنید که بدانید در حال انجام چه کاری هستید! برای اطلاعات بیشتر، مقاله تنظیمات خزیدن پیشرفته را بخوانید.
منبع: https://yoast.com/help/crawl-settings-in-yoast-seo/
درپایان
خب همانطوری که دیدین هر بار افزونه یواست سئو آپدیت میشه امکانات شگفت انگیزی را بهش اضافه می کنند. این بار تنظیمات خزیدن در Yoast SEO Premium هست مه امکانات و ویژگی های فراوانی را در اختیار ما میزاره. البته همیشه باید بدونیم که گوگل در هر روز در حال تغییر الگوریتم های خودش هست و هیچگونه مستنداتی را هم ارائه نمیده. از این رو افزونه ای مثل یواست سئو میتونه خیلی ما رو کمک کند. من احسان سماواتی هستم متخصص و مشاور دیجیتال مارکتینگ در تیم رویا وردپرس. لطفا نظرات خودتون را در بخش دیدگاه ها با من و دیگران به اشتراک بگذارید. موفق باشین
عالی بود مرسی از شما