خزنده‌های وب (Web Crawlers) داده‌های متنوعی را از صفحات وب استخراج می‌کنند. این داده‌ها بسته به هدف خزش ممکن است متفاوت باشند، اما معمولاً خزنده‌های وب به دنبال اطلاعات عمومی و قابل‌دسترسی هستند که در صفحات وب عمومی منتشر شده‌اند. در ادامه، انواع داده‌هایی که خزنده‌ها به طور عمومی استخراج می‌کنند، آمده است:

۱. محتوای متنی صفحات وب (Text Content)

خزنده‌ها به‌طور معمول محتوای متنی صفحات وب را استخراج می‌کنند. این محتوا شامل تمامی پاراگراف‌ها، تیترها و توضیحات موجود در صفحه است. داده‌های متنی یکی از اصلی‌ترین منابع اطلاعاتی برای ایندکس‌گذاری و رتبه‌بندی صفحات در موتورهای جستجو محسوب می‌شوند.

مثال:

• پست‌های وبلاگ
• مقالات خبری
• توضیحات محصولات

۲. عنوان صفحات (Page Title)

عنوان صفحه (title tag) یکی از مهم‌ترین بخش‌های اطلاعاتی است که خزنده‌ها استخراج می‌کنند. عنوان صفحه برای موتورهای جستجو و کاربران بسیار مهم است و معمولاً در نتایج جستجو به نمایش گذاشته می‌شود.

مثال:

• عنوان مقاله یا صفحه فروش محصول.

۳. متا تگ‌ها (Meta Tags)

خزنده‌ها متا تگ‌هایی مانند توضیحات متا (meta description) و کلمات کلیدی (meta keywords) را نیز استخراج می‌کنند. این متا تگ‌ها به موتورهای جستجو کمک می‌کنند تا محتوای صفحات را بهتر درک کنند.

مثال:

• Meta Description: خلاصه‌ای کوتاه از محتوای صفحه.
• Meta Keywords: کلمات کلیدی که محتوای صفحه را توصیف می‌کنند (هرچند این مورد در سال‌های اخیر کمتر اهمیت دارد).

۴. لینک‌ها (Hyperlinks)

خزنده‌ها لینک‌های داخلی و خارجی موجود در صفحات وب را استخراج می‌کنند. لینک‌ها یکی از منابع اصلی برای کشف صفحات جدید و ایجاد شبکه‌ای از ارتباطات بین صفحات هستند. همچنین، لینک‌ها برای ایندکس‌گذاری و تعیین اهمیت صفحات توسط موتورهای جستجو استفاده می‌شوند.

مثال:

• لینک‌های داخلی: لینک‌هایی که به دیگر صفحات در همان وب‌سایت اشاره دارند.
• لینک‌های خارجی: لینک‌هایی که به سایت‌های دیگر اشاره می‌کنند.

5. تصاویر و ویژگی‌های آن‌ها (Images and Alt Text)

خزنده‌ها اطلاعات مربوط به تصاویر را نیز استخراج می‌کنند، اما خود تصاویر به طور مستقیم توسط آن‌ها جمع‌آوری نمی‌شود. آن‌ها معمولاً ویژگی‌های مرتبط با تصاویر مانند alt text و عنوان تصویر را دریافت می‌کنند که به توصیف تصاویر و استفاده بهینه از آن‌ها در موتورهای جستجو کمک می‌کند.

مثال:

• Alt Text: متنی که تصویر را برای خزنده‌ها و افرادی که تصاویر را نمی‌توانند ببینند، توصیف می‌کند.

6. هدینگ‌ها (Headings – H1, H2, H3, etc.)

هدینگ‌ها (H1، H2، H3 و غیره) ساختار سلسله‌مراتبی صفحه را نشان می‌دهند. خزنده‌ها این تگ‌ها را برای درک بهتر ساختار و اولویت‌بندی اطلاعات صفحه استخراج می‌کنند. هدینگ‌ها معمولاً بخش‌های مهم متن را معرفی می‌کنند.

مثال:

• H1: عنوان اصلی صفحه
• H2: زیرعنوان‌ها و بخش‌های فرعی

7. فایل‌های قابل دانلود (Downloadable Files)

خزنده‌ها لینک‌هایی به فایل‌های قابل دانلود مانند PDF، اسناد Word یا فایل‌های Excel را جمع‌آوری می‌کنند. هرچند آن‌ها معمولاً این فایل‌ها را مستقیماً دانلود نمی‌کنند، بلکه فقط به لینک آن‌ها اشاره می‌کنند.

مثال:

• کتاب‌های الکترونیکی (eBooks)
• گزارش‌های تحقیقی

8. اطلاعات ساختاریافته (Structured Data – Schema Markup)

خزنده‌ها داده‌های ساختاریافته‌ای که با استفاده از نشانه‌گذاری‌های Schema (مانند JSON-LD یا Microdata) در صفحات وجود دارند را نیز استخراج می‌کنند. این داده‌ها به موتورهای جستجو کمک می‌کنند تا اطلاعات خاصی مانند رتبه‌بندی محصولات، زمان رویدادها یا دستورهای غذایی را بهتر درک کنند.

مثال:

• Schema Markup: رتبه‌بندی محصولات، تاریخ رویدادها، دستور پخت غذا و …

9. URL صفحات (Page URL)

خزنده‌ها URL کامل هر صفحه را استخراج می‌کنند و از آن برای ایندکس‌گذاری و همچنین کشف صفحات جدید استفاده می‌کنند.

مثال:

• https://www.example.com/blog/seo-guide

10. فایل Robots.txt و نقشه سایت (Sitemap)

خزنده‌ها به طور معمول فایل robots.txt و نقشه سایت (Sitemap) وب‌سایت‌ها را بررسی می‌کنند تا بفهمند کدام صفحات یا بخش‌ها اجازه خزیدن دارند و کدام بخش‌ها ممنوع هستند.

مثال:

• robots.txt: فایلی که نشان می‌دهد خزنده کدام صفحات را نباید بخزد.
• sitemap.xml: فایلی که لیستی از صفحات مهم سایت را ارائه می‌دهد.

11. عناصر ناوبری (Navigation Elements)

خزنده‌ها منوها، لینک‌های ناوبری و بخش‌های سربرگ و پاورقی صفحات را استخراج می‌کنند. این عناصر معمولاً شامل لینک‌های مهم به بخش‌های اصلی سایت هستند.

مثال:

• منوی اصلی سایت
• لینک‌های پاورقی به صفحات حقوقی و حریم خصوصی

12. زمان بارگذاری صفحه (Page Load Time)

خزنده‌ها می‌توانند زمان بارگذاری صفحات را نیز جمع‌آوری کنند. این داده برای رتبه‌بندی صفحات در موتورهای جستجو اهمیت دارد، زیرا سرعت سایت یکی از عوامل مهم در تجربه کاربری و سئو است.

مثال:

• زمان بارگذاری صفحه: 2.5 ثانیه

13. کد وضعیت HTTP (HTTP Status Codes)

خزنده‌ها کدهای وضعیت HTTP را که از سرور دریافت می‌کنند، ذخیره می‌کنند. این کدها نشان می‌دهند که صفحه به درستی بارگذاری شده است یا با خطاهایی مانند 404 Not Found یا 301 Redirect روبرو شده است.

مثال:

• 200 OK: صفحه به درستی بارگذاری شده است.
• 404 Not Found: صفحه پیدا نشد.

14. کلمات کلیدی و داده‌های SEO

خزنده‌ها می‌توانند کلمات کلیدی مرتبط با صفحه و دیگر داده‌های سئو مانند چگالی کلمات کلیدی و لینک‌های ورودی و خروجی را جمع‌آوری کنند. این داده‌ها برای تحلیل سئو و رتبه‌بندی سایت در موتورهای جستجو اهمیت دارد.

مثال:

• کلمات کلیدی هدف: “آموزش سئو”، “بهینه‌سازی موتور جستجو”

---

نتیجه‌گیری

خزنده‌های وب به طور معمول داده‌های عمومی و آشکار موجود در صفحات وب را استخراج می‌کنند که شامل محتوای متنی، لینک‌ها، متا تگ‌ها، تصاویر و فایل‌های مرتبط با سئو و ناوبری سایت است. این داده‌ها برای ایندکس‌گذاری صفحات، تحلیل سئو، و بهبود تجربه کاربری استفاده می‌شود.