Thẻ meta robots là gì? Robots meta tag trong SEO

Thẻ meta robots là gì? Robots meta tag trong SEO

Thẻ meta robots là các đoạn mã cung cấp hướng dẫn cho trình thu thập thông tin về cách thu thập thông tin hoặc lập chỉ mục nội dung trang web.

Nó được đặt trong phần của trang web và trông giống như:

<meta name="robots" content="noindex" />

Mặc dù tệp robots.txt cung cấp đề xuất cho bot về cách thu thập dữ liệu các trang, thư mục, v.v. của một trang web, các lệnh meta robots (bao gồm thẻ meta robots và thẻ x-robots) cung cấp các hướng dẫn chắc chắn hơn về cách để thu thập thông tin và lập chỉ mục nội dung của một trang cụ thể.

Nói cách khác, thẻ meta robots cho phép bạn sử dụng phương pháp chi tiết ở cấp trang để kiểm soát cách Google nên lập chỉ mục và hiển thị một trang riêng lẻ cho người dùng trong kết quả của Google Tìm kiếm.

Tại sao thẻ meta robots lại quan trọng đối với SEO?

Thẻ meta robots thường được sử dụng để ngăn các trang hiển thị trong kết quả tìm kiếm, mặc dù thẻ này có các mục đích sử dụng khác.

Có nhiều loại nội dung mà bạn có thể muốn ngăn không cho các công cụ tìm kiếm lập chỉ mục:

  • Các trang có nội dung mỏng, có ít hoặc không có giá trị đối với người dùng
  • Các trang có thông tin bí mật, riêng tư
  • Trang kết quả tìm kiếm nội bộ. Ví dụ: https://khamphaseo.com/?s=seo
  • Trang đích của quảng cáo tìm kiếm có trả tiền
  • Nội dung trùng lặp
  • Các trang về các chương trình khuyến mãi, cuộc thi hoặc giới thiệu sản phẩm sắp tới
  • Rõ ràng, khi trang web của bạn phát triển, bạn nên quản lý cẩn thận khả năng thu thập dữ liệu và lập chỉ mục. Đối sánh chính xác các chỉ thị cấp trang với thẻ meta robots, thẻ x-robots với tệp robots.txt và sơ đồ trang web là rất quan trọng đối với SEO.

Sử dụng thẻ meta robots cũng giúp các công cụ tìm kiếm thu thập dữ liệu trang web của bạn hiệu quả hơn. Robot tìm kiếm có ngân sách thu thập thông tin hạn chế. Do đó, việc chặn lập chỉ mục nội dung không quan trọng giúp hướng dẫn trình thu thập thông tin đến các trang có giá trị hơn của bạn.

Các thông số kiểm soát chỉ mục

Thẻ meta robots có thể bao gồm các giá trị sau:

  • index: Cho phép các công cụ tìm kiếm lập chỉ mục một trang. Lưu ý: Bạn không cần thêm thẻ meta này vì nó là thẻ mặc định.
  • noindex: Không cho phép các công cụ tìm kiếm lập chỉ mục một trang.
  • follow: Cho phép các công cụ tìm kiếm đi theo các liên kết trên một trang để thu thập thông tin nơi các trang khác có thể được tìm thấy. Lưu ý: Bạn không cần thêm thẻ meta này vì nó là thẻ mặc định.
  • nofollow: Hướng dẫn trình thu thập thông tin không theo bất kỳ liên kết nào trên trang.
  • none: Tương đương với việc sử dụng đồng thời cả hai thẻ noindex và nofollow.
  • all: Tương đương với việc sử dụng đồng thời cả hai thẻ index và follow.
  • noimageindex: Hướng dẫn trình thu thập thông tin không lập chỉ mục bất kỳ hình ảnh nào trên một trang.
  • noarchive: Hướng dẫn các công cụ tìm kiếm không hiển thị liên kết được lưu trong bộ nhớ cache cho một trang trong kết quả tìm kiếm.
  • nocache: Tương tự như noarchive, nhưng chỉ được sử dụng bởi Internet Explorer và Firefox (theo Moz).
  • nosnippet: Hướng dẫn các công cụ tìm kiếm không hiển thị văn bản của trang (tức là mô tả meta) hoặc video clip trong kết quả tìm kiếm.
  • notranslate: Hướng dẫn các công cụ tìm kiếm không hiển thị bản dịch của một trang trong SERPs.
  • unavailable_after: Cho phép bạn chỉ định ngày và giờ chính xác mà bạn muốn dừng thu thập thông tin và lập chỉ mục trang này.

Bất kỳ lệnh nào có sẵn trong thẻ meta robots đều có thể được chỉ định làm Thẻ X-Robots.