Nếu bạn đang tự hỏi làm thế nào để tối ưu hóa file Robots.txt của Website để SEO tốt hơn , hãy đọc bài viết này của tôi!
Trong hướng dẫn nhanh này, tôi sẽ giải thích tệp robot.txt là gì, tại sao điều quan trọng là phải cải thiện thứ hạng tìm kiếm của bạn, cách chỉnh sửa nó và gửi nó cho Google.
Hãy kéo xuống!
File WordPress.txt là gì và tôi có cần phải lo lắng về nó không?
File robot.txt là một tệp trên trang web của bạn cho phép bạn từ chối các công cụ tìm kiếm truy cập vào các tệp và thư mục nhất định. Bạn có thể sử dụng nó để chặn các bot của Google (và các công cụ tìm kiếm khác) thu thập dữ liệu các trang nhất định trên trang web của bạn.
Vậy làm thế nào để từ chối truy cập vào công cụ tìm kiếm thực sự cải thiện SEO của bạn?
Nó hoạt động như thế này: Càng nhiều trang trên trang web của bạn, Google càng phải thu thập nhiều trang.
Ví dụ: nếu bạn có nhiều trang danh mục và thẻ trên blog của mình, những trang này có chất lượng thấp và không cần phải được thu thập bởi các công cụ tìm kiếm; họ chỉ tiêu thụ ngân sách thu thập dữ liệu trang web của bạn (số lượng trang được phân bổ của Google sẽ thu thập dữ liệu trên trang web của bạn tại bất kỳ thời điểm nào).
Thu thập ngân sách rất quan trọng vì nó xác định Google sẽ nhanh chóng nhận được các thay đổi của trang web của bạn như thế nào – và do đó bạn được xếp hạng nhanh như thế nào. Nó đặc biệt có thể giúp với SEO trong thương mại điện tử !
Chỉ cần cẩn thận để làm điều này, vì nó có thể gây hại cho SEO của bạn nếu làm kém. Để biết thêm thông tin về cách không lập chỉ mục đúng trang, hãy xem hướng dẫn này của DeepCrawl .
Nếu bạn đang ở trong một thị trường cạnh tranh cao với một trang web lớn, có lẽ điều này dư thừa với bạn. Tuy nhiên, nếu bạn chỉ bắt đầu blog đầu tiên của mình, xây dựng liên kết đến nội dung của bạn và tạo nhiều bài viết chất lượng cao là ưu tiên lớn hơn.
Cách tối ưu hóa file Robots.txt của Website để SEO tốt hơn
Bây giờ, hãy thảo luận về cách thực sự truy cập (hoặc tạo) và tối ưu hóa file Robots.txt của Website.
Robots.txt thường nằm trong thư mục gốc của trang web của bạn. Bạn sẽ cần kết nối với trang web của mình bằng ứng dụng khách FTP hoặc bằng cách sử dụng trình quản lý tệp của cPanel để xem nó. Nó chỉ là một tệp văn bản thông thường mà sau đó bạn có thể mở bằng Notepad.
Nếu bạn không có tệp robot.txt trong thư mục gốc của trang web, thì bạn có thể tạo một tệp. Tất cả những gì bạn cần làm là tạo một tệp văn bản mới trên máy tính của bạn và lưu nó dưới dạng tệp robots.txt. Sau đó, chỉ cần tải nó lên thư mục gốc của trang web của bạn.
Một tệp robot.txt lý sẽ trông như thế nào?
Định dạng cho tệp robot.txt thực sự đơn giản. Dòng đầu tiên thường đặt tên cho một tác nhân người dùng. Tác nhân người dùng là tên của bot tìm kiếm mà bạn đang cố gắng liên lạc. Ví dụ, Googlebot hoặc Bingbot. Bạn có thể sử dụng dấu hoa thị *để hướng dẫn tất cả các bot.
Dòng tiếp theo hướng dẫn Allow hoặc Disallow cho phép các công cụ tìm kiếm, để họ biết phần nào bạn muốn họ lập chỉ mục và phần nào bạn không muốn được lập chỉ mục.
User-Agent: *
Allow: /?display=wide
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /refer/Sitemap: https://taowebsite.com.vn/post-sitemap.xml
Sitemap: https://taowebsite.com.vn/page-sitemap.xml
Sitemap: https://taowebsite.com.vn/deals-sitemap.xml
Sitemap: https://taowebsite.com.vn/hosting-sitemap.xml
Lưu ý rằng nếu bạn đang sử dụng một plugin như Yoast hoặc All in One SEO , bạn có thể không cần thêm phần sơ đồ trang web, vì chúng tự động làm như vậy. Nếu thất bại, bạn có thể thêm nó bằng cách thủ công .
Tôi nên dùng thẻ disallow hay noindex?
Trong hướng dẫn quản trị trang web của Google, họ khuyên các quản trị viên web không sử dụng tệp robot.txt của họ để ẩn nội dung chất lượng thấp. Do đó, sử dụng tệp robot.txt của bạn để ngăn Google lập chỉ mục danh mục, ngày và các trang lưu trữ khác của bạn có thể không phải là một lựa chọn khôn ngoan.
Hãy nhớ rằng, mục đích của robot.txt là hướng dẫn các bot làm gì với nội dung chúng thu thập trên trang web của bạn. Nó không ngăn họ thu thập dữ liệu trang web của bạn.
Ngoài ra, bạn không cần thêm trang đăng nhập WordPress, thư mục quản trị viên hoặc trang đăng ký vào robot.txt vì các trang đăng nhập và đăng ký có thẻ noindex được WordPress tự động thêm vào.
Tuy nhiên, tôi khuyên bạn không nên cho phép tệp readme.html trong tệp robot.txt của mình. Tập tin readme này có thể được sử dụng bởi ai đó đang cố gắng tìm ra phiên bản WordPress nào bạn đang sử dụng. Nếu đây là một người, họ có thể dễ dàng truy cập tệp bằng cách chỉ cần duyệt đến tệp. Ngoài ra, việc đặt thẻ không cho phép có thể chặn các cuộc tấn công độc hại.
Nói về điều này, bạn cũng có thể không cho phép thư mục plugin WordPress của mình để tăng cường bảo mật trang web của bạn chống lại bất kỳ ai đang tìm kiếm một plugin dễ bị tổn thương cụ thể để khai thác.
Làm cách nào để gửi tệp WordPress.txt của tôi tới Google?
Khi bạn đã cập nhật hoặc tạo tệp robot.txt, bạn có thể gửi tệp đó cho Google bằng Google Search Console.
Tuy nhiên, tôi khuyên bạn nên thử nghiệm nó trước bằng cách sử dụng công cụ kiểm tra robot.txt của Google.
Nếu bạn không thấy phiên bản bạn đã tạo ở đây, bạn sẽ phải tải lại tệp robot.txt mà bạn đã tạo lên trang web WordPress của mình. Bạn có thể làm điều này bằng cách sử dụng Yoast SEO.
Phần kết luận
Bây giờ bạn đã biết cách tối ưu hóa file Robots.txt của Website để SEO tốt hơn chưa?
Hãy nhớ cẩn thận khi thực hiện bất kỳ thay đổi lớn nào đối với trang web của bạn thông qua robot.txt. Mặc dù những thay đổi này có thể cải thiện lưu lượng tìm kiếm của bạn, nhưng chúng cũng có thể gây hại nhiều hơn nếu bạn không cẩn thận.
Và nếu bạn đang muốn học hỏi nhiều hơn, hãy xem các hướng dẫn tuyệt vời nhất về WordPress của chúng tôi !
