Tại đây, tôi sẽ chỉ bạn cài đặt tệp file robot.txt Website WordPress để SEO website tốt nhất. Lưu ý vài website WordPress không cần phải lập chỉ mục bởi công cụ tìm kiếm.
CONTENTS:
Tệp file Robots.txt là gì?
Robot.txt là tệp văn bản nằm ở thư mục gốc website thông báo đến trình thu thập thông tin công cụ tìm kiếm không thu thập dữ liệu website. Nó còn được gọi là Giao thức loại trừ robot ngăn công cụ tìm kiếm lập chỉ mục nội dung vô dụng.
Nói tóm lại, robot.txt nói với bot công cụ tìm kiếm thứ chúng không nên thu thập dữ liệu tại website bạn.
Đây là cách nó làm việc! Khi bot công cụ tìm kiếm sắp thu thập URL website bạn (nghĩa là nó thu thập dữ liệu, truy xuất thông tin để lập chỉ mục), nó tìm tệp robot.txt bên bạn.
Tại sao tạo file Robots.txt cho Website WordPress?
Bạn thường không cần thêm tệp file robot.txt đến website WordPress. Công cụ tìm kiếm lập chỉ mục website WordPress theo mặc định. Tuy nhiên, để SEO tốt hơn, bạn thêm tệp robot.txt vào thư mục gốc để không đồng ý công cụ tìm kiếm truy cập khu vực cụ thể thuộc website WordPress bạn.
Làm cách nào để tạo file Robots.txt cho Website WordPress?
Đăng nhập bảng điều khiển lưu trữ web WordPress. Ở đây, tôi đang sử dụng nền tảng Cloudways – Managed Cloud Hosting.
Chuyển đến tab Máy chủ từ thanh menu trên cùng rồi nhận quyền truy cập SSH / SFTP từ Quản lý máy chủ → Thông tin chính.
Sử dụng bất kỳ ứng dụng máy chủ FTP nào để truy cập tệp cơ sở dữ liệu WordPress. Tôi đang sử dụng FileZilla ở đây. Khởi chạy nó rồi kết nối với máy chủ bạn bằng cách sử dụng Master Credentials.
Khi đã kết nối, chuyển đến thư mục / ứng dụng tệp cơ sở dữ liệu WordPress. Bạn sẽ thấy thư mục khác nhau ở đó.
Giờ quay lại Nền tảng đám mây rồi từ thanh trên cùng bên trái, đi đến Ứng dụng. Chọn ứng dụng bạn muốn thêm tệp robot.txt:
Từ khung bên trái, đi đến Application Management → Application Settings → General. Bạn sẽ tìm thấy tên thư mục ứng dụng.
Quay trở lại FileZilla rồi điều hướng đến / ứng dụng / [TÊN GỌI] / public_html . Tạo tệp văn bản mới ở đây rồi đặt tên là robot.txt.
Nhấp chuột phải tệp robot.txt rồi nhấp View/Edit để mở tệp ở trình soạn thảo văn bản (Notepad là tùy chọn tiện dụng).
Xem thêm: Tăng tốc trang web WordPress
Robots.txt nâng cao cho WordPress
Công cụ tìm kiếm như Google hay Bing hỗ trợ việc sử dụng ký tự đại diện trong tệp robot.txt. Ký tự đại diện này sử dụng để đồng ý/ không đồng ý loại tệp cụ thể ở toàn bộ website WordPress.
Dấu hoa thị (*)sử dụng để xử lý loạt tùy chọn / lựa chọn.
Ở đây, tiếng * * có nghĩa là mọi hình ảnh bắt đầu bằng hình ảnh trực tuyến, với phần mở rộng jpg, sẽ không được công cụ tìm kiếm lập chỉ mục. Vài ví dụ về robot.txt của WordPress.
Ví dụ: image1.jpg, image2.jpg, imagexyz.jpg sẽ không được công cụ tìm kiếm lập chỉ mục.
Sức mạnh từ * không chỉ giới hạn ở hình ảnh. Bạn thậm chí không đồng ý tất cả tệp với phần mở rộng cụ thể.
Tuyên bố trên sẽ yêu cầu mọi công cụ tìm kiếm không đồng ý toàn bộ tệp có phần mở rộng Ấn Độ pdf pdf & Ấn Độ được tìm thấy ở thư mục tải xuống.
Bạn thậm chí không đồng ý thư mục cốt lõi WordPress nhờ sử dụng *.
Dòng trên yêu cầu công cụ tìm kiếm không thu thập dữ liệu thư mục bắt đầu bằng từ wp-.
Ví dụ: wp-gồm, wp-content, v.v. sẽ không được công cụ tìm kiếm lập chỉ mục.
Biểu tượng ký tự đại diện khác được sử dụng ở tệp robot.txt WordPress là ký hiệu đô la ($).
Câu lệnh trên yêu cầu công cụ tìm kiếm không lập chỉ mục giới thiệu .php, cả giới thiệu .php? Id = 123, v.v.
Tuy nhiên nếu bạn chỉ muốn chặn giới thiệu.php thì sao? Bạn chỉ phải bao gồm ký hiệu $ ngay sau tệp giới thiệu .php.
Ký hiệu $ đảm bảo chỉ giới thiệu .php bị chặn, không phải giới thiệu .php? Id = 123.
Bạn cũng sử dụng được $ cho thư mục.
Điều này hướng dẫn công cụ tìm kiếm không đồng ý thư mục nội dung wp cộng với mọi thư mục được đặt bên trong nội dung wp. Nếu bạn chỉ không đồng ý nội dung wp thay vì tất cả thư mục con, bạn nên sử dụng ký hiệu $.
Biểu tượng $ đảm bảo chỉ nội dung wp không được phép. Tất cả thư mục ở thư mục này vẫn truy cập.
Dưới đây là tệp robot.txt cho website Cloudways.
User-agent: *
Disallow: /admin/
Disallow: /admin/*?*
Disallow: /admin/*?
Disallow: /website/*?*
Disallow: /website/*?
Dòng đầu tiên thể hiện User-agent. Điều này đề cập đến công cụ tìm kiếm được phép truy cập, lập chỉ mục website. Danh sách đầy đủ bot công cụ tìm kiếm có sẵn ở đây .
Trong đó * nghĩa là tất cả công cụ tìm kiếm. Bạn được chỉ định từng công cụ tìm kiếm riêng biệt.
Điều này sẽ không đồng ý công cụ tìm kiếm thu thập dữ liệu thư mục người quản trị trực tuyến. Nó thường không cần thiết với công cụ tìm kiếm để lập chỉ mục thư mục này.
Nếu trang WordPress bên bạn là website, thì cách tốt nhất là hạn chế bot công cụ tìm kiếm để không thu thập truy vấn tìm kiếm.
Nếu website bạn sở hữu sơ đồ website. Thêm URL giúp bot công cụ tìm kiếm trong việc tìm kiếm tệp sơ đồ website. Điều này dẫn đến việc lập chỉ mục trang nhanh hơn.
Bao gồm những gì trong Robots.txt cho WordPress?
Bạn quyết định phần nào website WordPress mà bạn muốn được đưa vào SERP. Mọi người đều có quan điểm riêng về việc cài đặt tệp tin robot.txt WordPress. Có người khuyên không nên thêm tệp robot.txt ở WordPress. Theo tôi, người ta nên thêm rồi không đồng ý / wp-admin / thư mục. Tệp Robots.txt là công khai. Bạn tìm thấy tệp robot.txt bất kỳ website nào bằng cách truy cập www.example.com/robots.txt.
Kết luận
Như bạn thấy, tệp file robot.txt là công cụ thú vị cho SEO. Nó đồng ý chỉ ra giúp robot công cụ tìm kiếm những gì cần lập chỉ mục, những gì không lập chỉ mục. Nhưng nó phải được xử lý cẩn thận. Cấu hình xấu dẫn đến việc phá hủy toàn bộ website. Vì vậy, hãy cẩn thận!
Tôi đã hoàn thành với tệp robot.txt tại WordPress. Nếu bạn có câu hỏi nào về việc đặt tệp robot.txt, vui lòng hỏi ở phần bình luận.