Robot.txt là một công cụ cực kỳ mạnh mẽ khi nói đến SEO trang web của bạn. Khi bạn xuất bản một bài đăng, các bot công cụ tìm kiếm sẽ thu thập dữ liệu trang web của bạn để lập chỉ mục. Và để đảm bảo rằng trang web hoặc bài đăng của bạn được xếp hạng cao trong Trang kết quả của Công cụ tìm kiếm (SERP), bạn cần giúp ‘bot’ công cụ tìm kiếm dễ dàng khám phá các trang quan trọng nhất của nó. Và có cấu trúc tốt robot.txt file sẽ giúp hướng các bot đó đến các trang bạn muốn chúng lập chỉ mục. Ở đây bài đăng này giải thích Tầm quan trọng của tệp Robots.txt cho SEO của bạn và cách tạo một tệp txt robot tập tin cho trang web WordPress của bạn.
Robot txt WordPress là gì?
Tệp robots.txt, còn được gọi là giao thức hoặc tiêu chuẩn loại trừ robot, cho phép bạn từ chối quyền truy cập của công cụ tìm kiếm vào một số tệp và thư mục nhất định. Hoặc yêu cầu robot web (công cụ tìm kiếm) thu thập dữ liệu trang và bài đăng nào trên trang web của bạn.
Tầm quan trọng của tệp Robots.txt đối với SEO của bạn?
Như đã giải thích trước đó, tệp Robots.txt của bạn sẽ cho công cụ tìm kiếm biết những trang nào cần truy cập và lập chỉ mục trên trang web của bạn trên những trang nào không. Ví dụ: nếu bạn chỉ định trong tệp Robots.txt rằng bạn không muốn công cụ tìm kiếm có thể truy cập trang phản hồi của mình thì trang đó sẽ không thể hiển thị trong kết quả tìm kiếm và người dùng web sẽ không thể có thể tìm thấy nó Ngăn chặn các công cụ tìm kiếm truy cập vào các trang nhất định trên trang web của bạn là điều cần thiết cho cả quyền riêng tư của trang web và SEO của bạn.
Robot txt nằm ở đâu trong WordPress?
Tệp này thường nằm trong thư mục gốc của trang web của bạn. Bạn có thể xem tệp này bằng cách kết nối với trang web của mình bằng ứng dụng khách FTP. Bạn cũng có thể làm điều đó bằng cách sử dụng trình quản lý tệp cPanel.
Tôi có cần tệp txt robot WordPress không?
Theo mặc định, WordPress thiết lập tệp robots.txt nhưng hoàn toàn không thể truy cập được từ bất kỳ thư mục nào. Nhưng nếu bạn muốn thay đổi nó, bạn sẽ cần tạo tệp của riêng mình và tải nó lên thư mục gốc để thay thế.
Làm cách nào để tạo tệp txt robot?
Tạo file robots txt cho trang web của bạn rất dễ dàng và đơn giản
- Mở Notepad, Microsoft Word hoặc bất kỳ trình soạn thảo văn bản nào
- Lưu tệp dưới dạng ‘robot’ (đảm bảo chọn .txt làm phần mở rộng loại tệp)
- Tiếp theo, thêm hai dòng văn bản sau vào tệp của bạn:
Đại lý người dùng: *
Không cho phép:
‘Tác nhân người dùng’ là một từ khác để chỉ robot hoặc các công cụ tìm kiếm. Dấu hoa thị
biểu thị rằng dòng này áp dụng cho tất cả các con nhện. Ở đây, không có tệp hoặc thư mục nào được liệt kê trong dòng Không cho phép, ngụ ý rằng mọi thư mục trên trang web của bạn đều có thể được truy cập. Đây là một tập tin văn bản robot cơ bản.
Chặn các công cụ tìm kiếm khỏi toàn bộ trang web của bạn cũng là một trong những tùy chọn của robots.txt. Để thực hiện việc này, hãy thêm hai dòng này vào tệp:
Đại lý người dùng: *
Không cho phép: /
Nếu bạn muốn chặn các trình thu thập thông tin khỏi các khu vực nhất định trên trang web của mình, tệp robots.txt của bạn có thể trông giống như thế này:
Đại lý người dùng: *
Không cho phép: /cơ sở dữ liệu/
Không cho phép: /scripts/
NoteBa dòng trên cho tất cả các robot biết rằng chúng không được phép truy cập bất cứ thứ gì trong thư mục cơ sở dữ liệu và tập lệnh hoặc thư mục con.
: Hãy nhớ rằng chỉ có thể sử dụng một tệp hoặc thư mục trên mỗi dòng Không cho phép. Bạn có thể thêm bao nhiêu dòng Disallow tùy thích.
Hãy nhớ thêm tệp sơ đồ trang web XML thân thiện với công cụ tìm kiếm của bạn vào tệp văn bản robot. Điều này sẽ đảm bảo rằng các con nhện có thể tìm thấy sơ đồ trang web của bạn và dễ dàng lập chỉ mục tất cả các trang trên trang web của bạn. Sử dụng cú pháp này:
Sơ đồ trang web: http://www.mydomain.com/sitemap.xml
Sau khi hoàn tất, hãy lưu và tải tệp robots.txt lên thư mục gốc của trang web.
www.mydomain.com/robots.txt.
Sử dụng Yoast để tạo tệp robots.txt
- Các plugin SEO như Yoast có tùy chọn tạo và chỉnh sửa tệp robots.txt từ trong bảng điều khiển WordPress của bạn.
- Cài đặt Yoast SEO và điều hướng đến trang Công cụ trong menu SEO.
- Tại đây bạn có thể xem tệp robots.txt của trang web/blog của mình.
Nếu bạn không có tệp robots.txt, hãy tạo một tệp bằng cách nhấn nút Tạo tệp robots.txt.
Nếu bạn không thấy tùy chọn chỉnh sửa tệp, đó là do bạn đã tăng cường bảo mật WordPress. Bạn có thể bật tùy chọn chỉnh sửa tệp bằng cách xóa dòng sau khỏi tệp wp-config.php.
xác định (‘DISALLOW_FILE_EDIT’, đúng);
Tệp Robot.txt hiện tại của bạn sẽ xuất hiện dưới dạng:
Đại lý người dùng: *
Không cho phép: / Nếu bạn đang sử dụng SEO tất cả trong một mở Trình quản lý tính năng trang trong bảng điều khiển của bạn. Bên trong, bạn sẽ tìm thấy một tùy chọn có tênRobots.txt với một sự dễ thấy Kích hoạt
nút ngay bên dưới nó.
