File robots.txt được sử dụng để các công cụ tìm kiếm biết cách thu thập thông tin từ Website của bạn. Nếu bạn đang tìm cách tạo file robots txt cho WordPress thì hãy tiếp tục theo dõi bài viết này để cùng AMAI Agency tìm hiểu ngay các bước làm đơn giản và nhanh chóng nhất nhé!
1. Các công dụng chính của file robots txt là gì?
Tệp robots.txt thường được sử dụng để quản lý lưu lượng truy cập/ traffic của trình thu nhập dữ liệu vào Website hoặc để ẩn một số tệp khỏi các công cụ tìm kiếm như Google. Tùy thuộc vào loại tệp, cách sử dụng của robots.txt có thể khác nhau như sau:
- Trang web HTML, PDF, và định dạng Google đọc được: Robots.txt có thể được sử dụng để quản lý lưu lượng thu thập dữ liệu, đặc biệt là khi máy chủ có nguy cơ quá tải do yêu cầu của trình thu nhập dữ liệu của Google. Tạo file robots txt cho WordPress cũng có thể giúp tránh thu thập các trang không quan trọng hoặc tương tự nhau trên Website.
- Tệp đa phương tiện (hình ảnh, video, âm thanh): Bạn có thể tận dụng file robots.txt để quản lý lưu lượng thu thập dữ liệu và ngăn các tệp đa phương tiện xuất hiện trong kết quả tìm kiếm Google. Tuy nhiên, nó không chặn các trang hoặc người dùng khác liên kết đến các tệp đa phương tiện này.
- Tệp tài nguyên (hình ảnh, tập lệnh, định kiểu không quan trọng): Robots.txt cũng có thể chặn các tệp tài nguyên không quan trọng, nhưng bạn cần cân nhắc kỹ lưỡng để không ảnh hưởng đến việc hiểu đúng trang web bởi các trình thu nhập dữ liệu.
Ngoài ra, việc tạo file robots txt cho WordPress hay bất kỳ loại Website nào còn mang lại nhiều lợi ích khác như:
- Giữ các trang kết quả tìm kiếm nội bộ không xuất hiện trên trang SERP.
- Tăng tốc độ tải trang nhờ bots liên tục quét site.
- Bảo vệ quyền riêng tư cho một số phần của trang.
- Chỉ định vị trí của sitemap.
- Ngăn các công cụ tìm kiếm index một số tệp cụ thể.
Lưu ý: Tạo file robots txt cho WordPress cần được thực hiện cẩn thận để tránh những vấn đề không mong muốn, và nếu không muốn ngăn chặn Web Crawler, bạn cũng không cần thiết phải tạo robots.txt.
2. Hướng dẫn tạo file robots txt cho Website WordPress từ A-Z
2.1 Một số lưu ý trước khi tạo file robots txt cho WordPress
- Đặt vị trí file robots.txt đúng: File robots.txt trên WordPress cần được đặt trong thư mục cấp cao nhất của trang web để các bot có thể tìm thấy.
- Đặt tên file đúng cách: File này phải có tên chính xác là “robots.txt”, không sử dụng “Robots.txt”, “robots.TXT”, v.v. Việc phân biệt chữ hoa và chữ thường rất quan trọng khi tạo file robots txt cho WordPress.
- Không nên Disallow các thư mục quan trọng: Tránh việc đặt /wp-content/themes/ hoặc /wp-content/plugins/ trong phần Disallow, vì điều này có thể gây hiểu lầm cho công cụ tìm kiếm về giao diện blog hoặc Website của bạn.
- Chú ý đến các User-agent bất chính: Một số User-agent không đáng tin cậy có thể bỏ qua các chỉ thị trong file robots.txt, như các bot chứa mã độc hại hoặc các công cụ tự thu thập thông tin liên quan đến địa chỉ email.
- Sử dụng cẩn thận và không ẩn thông tin cá nhân: File robots.txt thường là công cụ công khai trên web, nên hãy tránh sử dụng nó để ẩn thông tin cá nhân của người dùng.
- Tạo robots.txt riêng cho từng Subdomain: Mỗi Subdomain trên một Root Domain cần có file robots.txt riêng để chỉ ra đúng vị trí của sitemaps liên kết với domain đó.
Những nguyên tắc này sẽ giúp bạn xác định cách tạo file robots txt cho WordPress hiệu quả và quản lý nó một cách an toàn.
2.1.Tạo robots txt cho Website bằng Yoast SEO
Yoast SEO là một plugin quen thuộc với những ai muốn tối ưu hóa SEO cho website WordPress. Nó hỗ trợ tối ưu bài viết và trang web bằng cách sử dụng từ khóa một cách hiệu quả. Đồng thời, plugin này cũng giúp tăng cường khả năng đọc của bài viết, giữ chân người truy cập lâu hơn.
Nếu bạn cảm thấy hứng thú và muốn khám phá plugin này thì hãy tham khảo phần hướng dẫn dưới đây nhé:
Bước 1: Nếu bạn đã cài đặt Yoast SEO, việc tạo file robots txt cho WordPress trở nên đơn giản hơn rất nhiều. Sau khi cài đặt, bạn có thể truy cập vào tab SEO, sau đó chọn Tools trong dashboard của mình và tìm mục File editor.
Bước 2: Sau khi nhấp vào liên kết này, giao diện sẽ dẫn bạn đến một trang mới, cho phép chỉnh sửa file .htaccess mà không cần rời khỏi dashboard của WordPress. Trên trang này, nút Create robots.txt file sẽ giúp bạn tạo file robots txt cho WordPress.
Bước 3: Khi nhấp vào nút này, một tab mới sẽ hiển thị trình soạn thảo cho file robots.txt, bạn có thể chỉnh sửa trực tiếp trên đây. Tuy nhiên, bạn cần lưu ý Yoast SEO sẽ cung cấp các giá trị mặc định để ghi đè lên file robots.txt.
Bước 4: Khi thêm hoặc xóa các quy tắc mới, đừng quên nhấn Save changes to robots.txt để lưu lại những thay đổi bạn đã thực hiện.
2.2 Tích hợp bộ plugin All in One SEO Pack
All in One SEO Pack được biết đến là một plugin rất phổ biến trong cộng đồng WordPress với tính năng SEO đa dạng. Mặc dù đã bao gồm hầu hết các tính năng của Yoast SEO nhưng nhiều người dùng vẫn thích sử dụng All in One SEO Pack vì nó gọn nhẹ hơn. Do đó, việc tạo file robots txt cho WordPress trở nên rất dễ dàng chỉ với hai thao tác đơn giản:
Bước 1: Sau khi bạn đã cài đặt và thiết lập xong plugin này, chuyển đến mục All in One SEO, chọn Feature Manager trong trang quản lý dashboard. Tại đây, bạn sẽ tìm thấy tùy chọn có tên Robots.txt, với nút Activate ngay dưới để kích hoạt.
Bước 2: Bây giờ, tab mới có tên Robots.txt sẽ xuất hiện dưới menu All in One SEO. Khi nhấp vào đó, bạn sẽ thấy nhiều tùy chọn để thêm các quy tắc mới cho file robots.txt, cũng như lưu lại thay đổi hoặc xóa chúng.
Tuy nhiên, bạn không thể chỉnh sửa nội dung của file robots.txt trực tiếp từ plugin này. Phần nội dung sẽ bị mờ đi, khác với Yoast SEO cho phép bạn nhập nội dung trực tiếp vào file.
Thêm/ thay đổi/ lưu/ xóa các quy tắc khi file robots txt cho WordPress
Tuy có vẻ không tiện lợi, nhưng điều này lại giúp bạn tránh rủi ro ghi đè lên file robots.txt và gây tổn thất cho Website. Cách thêm các quy tắc mới rất đơn giản, và All in One SEO Pack cung cấp nhiều tính năng để hỗ trợ người dùng chặn các bots độc hại, chỉ cần vào tab All in One SEO là bạn có thể sử dụng được.
2.3 Tạo file robots txt cho WordPress qua FTP
Với cách tạo file robots txt cho WordPress thứ ba này, bạn không cần phải sử dụng plugin. Bạn chỉ cần mở trình soạn thảo văn bản như NotePad hoặc TextEdit, viết vài dòng nội dung, sau đó lưu lại với định dạng .txt chỉ mất vài phút thực hiện.
Sau khi tạo file robots txt cho WordPress, bạn cần kết nối với Website thông qua FileZilla FTP. Đây là một phần mềm mã nguồn mở miễn phí, được thiết kế để giúp bạn chuyển đổi các tệp tin lớn một cách dễ dàng và nhanh chóng.
Trước khi kết nối với FPT, bạn cần có các thông tin sau:
- Tên miền đã được đăng ký và trỏ về web hosting.
- Phần mềm FileZilla Client (có thể tải về từ trang chủ của FileZilla).
- Thông tin đăng nhập FTP.
Tiếp theo, để tạo file robots txt cho WordPress, bạn lần lượt làm theo các bước hướng dẫn sau đây:
Bước 1: Trong mục FTP Accounts dưới phần Files, thu thập thông tin đăng nhập FTP.
Bước 2: Mở FileZilla và truy cập vào Site Manager hoặc ấn tổ hợp phím CTRL + S cho Windows hoặc CMD + S trên Mac. Tại đây, bạn có thể thêm site mới và cấu hình thông tin FTP để FileZilla nhớ lại thông tin đăng nhập.
Bước 3: Khi đã cấu hình xong, nhấn nút Connect và OK để kết nối với server. Trước khi kết nối, hãy chắc chắn rằng thông tin đăng nhập của bạn đã chính xác.
Bước 4: Sau khi kết nối, bạn hãy chọn và di chuyển dữ liệu từ máy bên trái sang thư mục bên phải trên máy chủ và đảm bảo các tệp được đặt trong thư mục public_html trên máy chủ.
Bước 5: Sau khi kết nối thành công, di chuyển vào thư mục public_html trên server. Tại đây, bạn chỉ cần kéo và thả file robots.txt từ máy tính của bạn sang server. Hoặc bạn có thể làm điều này bằng cách click chuột phải vào file và chọn Upload.
Làm sao để biết đã tạo file robots txt cho WordPress thành công hay chưa?
Để kiểm tra xem bạn tạo file robots txt cho WordPress đã thành công hay chưa, Google Search Console đặc biệt hữu ích. Công cụ Trình kiểm tra robots.txt sẽ cho biết liệu tệp robots.txt của bạn có chặn trình thu thập dữ liệu web của Google khỏi một số URL cụ thể trên trang web hay không.
Sau đây là cách kiểm tra việc tạo file robots txt cho WordPress bằng Search Console:
Bước 1: Truy cập Google Search Console và chọn trang web bạn muốn kiểm tra.
Bước 2: Trong menu bên trái, chọn Kiểm tra robots.txt trong mục Kiểm tra URL.
Bước 3: Nhập URL của một trang cụ thể trên trang của bạn vào hộp văn bản và chọn tác nhân người dùng mà bạn muốn mô phỏng.
Bước 4: Nhấp vào nút KIỂM TRA/ TEST để kiểm tra quyền truy cập.
Bước 5: Kiểm tra xem nút KIỂM TRA hiển thị ĐƯỢC CHẤP NHẬN/ ALLOWED hay BỊ CHẶN/BLOCKED để biết liệu URL bạn nhập vào có bị chặn hay không.
Bước 6: Bạn có thể thực hiện chỉnh sửa nếu cần thiết và kiểm tra lại một lần nữa. Lưu ý rằng những thay đổi bạn thực hiện trên trang kiểm tra sẽ không áp dụng vào Website thực tế của bạn.
Bước 7: Sao chép nội dung chỉnh sửa của mình vào tệp robots.txt trên trang của bạn. Công cụ này không thực sự thay đổi tệp thực tế trên trang mà nó chỉ làm việc trên bản sao lưu trữ trong công cụ.
4. Lời kết
Chúc bạn đọc tạo file robots txt cho WordPress của mình thành công và đừng quên truy cập chuyên mục Kiến thức trên website amaiagency.com của chúng tôi để tìm hiểu thêm các thủ thuật chăm sóc Website khác nhé!
