AhrefsBot Là Gì?

395

1 Giới thiệu về AhrefsBot

<span style=Giới thiệu về AhrefsBot" />

AhrefsBot là một hệ thống thu thập thông tin trang website, hệ thống này sở hữu 12 nghìn tỷ cơ sở dữ liệu liên kết phục vụ cho bộ công cụ Ahrefs. Nó liên tục thu thập dữ liệu từ các trang website để lấp đầy cơ sở dữ liệu bằng các liên kết mới, đồng thời thực hiện việc kiểm tra tình trạng của những trang website cũ nhằm cung cấp dữ liệu toàn diện nhất theo từng phút đến người dùng của Ahrefs.

Dữ liệu liên kết thu thập bởi AhrefsBot từ các trang website được dùng bởi hàng ngàn digital marketer trên toàn thế giới trong việc lập kế hoạch, thực hiện, và theo dõi các chiến dịch online marketing của họ.

Dữ liệu này có giá trị rất cao cho cộng đồng SEO vì nó giúp các chuyên gia marketing hiểu rõ hơn những thuật toán cơ bản của những cỗ máy tìm kiếm lớn nhất thế giới, từ đó họ có thể tối ưu trang website cho phù hợp với các thuật toán này. Các “con bọ” sẽ ghé thăm hơn 6 triệu trang (web page) mỗi 24 giờ và các chỉ số của Ahrefs được cập nhật từ 15-30 phút.

Theo một nghiên cứu của bên thứ ba về “good bots”, AhrefsBot đứng thứ 2 về mặt hoạt động tích cực và chỉ xếp sau Googlebot.

2 AhrefsBot đang làm gì trên website của bạn?

<span style=AhrefsBot đang làm gì trên website của bạn?" />

AhrefsBot đang thu thập dữ liệu website của bạn, ghi lại các liên kết ra ngoài (outbound link) và thêm chúng vào cơ sở dữ liệu. Nó sẽ thu thập dữ liệu website một cách định kỳ để kiểm tra trạng thái hiện tại của các liên kết được tìm thấy trước đó.

Theo Ahrefs, hệ thu thập dữ liệu của họ sẽ không thu thập hay lưu trữ bất cứ thông tin nào khác về website. Nó không kích hoạt quảng cáo (nếu có) trên website cũng như không làm tăng chỉ số truy cập trong Google Analytics.

3 AhrefsBot có tuân theo file robots.txt?

Có. AhrefsBot nghiêm túc tuân theo quy tắc disallow và allow.

4 Làm thế nào để kiểm soát AhrefsBot trên website của bạn?

Như đã đề cập ở mục trên, AhrefsBot sẽ tuân theo các quy tắc đề ra trong file robots.txt của website, vì vậy chúng ta có thể hoàn toàn kiểm soát nó.

Để thay đổi tần suất ghé thăm của AhrefsBot, bạn có thể chỉ định khoảng thời gian giữa hai request liên tiếp của nó trong file robots.txt như sau:

User-agent: AhrefsBot 
Crawl-Delay: [value]

Trong đó giá trị value được tính bằng giây.

Vì một lý do nào đó bạn muốn chặn AhrefsBot ghé thăm website, hãy thêm hai dòng dưới đây vào file robots.txt:

User-agent: AhrefsBot 
Disallow: /

Lứu ý rằng AhrefsBot có thể cần thời gian để thiết lập theo các thay đổi trong file robots.txt.

Nếu file robots.txt chứa lỗi thì AhrefsBot sẽ không nhận được các quy tắc mà bạn đề ra, trong trường hợp này nó sẽ tiếp tục thu thập dữ liệu website của bạn theo cách nó đã làm trước khi gặp file robots.txt lỗi.

Comments
Loading...