Thu thập dữ liệu Website

Tổng quan

Trình thu thập website tự động phát hiện và trích xuất nội dung từ nhiều trang trên website của bạn. Thay vì thêm từng trang một, bạn có thể thu thập toàn bộ trang (hoặc các phần cụ thể) và tất cả nội dung được thêm vào cơ sở tri thức AI tự động.

Trình thu thập theo các liên kết để phát hiện trang, trích xuất nội dung văn bản và xử lý mọi thứ để AI của bạn có thể trả lời câu hỏi về website.

Chế độ Thu thập

Bạn có thể chọn giữa hai chế độ thu thập tùy theo nhu cầu:

Giới hạn Thu thập theo Gói

Số trang tối đa bạn có thể thu thập phụ thuộc vào gói của bạn:

Trang Được Bảo vệ bằng Mật khẩu Starter+

Cần thu thập trang sau đăng nhập? Bật tùy chọn "Trang Được Bảo vệ bằng Mật khẩu" để thu thập nội dung chỉ dành cho thành viên, bảng điều khiển hoặc bất kỳ khu vực được bảo vệ bằng mật khẩu nào trên website.

Cách Sử dụng

1. Bật công tắc "Trang Được Bảo vệ bằng Mật khẩu" trên trang thu thập
2. Nhập URL Trang Đăng nhập (ví dụ: yoursite.com/login)
3. Nhập Tên người dùng/Email và Mật khẩu
4. Nhấn Bắt đầu Thu thập - hệ thống sẽ đăng nhập trước, sau đó thu thập các trang được bảo vệ

Cách hoạt động

Khi bạn bật bảo vệ bằng mật khẩu, trình thu thập:

1. Visits your login page and detects the form fields automatically
2. Submits your credentials (including any CSRF tokens)
3. Duy trì phiên đã xác thực trong quá trình thu thập
4. Starts from where you're redirected after login (e.g., your dashboard)
5. Phát hiện và thu thập tất cả trang được bảo vệ mà nó có thể tìm thấy

Nâng cao: Tên Trường Tùy chỉnh

Nếu biểu mẫu đăng nhập của bạn sử dụng tên trường không chuẩn, mở rộng phần "Nâng cao" và chỉ định:

• Tên trường tên người dùng - Tên trường biểu mẫu cho tên người dùng/email (ví dụ: user_email)
• Tên trường mật khẩu - Tên trường biểu mẫu cho mật khẩu (ví dụ: user_pass)

Thực hành Tốt nhất

Trước khi Thu thập

• Đảm bảo website của bạn có thể truy cập và các trang tải đúng
• Check that important pages are linked from your homepage or sitemap
• For password-protected crawls, verify your credentials work

Chọn Trang

• Start with your most important pages - product pages, FAQs, services
• Sử dụng chế độ Thủ công nếu bạn chỉ cần các trang cụ thể
• Tránh thu thập trang có thông tin lỗi thời hoặc không chính xác

Sau khi Thu thập

• Xem lại nội dung đã thu thập trong cơ sở tri thức
• Xóa bất kỳ trang không liên quan nào đã được thu thập
• Kiểm thử AI của bạn với câu hỏi về nội dung đã thu thập
• Thu thập lại định kỳ để giữ nội dung cập nhật

Quản lý Trang Đã Thu thập

Sau khi hoàn tất thu thập, bạn có thể xem trước và quản lý từng trang từ phần Cơ sở Tri thức trên Bảng điều khiển.

Xem trước Nội dung Trang

1. Đi đến Bảng điều khiển và mở phần Cơ sở Tri thức
2. Nhấn vào mục thu thập để mở — bạn sẽ thấy danh sách tất cả trang đã thu thập
3. Click any page title to preview its extracted content
4. Sử dụng nút Quay lại trang để trở về danh sách trang

Chỉnh sửa Trang Riêng lẻ Starter+

Bạn có thể chỉnh sửa nội dung đã trích xuất của bất kỳ trang đã thu thập nào. Điều này hữu ích để sửa vấn đề định dạng, xóa phần không liên quan hoặc thêm thông tin bị thiếu.

1. Open the crawl item and click a page title to view its content
2. Click the Edit button at the top of the preview
3. Chỉnh sửa tiêu đề hoặc nội dung theo nhu cầu
4. Nhấn Lưu & Nhúng lại — các nhúng AI của trang sẽ được tạo lại với nội dung đã cập nhật

Thu thập lại các trang riêng lẻ Starter+

Nếu một trang trên trang web của bạn đã được cập nhật, bạn có thể thu thập lại chỉ trang đó mà không cần thu thập lại toàn bộ trang web.

1. Mở mục thu thập từ Cơ sở Tri thức
2. Click the re-crawl button next to the page you want to update
3. Xác nhận — trang sẽ được tải lại và embeddings cập nhật với nội dung mới nhất

Xóa Trang Riêng lẻ

Bạn có thể xóa các trang cụ thể khỏi lần thu thập mà không xóa toàn bộ. Điều này hữu ích để xóa trang không liên quan, trùng lặp hoặc thu thập sai.

1. Mở mục thu thập từ Cơ sở Tri thức
2. Nhấn nút xóa bên cạnh trang bạn muốn xóa
3. Xác nhận xóa — trang và các nhúng của nó sẽ bị xóa vĩnh viễn

Khắc phục Sự cố

Thu thập trả về ít trang hơn dự kiến

• Trang có thể không được liên kết từ các trang có thể phát hiện
• Một số trang có thể bị chặn bởi robots.txt
• Cloudflare hoặc dịch vụ bảo mật khác có thể chặn trình thu thập
• Solution: Use Manual mode to specify exact URLs

Thu thập được bảo vệ bằng mật khẩu thất bại

• Xác minh thông tin đăng nhập của bạn chính xác
• Kiểm tra xem đăng nhập của bạn có sử dụng CAPTCHA hoặc 2FA không
• Thử chỉ định tên trường tùy chỉnh trong cài đặt Nâng cao
• Trang của bạn có thể sử dụng xác thực dựa trên JavaScript (không được hỗ trợ)

Giải pháp thay thế nếu thu thập không hoạt động:

• Tạm thời công khai các trang, thu thập chúng, sau đó bật lại bảo vệ
• Lưu trang dưới dạng tệp HTML và tải lên qua Tải lên Hàng loạt

Nội dung xuất hiện không đầy đủ

• Một số nội dung có thể được tải qua JavaScript (không được trích xuất)
• Nội dung có thể nằm trong hình ảnh (không được trích xuất dưới dạng văn bản)
• Giải pháp: Thêm nội dung bị thiếu thủ công qua tải lên Văn bản hoặc PDF