# robots.txt cho khoahoc.vuduykien.com # # Trước khi có tệp này, Cloudflare tự trả về một bản mặc định của họ — bản ấy # không có dòng Sitemap và không chặn khu nào cả. Có tệp riêng thì bản mặc định # nhường chỗ. # # Chặn ở đây KHÔNG PHẢI là lớp bảo mật. Khu quản trị và mọi đường /api/ đã có # khoá chắn thật ở máy chủ; ghi vào đây chỉ để máy tìm kiếm khỏi gõ cửa và khỏi # đem những đường ấy ra hiện. Ai cũng đọc được tệp này, nên không bao giờ viết # vào đây một đường dẫn bí mật. # ── Luật chung ────────────────────────────────────────────────────────────── # # `Content-Signal` là cách khai quyền theo chuẩn contentsignals.org: cho phép # việc này, không cho phép việc kia, ghi bằng câu máy đọc được. Ba tín hiệu: # # search=yes → CHO lập chỉ mục và hiện trong kết quả tìm kiếm. # ai-input=yes → CHO trích dẫn khi trả lời câu hỏi, miễn là có dẫn nguồn. # Người ta ngày càng hỏi trợ lý AI thay vì gõ Google; chặn # chỗ này là tự bịt một đường người học tìm tới anh. # ai-train=no → KHÔNG cho lấy nội dung khóa học đi huấn luyện mô hình. # Chương trình năm buổi là thứ anh mất nhiều năm mới dựng # được, và việc đem nó đi huấn luyện thì anh không được gì. # # ⚠️ Anh Kiên đọc lại ba dòng trên xem có đúng ý không. Đây là quyết định kinh # doanh chứ không phải kỹ thuật — muốn đổi thì sửa thẳng ở đây, `yes` thành `no` # hoặc ngược lại, rồi chạy `npm run deploy`. # # GV-0166 (30/9/2026, lối cho AI): thêm ba dòng chặn cho MỌI máy — `/goc-hoc-vien` (Góc học # viên, đăng nhập mới vào được, chứa việc học của từng người), `/thanh-toan` (trang chuyển # khoản mang mã đơn và tên người mua) — và nhóm bot tìm-trả-lời/agent bên dưới. Chuẩn: # 0.Dieu hanh\02.Quy-trinh\09.trang-cho-AI-va-MCP.md mục 1.4 ("bắt buộc" chặn khu riêng tư với mọi bot). User-agent: * Content-Signal: search=yes, ai-input=yes, ai-train=no Allow: / Disallow: /quan-tri Disallow: /api/ Disallow: /goc-hoc-vien Disallow: /thanh-toan Disallow: /thanh-toan.html # ── Máy TÌM-TRẢ LỜI và AGENT làm theo yêu cầu người dùng (GV-0166) ─────────── # # Đây là lúc CÓ NGƯỜI THẬT đang hỏi ("khóa NCKH55 học phí bao nhiêu, khai giảng khi nào") và # câu trả lời kèm đường dẫn về trang này — đúng loại máy nên đón. Cho vào `/` (trang bán, giá, # hỏi đáp, /llms.txt, /llms-full.txt, /index.md, /.md, /cho-ai/, /mcp). # # ⚠️ Máy nào có nhóm riêng thì BỎ QUA nhóm `*` ở trên, nên các dòng chặn khu riêng tư phải chép # lại ĐỦ ở đây — thiếu là chính nhóm này lọt vào Góc học viên. Bộ kiểm cong-cu/kiem-cho-ai.mjs # đối chiếu từng máy với từng đường riêng tư. # # Không đổi quyết định cũ của anh: nhóm HUẤN LUYỆN ngay bên dưới vẫn chặn cả trang (ai-train=no). User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User Content-Signal: search=yes, ai-input=yes, ai-train=no Allow: / Disallow: /quan-tri Disallow: /api/ Disallow: /goc-hoc-vien Disallow: /thanh-toan Disallow: /thanh-toan.html # ── Chặn riêng những máy đi thu nội dung để HUẤN LUYỆN ────────────────────── # # Phải viết thêm phần này vì `Content-Signal` là chuẩn mới, chưa phải ai cũng # đọc. Còn `Disallow` thì mọi máy thu thập tử tế đều đã theo từ hai mươi năm nay. # # Chọn lọc chứ không chặn bừa. Nguyên tắc: máy nào ĐEM NGƯỜI ĐỌC TỚI TRANG thì # giữ, máy nào chỉ LẤY CHỮ MANG ĐI thì chặn. # # Google-Extended chỉ điều khiển việc huấn luyện Gemini. Chặn nó KHÔNG ảnh # hưởng gì tới thứ hạng trên Google Tìm kiếm — Googlebot là # một máy khác, vẫn chạy bình thường. # Applebot-Extended tương tự cho Apple; Applebot thường vẫn được vào. # CCBot Common Crawl, kho chữ mà rất nhiều mô hình lấy về dùng. # # KHÔNG chặn ChatGPT-User, OAI-SearchBot, PerplexityBot: đó là lúc có người thật # đang hỏi và câu trả lời sẽ kèm đường dẫn về trang này. User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: CCBot Disallow: / User-agent: anthropic-ai Disallow: / User-agent: ClaudeBot Disallow: / User-agent: meta-externalagent Disallow: / User-agent: Bytespider Disallow: / Sitemap: https://khoahoc.vuduykien.com/sitemap.xml