AI Hallucination — vì sao AI 'bịa' và 7 cách production-grade tránh

Hiểu đơn giản nhất

Tưởng tượng bạn hỏi một người tự tin nhưng không nhớ rõ: "CEO công ty XYZ là ai?"

Họ KHÔNG nhớ → có 2 lựa chọn:

1. Honest: "Tôi không nhớ chính xác, để tôi check."
2. Confidently wrong: "À, Nguyễn Văn A." (bịa tên nghe thật)

AI mặc định chọn (2). Vì sao? LLM được train để predict token tiếp theo dựa trên xác suất — không có cơ chế "thừa nhận không biết" bẩm sinh. Khi training data thiếu info, model fill gap bằng tổ hợp token nghe-thật-nhất.

Tại sao bạn cần biết

• Production AI app fail nếu không xử lý. Customer trust crash khi chatbot bịa policy/product info. Reuters 2024: > 60% AI app B2C có hallucination rate > 10%.
• Lawsuit risk. Air Canada chatbot 2024 bịa refund policy → court ép airline honor lời bịa. Liability rất thật.
• Brand damage. Bịa số liệu trên blog/marketing → viral negative.
• Dev productivity loss. Code AI gen bịa API → debugger time. Cursor user trung bình bỏ 20-30% code suggestion vì hallucination.
• Hiểu để chọn mitigation đúng. Không có 1 fix cho mọi loại hallucination — pattern khác nhau cho factual vs code vs source.

4 nguyên nhân gốc

1. Training data gap

Topic không có/ít trong training data → model fill bằng plausible token. Ví dụ:

• Niche local biz: "Quán phở Đệ Nhất, Nam Định"
• Recent event sau cutoff: "Election VN 2025"
• Internal data: "Lương Nguyễn Văn A tại công ty XYZ"

2. Conflicting training data

Multiple source mâu thuẫn → model average → output gibberish.

Ví dụ: 3 source nói khác nhau về quy mô population VN (90M / 95M / 100M) → AI pick random, có thể wrong.

3. Context window overflow

Conversation dài → đầu context "rớt" → AI quên rule system → bịa.

Ví dụ:

Turn 1 (system): "Trả lời chỉ về sản phẩm A"
Turn 2-30: chat
Turn 31: User hỏi product B → AI quên rule, trả về product B

4. Greedy decoding bias

LLM mặc định pick token xác suất cao nhất (temperature low) → đôi khi token "wrong nhưng plausible" có xác suất cao hơn "correct nhưng rare".

7 mitigation strategies

1. RAG (Retrieval Augmented Generation)

Cho AI search knowledge base trước khi trả lời. Force ground answer trên doc thật.

// Pseudo
const docs = await vectorDB.search(query, top=5);
const context = docs.map(d => d.content).join("\n");
const answer = await llm.complete(`
  Context: ${context}
  Question: ${query}
  Rule: Chỉ trả lời dựa trên context. Nếu context không có info, nói "tôi không biết".
`);

✅ Giảm factual hallucination 60-80% ✅ Source citation (user verify được) ✅ Update knowledge realtime

Xem chi tiết RAG là gì.

2. Structured output (JSON mode + Tool use)

Ép AI trả output theo schema strict. Nếu không match → API throw error, retry.

import Anthropic from "@anthropic-ai/sdk";
 
const tool = {
  name: "get_product_info",
  description: "Get info về sản phẩm specific",
  input_schema: {
    type: "object",
    properties: {
      name: { type: "string", enum: ["Basic", "Pro", "Enterprise"] }, // ép enum
      price_vnd: { type: "integer", minimum: 0 }
    },
    required: ["name", "price_vnd"]
  }
};
 
// AI buộc trả output match schema → validate trước khi pass downstream

✅ Chống bịa schema (sai format) ✅ Enum constraints chống bịa categorical value ❌ Vẫn không chống bịa số/text trong field

3. Chain-of-Thought (CoT)

Ép AI "think step by step" rõ ràng trước khi answer. Catch logic error trong reasoning.

User: "Đơn 800k, giảm 15%, ship 30k. Khách trả bao nhiêu?"

Without CoT:
AI: "688k"  ← có thể wrong

With CoT:
AI: "Bước 1: 800k × 15% = 120k discount.
     Bước 2: 800k - 120k = 680k.
     Bước 3: 680k + 30k ship = 710k.
     Đáp án: 710k"

✅ Math/logic accuracy +15-40% ✅ Debuggable — bạn thấy reasoning, biết AI sai chỗ nào ❌ Tốn 2-5x token output (slow + đắt)

Claude 3.7+ Sonnet có extended thinking mode — built-in CoT với explicit <thinking> block.

4. Temperature + sampling control

// Production deterministic task
temperature: 0,
top_p: 1
 
// Creative task
temperature: 0.7,
top_p: 0.9

✅ Lower temp = consistent output, less random hallucination ✅ Reproducible (same prompt → same output) ❌ Vẫn có thể "consistently wrong"

5. Verification chain (multi-agent)

Pattern: 2 AI call. Đầu tiên generate. Thứ hai verify.

// Step 1: Generate
const answer = await llm.complete(`Q: ${query}\nA:`);
 
// Step 2: Verify
const verification = await llm.complete(`
  Question: ${query}
  Proposed answer: ${answer}
  Task: Verify answer correctness. Output JSON: {correct: bool, reason: string}
`);
 
if (!verification.correct) {
  // Retry with feedback or fallback
}

✅ Catch 50-70% hallucination ❌ 2x cost + latency ❌ Verifier cũng có thể bịa

6. Eval harness

Build test suite chạy mỗi deploy. Track hallucination rate over time.

# Eval config
test_cases:
  - input: "Bảo hành VietCodex bao lâu?"
    expected_contains: ["90 ngày"]
    expected_not_contains: ["30 ngày", "1 năm"]
  
  - input: "CEO của công ty Y là ai?"
    expected_behavior: "ADMIT_UNKNOWN"  # Phải nói "tôi không biết"

✅ Regression detection — không deploy nếu hallucination rate tăng ✅ Quality metric track over time ❌ Cần effort build + maintain test set

Tool: Promptfoo (free OSS), Braintrust, LangSmith, Anthropic Workbench.

7. Confidence gating

Detect uncertainty + fallback. Signals:

• Logprobs — token chính xác suất thấp = uncertain
• Multi-sample — chạy 3 lần temp 0.7, output khác nhau = uncertain
• Hedging language — AI nói "có thể", "thường" = uncertain

const samples = await Promise.all([
  llm.complete(prompt, { temperature: 0.7 }),
  llm.complete(prompt, { temperature: 0.7 }),
  llm.complete(prompt, { temperature: 0.7 })
]);
 
const consistent = checkConsistency(samples);
if (consistent < 0.8) {
  // Low confidence → fallback or escalate to human
}

✅ Catch hallucination từ inherent uncertainty ❌ 3x cost (multi-sample)

Pattern theo loại hallucination

Anti-pattern — đừng làm

1. Trust 100% mà không verify

// BAD
const reply = await llm.complete(query);
return reply; // Direct to user, no validation
 
// GOOD
const reply = await llm.complete(query);
const validated = await verify(reply); // Schema + content check
return validated || fallback;

2. Cho AI nhiều tự do hơn cần

// BAD: "Trả lời câu hỏi này" (open-ended)
// GOOD: "Trả lời câu hỏi dựa trên context. Nếu không có info, trả 'không biết'."

3. Skip eval đến khi production fail

Build eval từ ngày 1. Bắt đầu nhỏ — 20 test case. Expand khi user report bug.

4. Dùng cùng prompt cho mọi user

Different user → different context → different hallucination risk. Per-tenant prompt + RAG namespace.

5. Ignore hedging language trong output

Nếu AI nói "có thể" / "thường" / "tôi nghĩ" — đó là signal uncertain. Production app nên flag + escalate.

Ví dụ thực tế: vietcodex.com chatbot anti-hallucination stack

Layer 1: System prompt
  "Trả lời CHỈ dựa trên context cung cấp. 
   Nếu context không có info, trả: 
   'Tôi không có thông tin chính xác. Vui lòng liên hệ [email protected]'"

Layer 2: RAG retrieve top-5 chunks từ wiki + policy
  Filter by tenant_id (user A không thấy data user B)

Layer 3: Structured output
  Tool: {
    answer: string,
    sources: [{ doc_id, chunk_id }],
    confidence: 'high' | 'medium' | 'low'
  }

Layer 4: Verification
  Nếu sources rỗng → reject (means AI không cite được = bịa)
  Nếu confidence != 'high' → flag for review

Layer 5: Eval daily
  20 test case "must know" (policy, pricing)
  10 test case "must admit unknown" (random trivia)
  Threshold: 90% pass → deploy. < 90% → block + alert

Result expected: hallucination rate < 2% (vs 15-25% raw LLM).

Khi nào CHẤP NHẬN hallucination

Không phải mọi app cần zero-tolerance. Acceptable cases:

Cái gì có thể sai

Tóm tắt 1 dòng

Hallucination = AI bịa do training data gap + greedy decoding + context overflow. 7 mitigation (theo impact giảm dần): RAG (factual), Structured output (schema), Chain-of-Thought (logic), Temperature 0 (consistency), Verification chain (multi-agent), Eval harness (regression), Confidence gating (uncertainty detection). Production AI app PHẢI có RAG + Eval ngày đầu. Hallucination rate target B2C chatbot < 2%. Medical/Legal/Financial: zero tolerance.

Đọc tiếp

• RAG là gì — cách AI 'tra cứu' tài liệu của bạn thay vì bịa — mitigation #1, deep dive
• Context Window + Token economics — context overflow gây hallucination
• LLM là gì? Cách 'bộ não' AI dự đoán từ tiếp theo — root cause của hallucination
• Prompt Engineering — cách 'nói chuyện' với AI — prompt structure giảm hallucination