Tóm tắt
GPTZero — công ty làm AI detection — đã tiến hành điều tra một report cybersecurity 44 trang do EY Canada công bố cuối 2025 với tựa Points of Attack: Uncovering Cyber Threats and Fraud in Loyalty Systems. Report dán nhãn ba employee (hai partner và một senior manager) đứng tên, nhưng nội dung là một collage của vibe citations, misattributions, số liệu giả, và text do AI viết.
Thuật ngữ “vibe citing” do một engineer của GPTZero đặt ra để mô tả việc vô tình tạo reference giả thông qua LLM hallucination. Friction của việc tạo và kiểm tra citation đang khiến nhiều researcher, consultant, lawyer và public official “chấp nhận vibe”.
Phát hiện chính
URL hỏng và title không tồn tại
EY Canada không dùng footnote hay citation kiểu academic. Thay vào đó họ reference source thẳng trong text và/hoặc liệt kê trong bảng resources (trang 41–43). Bảng này có source title, description, URL cho mọi source, kèm publisher và date trong một số case.
Gần như mọi URL đều broken hoặc fake. Hơn nửa title không tương ứng nguồn thật.
Hallucination Check của GPTZero dùng định nghĩa rất specific về fake citation để giảm false positive. Một team member verify manual để đảm bảo độ chính xác.
Tuyên bố mâu thuẫn nhau
Trong Executive Summary, tác giả nói thị trường loyalty point toàn cầu là $200 tỷ, và 30–50% point không được redeem.
- Một citation Forbes giả support tuyên bố $200 tỷ market.
- Trang 10, con số $200 tỷ giờ là estimate của unredeemed point, không phải tổng giá trị toàn bộ point. Vì tác giả đã claim 50% point unredeemed, statistic mới này đòi hỏi global market value ít nhất $400 tỷ — mâu thuẫn với chính số ở Executive Summary.
- Một citation McKinsey giả support con số $200 tỷ unredeemed. Hai citation giả, hai con số không tương thích.
GPTZero truy được nguồn McKinsey giả này về một blogpost của Financial IT — một tạp chí fintech UK ít tên tuổi — đăng 6 tháng trước EY. Wording gần như giống hệt. Blog có dòng cite “McKinsey & Company: Loyalty Economics Report (2022)” — report không tồn tại. Citation giả này xuất hiện nguyên văn trong bảng reference của EY, biến nguồn invented từ một blog chất lượng thấp thành một publication Big Four.
Statistic được paraphrase ẩu
- Trang 6: 72% loyalty program report bị theft hoặc fraud. Source: Paystone (2019).
- Trang 11: cùng statistic, nhưng attribute cho “NRF 2020 summary” do Forter publish.
- Cả Paystone và Forter đều không có trong bảng reference. Source gốc thực ra là survey 2017 của Ipsos.
Một ví dụ khác:
- Trang 6: loyalty fraud attack tăng 89% từ 2019.
- Trang 11: 89% này chỉ giới hạn trong 1 năm (2018–2019), source là Forter Fraud Attack Index. Source này có tồn tại và xác nhận một phần, nhưng đã substantially out of date.
Ý nghĩa với Dev
Data poisoning là rủi ro thật
Publish một report online về cơ bản là một dạng data injection vào pool of knowledge mà internet đại diện. Khi report chứa fake info, nó có thể “poison the well” cho researcher tương lai — đặc biệt khi report được publish bởi consulting firm nổi tiếng và host trên website traffic cao.
Rủi ro này nặng hơn với AI deep-research tool — chúng dùng signal khác con người khi chọn source và do đó dễ bị data poisoning hơn.
Report EY đã được reference trong một bài Canberra Times được syndicate sang hơn 60 newspaper khắp Australia. Nó có thể đang trôi nổi qua client briefing và internal deck.
Khi build agent search web
- Đừng giả định brand mạnh = source đáng tin. Big Four publication vẫn có thể là AI slop.
- Verify citation là layer bắt buộc, không phải optional.
- Hallucination check tool (như GPTZero) đang được dùng để screen submission ở conference như IJCAI, ICLR, ICSE.
Acceptance citation “trên niềm tin” giờ là risky default
Bài viết kết: “Now, more than ever, it’s crazy to accept citations on faith — even those from a reputable source like Ernst & Young.”
Khi build retrieval-based system hoặc citation agent, default mặc định cần là verify, không phải trust.