AI สนับสนุนลูกค้าของ Cursor ตอบกลับด้วยข้อมูลที่ไม่มีอยู่จริง

AI ช่วยเหลือลูกค้าของ Cursor สตาร์ทอัพชื่อดัง เกิดอาการหลอนและให้ข้อมูลนโยบายการล็อกอินใหม่ที่ไม่มีอยู่จริง ส่งผลให้ผู้ใช้จำนวนมากยกเลิกบริการและสร้างความเสียหายต่อภาพลักษณ์บริษัท

ปัญหาปะทุขึ้นเมื่อผู้ใช้รายงานว่าถูกระบบล็อกเอาต์โดยไม่ทราบสาเหตุ และได้รับคำอธิบายจาก Sam ตัวแทนสนับสนุนลูกค้าว่าเป็นนโยบายใหม่ ทั้งที่จริงแล้วเป็นข้อมูลที่ AI สร้างขึ้นเอง

Michael Truell ผู้ร่วมก่อตั้ง Cursor ต้องออกมาโพสต์ขอโทษบน Reddit หลังจากปัญหาแพร่กระจายในชุมชนนักพัฒนา แต่ความเสียหายบางส่วนได้เกิดขึ้นแล้ว

ผู้เชี่ยวชาญด้าน AI ชี้ว่ากรณีนี้เป็นตัวอย่างสำคัญของ 3 ปัญหาหลัก ได้แก่ AI ทำผิดพลาดได้ AI ไม่สามารถรับผิดชอบต่อข้อผิดพลาดนั้นได้ และผู้ใช้ไม่ชอบถูกหลอกว่าได้คุยกับมนุษย์

แม้งานบริการลูกค้าจะเป็นการนำมาใช้งานยอดนิยมสำหรับ AI แต่ระบบยังขาดความเข้าอกเข้าใจและความสามารถในการแก้ปัญหาที่ซับซ้อน ซึ่งอาจทำลายความเชื่อมั่นของลูกค้าได้หากใช้ระบบอัตโนมัติเต็มรูปแบบ

ผู้เชี่ยวชาญเตือนว่าปัญหา AI หลอนอาจสร้างผลกระทบรุนแรงขึ้นในอุตสาหกรรมที่ต้องการความแม่นยำสูง เช่น สุขภาพการเงินหรือกฎหมาย โดยเฉพาะเมื่อ AI สามารถดำเนินการได้เองโดยอัตโนมัติ