LoveGPT: การเพิ่มขึ้นของ AI "ผู้สนิท" และเหตุใดจึงเป็นอันตราย

เมื่อวันวาเลนไทน์ใกล้เข้ามา คุ้มค่าที่จะถามคำถามที่ไม่สบายใจ: จะเกิดอะไรขึ้นเมื่อความรู้สึกที่ถูก 'มองเห็นและรับฟัง' ไม่ได้มาจากคู่ครอง แต่มาจากเครื่องจักร? ออกแบบมาพร้อมบุคลิกที่โดดเด่นและน้ำเสียงที่ให้กำลังใจ ปัญญาประดิษฐ์ (AI) แชทบอทเพื่อนคู่ใจสามารถทำให้ขอบเขตทางอารมณ์เลือนลางและส่งเสริมความผูกพันในเชิงโรแมนติก แม้ว่าอาจดูไม่เป็นอันตราย แต่ก็ทำให้เกิดความกังวลทั้งสำหรับบุคคลและองค์กรที่ต้องการป้องกันการพึ่งพาทางอารมณ์ การบิดเบือน และการรั่วไหลของข้อมูล

ด้วยความเหงาที่เป็นความจริงที่มีอยู่ตลอดเวลาสำหรับหลายคน จึงมีการเพิ่มขึ้นอย่างทวีคูณในช่วงไม่กี่ปีที่ผ่านมาของแชทบอท AI เพื่อนคู่ใจ

"ต่างจากแชทบอททั่วไป แอปพลิเคชัน AI เพื่อนคู่ใจอย่าง Replika และ Character.AI ก้าวไปอีกขั้นด้วยการนำเสนอตัวละครที่ปรับแต่งได้ – ตั้งแต่เพื่อนและคู่รักไปจนถึงบุคลิกแฟนตาซี – ที่ออกแบบมาให้รู้สึกเหมือนมนุษย์อย่างชัดเจน" Anna Collard SVP ฝ่ายกลยุทธ์เนื้อหาและที่ปรึกษา CISO ที่ KnowBe4 Africa แสดงความคิดเห็น

การเติบโตในภาคแอปพลิเคชัน AI เพื่อนคู่ใจมีความรวดเร็ว: มีการดาวน์โหลดใหม่ 60 ล้านครั้งในช่วงครึ่งแรกของปี 2025 เพียงอย่างเดียว เพิ่มขึ้น 88% เมื่อเทียบเป็นรายปี

ตลาดปัจจุบันมีแอปที่สร้างรายได้ 337 แอปทั่วโลก โดยมากกว่าหนึ่งในสามเปิดตัวในปีที่แล้วเพียงอย่างเดียว

อันตรายของเอฟเฟกต์ ELIZA

Collard กล่าวว่าผู้ใช้หลายคนถูกหลอกให้รู้สึกว่าปลอดภัยที่จะแบ่งปันการสนทนาที่ใกล้ชิดกับเครื่องจักร – ซึ่งเรียกว่าเอฟเฟกต์ ELIZA

ความผูกพันทางจิตใจนี้สร้างช่องโหว่ด้านความปลอดภัยที่สำคัญ เมื่อผู้ใช้มองว่า AI เป็น 'เพื่อน' หรือ 'คู่ครอง' พวกเขามีแนวโน้มที่จะแบ่งปันข้อมูลที่ละเอียดอ่อนมากขึ้น – ตั้งแต่ความคับข้องใจส่วนตัวและปัญหาสุขภาพไปจนถึงข้อมูลองค์กรที่เป็นกรรมสิทธิ์

ในบริบทขององค์กร นี่เป็นตัวอย่างที่ชัดเจนว่าตัวกระตุ้นทางอารมณ์สามารถเหนือกว่าการตระหนักรู้ด้านความปลอดภัยแบบดั้งเดิมได้อย่างไร

ความเสี่ยงจากการรั่วไหลของข้อมูล

ภัยคุกคามที่เร่งด่วนที่สุดสำหรับองค์กรคือการรั่วไหลของข้อมูลที่ละเอียดอ่อน เนื่องจากบอทเหล่านี้มักถูกพัฒนาโดยสตาร์ทอัพขนาดเล็กเฉพาะกลุ่มที่มีมาตรฐานการปกป้องข้อมูลที่น่าสงสัย ข้อมูลที่แบ่งปันกับบอทจึงไม่ค่อยเป็นส่วนตัว ตัวอย่างที่ชัดเจนคือกรณีล่าสุดของของเล่น AI ที่เปิดเผยบันทึกการสนทนากับเด็ก 50,000 รายการ ใครก็ตามที่มีบัญชี Gmail สามารถดูการสนทนาส่วนตัวของเด็กเหล่านี้ได้

นโยบายความเป็นส่วนตัวของแอปเหล่านี้มักไม่ชัดเจน ในบางกรณี บันทึกการสนทนาถูกใช้เพื่อฝึกฝนโมเดลต่อไปหรือจัดเก็บในฐานข้อมูลที่ไม่ปลอดภัย "จำเป็นต้องระมัดระวังอย่างแน่นอน" Collard แสดงความคิดเห็น "สิ่งที่รู้สึกเหมือนการโต้ตอบส่วนตัวที่เสี่ยงต่ำอาจมีข้อมูลที่ละเอียดอ่อน กลยุทธ์ แรงกดดันทางการเงิน ความเครียดส่วนตัว หรือรายละเอียดบริบทที่ฝ่ายตรงข้ามสามารถนำไปใช้เป็นอาวุธได้"

เมื่อรั่วไหลออกไป เธอเชื่อว่าข้อมูลสามารถกลายเป็นเชื้อเพลิงสำหรับการฟิชชิ่งที่ปรับแต่งเป็นการส่วนตัวสูง การแบล็กเมล์ หรือการโจมตีแอบอ้างตัวตน "ในแง่ความปลอดภัย นี่เป็นตัวอย่างตำราที่แสดงให้เห็นว่าพฤติกรรมส่วนตัวและความเสี่ยงขององค์กรแยกไม่ออกจากกันในปัจจุบัน"

ความเสี่ยงเหล่านี้รวมถึงผู้ดูแลที่เป็นมนุษย์ตรวจสอบการสนทนาเพื่อการฝึกอบรม การควบคุมคุณภาพ หรือวัตถุประสงค์ด้านความปลอดภัย รวมถึงผู้ใช้แบ่งปันการสนทนาโดยไม่ได้ตั้งใจผ่านลิงก์สาธารณะ ซึ่งหมายความว่าใครก็ตามที่เข้าถึงลิงก์นั้นสามารถอ่านได้ Collard เตือน "เราได้เห็นตัวอย่างในภาคเทคโนโลยีแล้วว่าข้อมูลที่เปิดเผยสามารถปรากฏขึ้นโดยไม่คาดคิดได้อย่างไร"

นอกจากนี้ องค์กรอาจถูกบังคับตามกฎหมายให้เปิดเผยข้อมูลหากแอปมีส่วนเกี่ยวข้องในการละเมิดหรือการสอบสวนทางกฎหมาย สำหรับผู้บริหารหรือนักพัฒนา การแบ่งปันเซสชัน 'ระบายความรู้สึก' เกี่ยวกับโครงการลับหรือลูกค้าที่ยาก อาจนำไปสู่การเปิดเผยข้อมูลองค์กรที่ละเอียดอ่อนโดยไม่ได้ตั้งใจ

ช่องว่างของนโยบาย

ความเสี่ยงนี้เน้นให้เห็นช่องว่างของนโยบายภายในสworkplace สมัยใหม่ แม้ว่าองค์กรส่วนใหญ่จะมีแนวทางที่ชัดเจนเกี่ยวกับความสัมพันธ์ระหว่างเพื่อนร่วมงาน แต่มีเพียงไม่กี่แห่งที่พิจารณาถึงผลกระทบของการเข้าถึงบอทหาคู่บนอุปกรณ์ทำงานหรือผ่านเครือข่ายองค์กร

การจัดการความเสี่ยงนี้ต้องการการเปลี่ยนผ่านจากการตระหนักรู้แบบง่าย ๆ ไปสู่แนวทางการจัดการความเสี่ยงของมนุษย์ (HRM) ที่แข็งแกร่ง สิ่งนี้เกี่ยวข้องกับการซ้อนทับนโยบายการใช้งานที่ชัดเจนกับมาตรการป้องกันทางเทคนิค – เช่น เครื่องมือค้นหา Shadow AI – เพื่อให้ทีม IT มองเห็นว่าตัวแทน AI ที่ไม่ได้รับอนุมัติตัวใดกำลังโต้ตอบกับสภาพแวดล้อมข้อมูลของพวกเขา ไม่เพียงพอที่จะขอให้พนักงานระมัดระวัง องค์กรต้องมีระบบเพื่อจัดการจุดตัดระหว่างอารมณ์ของมนุษย์และการโต้ตอบอัตโนมัติ

อนาคตของ social engineering

เราจะเห็นแฮกเกอร์กำหนดเป้าหมายบุคคลที่เหงาด้วยบอทจีบที่ผลิตจำนวนมากหรือไม่? Collard เชื่อว่ามันกำลังเกิดขึ้นแล้ว

"Social engineering ถูกขยายขนาดมาโดยตลอดด้วยการหาประโยชน์จากอารมณ์ ความเร่งด่วน ความกลัว ความอยากรู้ ความรัก และความดึงดูดใจ" เธอแสดงความคิดเห็น "AI เพียงแค่ทำให้เป็นอัตโนมัติในระดับขนาดใหญ่ สิ่งที่ฉันกังวลที่สุดไม่ใช่เทคโนโลยีเอง แต่เป็นวิธีที่มันเสริมพลังให้กับผู้ที่มีเจตนาร้ายในการสะท้อนความใกล้ชิดของมนุษย์อย่างน่าเชื่อ ตัวอย่างเช่น นักต้มตุ๋นโรแมนติกแบบเป็นระบบ"

ตาม Collard ในเวลาไม่กี่ปี การหลอกลวงได้วิวัฒนาการจากแบบ "เรียน ท่าน" ไปสู่การบิดเบือนที่ฉลาดทางอารมณ์ "และไม่ใช่ตัวบอทเองที่เป็นปัญหา แต่เป็นการใช้งานโดยเจตนาของพวกเขาโดยนักต้มตุ๋น" เธอกล่าว

เธอกล่าวถึงตัวอย่างของบอท LoveGPT ที่ผิดกฎหมายซึ่งช่วยนักต้มตุ๋นในการพูดสิ่งที่กระตุ้นทางจิตวิทยาที่เหมาะสมเพื่อสร้างการพึ่งพาและกระตุ้นอารมณ์ในเหยื่อของพวกเขา "สิ่งที่นักต้มตุ๋นต้องทำคือคัดลอกและวางหรือแม้กระทั่งทำการสนทนาอัตโนมัติเท่านั้น" เธอระบุ

สามารถทำอะไรได้บ้างเพื่อป้องกันไม่ให้ผู้ใช้ถูกล่า? เช่นเคย การป้องกันยังคงเป็นมนุษย์ Collard ยืนยัน "ท้ายที่สุด ไม่มีแชทบอทใดไม่ว่าจะใส่ใจหรือคล่องแคล่วทางอารมณ์เพียงใดก็ตาม สามารถแทนที่ความเชื่อมโยงของมนุษย์ที่แท้จริงได้" เธอเน้นย้ำ

หากการโต้ตอบกับแชทบอทเริ่มรู้สึกเป็นการทดแทนทางอารมณ์ เป็นความลับ หรือหยุดยากเธอเชื่อว่านั่นเป็นสัญญาณให้หยุดชั่วคราวและติดต่อบุคคลหรือผู้เชี่ยวชาญที่เชื่อถือได้ "เทคโนโลยีอาจเป็นส่วนหนึ่งของชีวิตสมัยใหม่ แต่นั่นหมายความว่าเราต้องเสริมสร้างทักษะความตระหนักรู้ทางดิจิทัลของเราเพื่อเรียนรู้วิธีการรับรู้การบิดเบือนหรือการพึ่งพาที่ถูกกระตุ้น สุดท้ายแล้ว เมื่อพูดถึงความเหงา ความเปราะบาง และความรัก การป้องกันที่ปลอดภัยที่สุดยังคงเป็นมนุษย์อย่างแน่วแน่" เธอสรุป