ChatGPT ซูเปอร์สตาร์แห่งปัญญาประดิษฐ์ ต้องเผชิญกับคำถามในขณะที่ยังคงเดินหน้าต่อไป: มันเป็นไปตามมาตรฐานการทดสอบทัวริงในการสร้างผลลัพธ์ที่แยกไม่ออกจากการตอบสนองของมนุษย์หรือไม่? การวิจัยล่าสุดชี้ให้เห็นว่า ChatGPT แม้จะมีประสิทธิภาพดีเยี่ยม แต่ดูเหมือนว่าจะยังไม่ผ่านเกณฑ์ดังกล่าวโดยสมบูรณ์
นักวิจัยสองคนจากมหาวิทยาลัยแคลิฟอร์เนีย ซานดิเอโก, คาเมรอน โจนส์ ผู้เชี่ยวชาญด้านภาษา ความหมาย และการเรียนรู้ของเครื่องจักร และเบนจามิน เบอร์เกน ศาสตราจารย์ด้านวิทยาการรู้คิด ถามคำถามนี้โดยอ้างถึงงานของทัวริงเมื่อ 70 ปีที่แล้ว ทัวริงเสนอกระบวนการในการพิจารณาว่าเครื่องจักรสามารถบรรลุระดับสติปัญญาและความสามารถในการสนทนาที่เพียงพอที่จะหลอกผู้อื่นให้คิดว่าเป็นมนุษย์หรือไม่
รายงานของพวกเขามีชื่อว่า "Does GPT-4 Pass the Turing Test หรือไม่" สามารถพบได้บนเซิร์ฟเวอร์การพิมพ์ล่วงหน้า arXiv ในการศึกษานี้ พวกเขารวบรวมผู้เข้าร่วม 650 คนเพื่อเล่น "เกม" 1,400 เกม โดยผู้เข้าร่วมได้สนทนาสั้นๆ กับมนุษย์หรือโมเดล GPT อีกคน และขอให้พิจารณาว่าพวกเขากำลังพูดคุยกับใคร
สิ่งที่นักวิจัยค้นพบนั้นน่าทึ่งมาก โมเดล GPT-4 หลอกผู้เข้าร่วมได้ 41 เปอร์เซ็นต์ ในขณะที่ GPT-3.5 หลอกผู้เข้าร่วมได้เพียง 5 ถึง 14 เปอร์เซ็นต์เท่านั้น สิ่งที่น่าสนใจคือ มนุษย์ประสบความสำเร็จในการโน้มน้าวผู้เข้าร่วมการทดลองว่าพวกเขาไม่ใช่เครื่องจักรใน 63 เปอร์เซ็นต์ของการทดลอง
"เราไม่พบหลักฐานว่า GPT-4 ผ่านการทดสอบทัวริง" นักวิจัยสรุป อย่างไรก็ตาม พวกเขาทราบว่าการทดสอบทัวริงยังคงมีคุณค่าในการประเมินผลกระทบของการสนทนาของเครื่อง เป็นกรอบในการวัดปฏิสัมพันธ์ทางสังคมและการหลอกลวงที่ราบรื่น และในการทำความเข้าใจกลยุทธ์ของมนุษย์ในการปรับตัวให้เข้ากับอุปกรณ์เหล่านี้
อย่างไรก็ตาม พวกเขายังเตือนด้วยว่าในหลายกรณี แชทบอทจะยังคงสามารถสื่อสารได้อย่างน่าเชื่อถือ “อัตราความสำเร็จ 41 เปอร์เซ็นต์บ่งชี้ว่าโมเดล AI อาจมีความสามารถในการหลอกลวงอยู่แล้ว โดยเฉพาะอย่างยิ่งในสถานการณ์ที่มนุษย์ไม่ตื่นตัวต่อความเป็นไปได้ที่พวกเขาอาจจะไม่ได้พูดคุยกับมนุษย์” นักวิจัยตั้งข้อสังเกต แบบจำลอง AI ที่เลียนแบบมนุษย์อย่างมากอาจมีผลกระทบทางสังคมและเศรษฐกิจในวงกว้าง"
นักวิจัยตั้งข้อสังเกตว่าผู้เข้าร่วมที่ระบุ AI ได้อย่างถูกต้องกับผู้คนนั้นมุ่งเน้นไปที่ปัจจัยหลายประการ โมเดลที่เป็นทางการหรือไม่เป็นทางการเกินไปทำให้เกิดความสงสัย หากสำนวนของพวกเขาใช้คำมากเกินไปหรือกระชับเกินไป หากไวยากรณ์หรือเครื่องหมายวรรคตอนของพวกเขาดีผิดปกติหรือ "ไม่น่าเชื่อ" แย่ มันก็จะเป็นปัจจัยสำคัญในการพิจารณาว่าผู้เข้าร่วมมีปฏิสัมพันธ์กับมนุษย์หรือเครื่องจักร นอกจากนี้ ผู้เข้าร่วมยังรู้สึกไวต่อคำตอบที่ฟังดูกว้างเกินไป
นักวิจัยแนะนำว่าการติดตามโมเดล AI จะมีความสำคัญมากขึ้น เนื่องจากมีความลื่นไหลมากขึ้นและดูดซับนิสัยแปลกๆ ที่เหมือนมนุษย์ได้มากขึ้น “การระบุปัจจัยที่นำไปสู่การหลอกลวงและกลยุทธ์ในการลดความเสี่ยงจะมีความสำคัญมากขึ้น” พวกเขากล่าว การศึกษาเผยให้เห็นว่าสาขาการสนทนาอัจฉริยะยังคงเผชิญกับความท้าทาย แต่ยังให้ข้อมูลเชิงลึกที่เป็นประโยชน์เกี่ยวกับวิธีปรับปรุงโมเดล AI อีกด้วย