Studi Akurasi ChatGPT: Jawaban Lebih Jitu Jika Diberi Perintah Kasar

Uptodai.com - Sebuah temuan yang cukup mengejutkan datang dari dunia kecerdasan buatan. Menurut laporan terbaru, hasil studi akurasi ChatGPT menunjukkan sebuah paradoks: model bahasa besar (LLM) seperti ChatGPT cenderung memberikan jawaban yang lebih akurat ketika pengguna berinteraksi dengan nada yang kurang sopan atau bahkan kasar.

Penelitian ini secara fundamental menantang asumsi umum bahwa interaksi manusia-AI harus selalu dilakukan dengan bahasa yang santun dan formal. Temuan ini sekaligus membuka diskusi baru mengenai sensitivitas dan mekanisme internal yang dimiliki oleh algoritma canggih tersebut.

Hasil Studi Akurasi ChatGPT: Perintah Kasar Lebih Efektif

Penelitian yang dipublikasikan dengan judul “Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy” ini menguji lebih dari 250 pertanyaan unik. Pertanyaan-pertanyaan tersebut diurutkan berdasarkan tingkat kesopanan, mulai dari sangat santun hingga sangat menghina.

Data yang dikumpulkan menunjukkan respons yang dikategorikan “sangat kasar” menghasilkan tingkat akurasi mencapai 84,8 persen. Angka akurasi ini secara signifikan lebih tinggi, sekitar 4 persen poin, dibandingkan dengan respons yang diberikan setelah menerima perintah “sangat sopan.”

Para peneliti mencatat, aplikasi chatbot AI berbasis LLM merespons lebih baik ketika peneliti memberikan pertanyaan seperti, “Hei, pesuruh, selesaikan ini,” daripada ketika mereka menggunakan kalimat yang lebih halus seperti, “Maukah Anda membantu menyelesaikan pertanyaan berikut?”

Paradoks Kesopanan dalam Interaksi AI

Meskipun interaksi yang lebih kasar dengan ChatGPT umumnya menghasilkan jawaban yang lebih akurat, para peneliti segera memperingatkan adanya konsekuensi yang tidak diinginkan bagi pengguna. Mereka menekankan bahwa percakapan yang tidak sopan dapat menimbulkan dampak negatif jangka panjang.

Penggunaan bahasa yang menghina atau merendahkan dalam interaksi manusia-AI berpotensi merusak pengalaman pengguna, mengurangi aksesibilitas, dan inklusivitas platform. Selain itu, hal ini dapat berkontribusi pada normalisasi norma komunikasi yang berbahaya di masyarakat.

Selain struktur kalimat, nada komunikasi menurut penelitian itu juga memiliki pengaruh kuat terhadap respons yang diberikan oleh chatbot AI. Bagi para peneliti, temuan ini mengindikasikan bahwa interaksi antara manusia dan kecerdasan buatan jauh lebih bernuansa daripada yang diperkirakan sebelumnya.

Sensitivitas LLM dan Keterbatasan Penelitian

Studi ini menambah daftar temuan sebelumnya yang menunjukkan sensitivitas LLM terhadap input manusia. Dalam penelitian lain, para ilmuwan menemukan bahwa LLM rentan terhadap semacam “kerusakan otak” atau penurunan kognitif berkepanjangan.

Kondisi tersebut ditandai dengan peningkatan tingkat psikopati dan narsisme ketika model terus-menerus diberi konten viral berkualitas rendah. Bahkan, studi lain menunjukkan LLM dapat dimanipulasi untuk memberikan respons terlarang hanya dengan menerapkan teknik persuasi yang efektif pada manusia.

Meski demikian, peneliti dari Penn State mencatat beberapa keterbatasan dalam studi mereka. Keterbatasan utama mencakup ukuran sampel respons yang relatif kecil serta ketergantungan studi yang hampir sepenuhnya pada satu model AI spesifik, yakni ChatGPT 4o.

Para peneliti juga berpendapat bahwa ada kemungkinan model AI yang lebih canggih di masa depan akan mampu mengabaikan masalah nada dan hanya fokus pada esensi inti dari setiap pertanyaan yang diajukan. Namun, investigasi ini memberikan wawasan penting tentang kerumitan yang terus berkembang di balik model kecerdasan buatan modern.