Turnitin Yapay Zekayı Gerçekten Anlıyor mu?

 

Bir fizik öğretmeninin gözünden dürüst bir değerlendirme

Geçen hafta bir meslektaşım beni aradı. "Öğrencinin ödevi Turnitin'de %94 yapay zeka çıktı," dedi, "ne yapacağımı bilemedim." Sonra başka bir öğretmen anlattı: "Kendi yazdığım makale %67 yapay zeka gösterdi, şoke oldum."

İkisi de haklı şaşkınlık içindeydi. Çünkü Turnitin'in yapay zeka tespiti, göründüğü kadar basit bir iş değil.

 Turnitin Ne Yapıyor Aslında?

 Turnitin'i "yapay zeka dedektörü" olarak tanımlamak biraz yanıltıcı. Sistem aslında şunu yapıyor: metnin ne kadar "tahmin edilebilir" olduğunu ölçüyor.

Şöyle düşünün; Yapay zeka dil modelleri metni kelime kelime üretiyor. Her kelimeyi seçerken "bu bağlamda en olası kelime nedir?" sorusunu soruyor. Bu yüzden yapay zeka metinleri istatistiksel olarak çok "düzgün" — çok az sürpriz, çok az sapma, çok az beklenmedik kelime seçimi var. 

Turnitin da bunu ölçüyor: "Bu metin istatistiksel olarak ne kadar öngörülebilir?"

 Sonucu yüzde ile ifade ediyor: %X oranında yapay zeka tarafından yazılmış olabilir.

 Peki Ya Hataları?

 İşte burada iş karmaşıklaşıyor.

 Yanlış pozitif denen bir sorun var — yani insan tarafından yazılmış metni yapay zeka sanmak. Bu hiç de nadir değil.

 Kim yüksek skor alıyor?

- Teknik ve bilimsel metinler yazan insanlar. Fizik, kimya, matematik. Çünkü bu alanlarda kullanılan dil zaten çok standarttır. "Kütle ivme ile ters, kuvvetle doğru orantılıdır" cümlesini farklı nasıl yazarsın ki?

- İkinci dilde yazan öğrenciler. Türkçe'yi anadil olarak konuşan bir öğrenci İngilizce ödev yazarken daha basit, daha kalıplaşmış cümleler kurar. Turnitin bunu yapay zeka sanabiliyor. 

- Çok düzgün, hatasız yazan insanlar. Dilbilgisi hataları bile insansallığın kanıtı sayılabiliyor bu sistemde. Garip, değil mi?

Rakamlar Ne Kadar Güvenilir?

Turnitin'in kendi açıkladığı rakamlara göre:

- %1 yanlış pozitif oranı hedefleniyor (yani 100 insan metninden 1'i yanlışlıkla yapay zeka sayılıyor)

- Ama bu oran tüm metinler için geçerli değil, koşullara göre değişiyor.

Bağımsız araştırmacılar farklı sonuçlar buluyor. Özellikle teknik alanlarda ve yabancı dilde yazılan metinlerde hata oranının çok daha yüksek olduğu raporlanıyor.

Şunu söylemek gerekiyor: %94 yapay zeka skoru "bu öğrenci kesinlikle hile yaptı" anlamına gelmiyor. Yüksek olasılık ifade ediyor, kesinlik değil.

Peki Asıl Mesele Ne?

Bir yapay zeka etik kurulu üyesi olarak şunu söylemem gerekiyor: Turnitin'in hata yapıp yapmadığı ikincil bir soru. Asıl soru şu — öğrenciler neden yapay zeka kullanma ihtiyacı hissediyor? Araç tespiti üzerine kurulu bir sistem, dürüstlük kültürü oluşturmuyor. Öğrenciye "yakalanmayacaksam sorun yok" mesajı veriyor. Oysa etik yapay zeka kullanımı "kullanma/kullanma" ikilemiyle değil, "nasıl, ne zaman, ne kadar şeffaf" sorularıyla ilgili.

Öğretmen Olarak Ne Yapmalı?

 Turnitin raporunu tek başına delil olarak kullanmak adil değil. Sistem bunu kendisi de söylüyor açıkçası.

Benim önerim:

 Raporu bir ipucu olarak gör, mahkumiyet kararı olarak değil.

Yüksek skor çıktığında şu soruları sor:

- Öğrenci bu konuyu sınıfta anlatabiliyor mu?

- Ödev ile öğrencinin genel yazma tarzı uyuşuyor mu?

- Sözlü olarak savunabilir mi?

 Bir öğrenci kendi yazdığı ödevi sözlü olarak savunabiliyorsa, iş bitti. O metin onun.

Öğrenci Olarak Ne Yapmalı?

 Dürüst olmak gerekirse — yapay zekayı  kullandıysanız, kullanmamış gibi görünmek için bir şey yapmanıza gerek yok.

 Ama şunu bilin: teknik bir alanda, standart bir dilde yazıyorsanız skor yüksek çıkabilir. Bu durumda yapabileceğiniz şeyler:

- Kendi ses tonunuzu, kendi kelimelerinizi koruyun

- Kişisel gözlem ve örnekler ekleyin — bunlar çok insani detaylardır

- Ödevinizin taslak aşamalarını saklayın, gerekirse gösterin

Sonuç: Araç İyi Ama Sınırlı

Turnitin'in yapay zeka tespiti faydalı bir araç. Ama sihirli bir yargıç değil.

 Bir fizik öğretmeni olarak şunu gördüm: en iyi "kopya tespit sistemi" hâlâ öğrenciyi tanımak. Onun nasıl düşündüğünü, nasıl yazdığını, hangi kavramlarla boğuştuğunu bilmek. Hiçbir algoritma bunu tam olarak yapamıyor.

 Teknoloji gelişiyor, araçlar iyileşiyor — ama öğretmenlik sezgisinin yerini henüz hiçbir yazılım alamadı.

 

Bu yazıyı yararlı buldunuz mu? Turnitin veya yapay zeka hakkında sorularınız varsa yorum bölümünde buluşalım.