ChatGPT 'tembelleşti' mi? Yapay zekâ, mevsimsel depresyonda olabilir mi?

Son zamanlarda birçok kullanıcı, ChatGPT'nin performansında belirgin bir düşüş yaşandığını ifade ediyor; diğer bir deyişle, modelin "tembelleştiği" düşünülüyor. Yapılan eleştiriler arasında, ChatGPT'nin kullanıcılardan gelen sorulara artık özen göstermeden, baştan savma cevaplar verdiği bulunuyor. Bazı kullanıcılar, bu durumun kasıtlı bir müdahaleden kaynaklandığına inanıyor. Geliştirici tarafından herhangi bir kasıtlı müdahalenin olup olmadığı yakın zamana kadar belirsizliğini koruyordu. Ancak, geçtiğimiz günlerde, ChatGPT'nin resmi Twitter hesabından konuyla ilgili bir açıklama yapıldı.

Tembelliğin nedeni: "Kış tatili teorisi"

İddialar doğruysa, eğer ChatGPT'nin performansında gerçek anlamda bir düşüş varsa, bu sorunun neyden kaynaklandığı kesin olarak bilinmiyor. Konuyla ilgili çeşitli teoriler mevcut. Bazıları, yapay zekânın mevsimsel bir depresyona girmiş olabileceğini öne sürüyor... 

OMG, the AI Winter Break Hypothesis may actually be true?

There was some idle speculation that GPT-4 might perform worse in December because it "learned" to do less work over the holidays.

Here is a statistically significant test showing that this may be true. LLMs are weird. https://t.co/mtCY3lmLFF

— Ethan Mollick (@emollick) December 11, 2023

Şaka bir yana, ortaya atılanlar arasında "kış tatili teorisi" adında bir teori bulunuyor. Bu teoriye göre, Büyük Dil Modelleri (LLM'ler) mevsimsel depresyonu simüle ediyor olabilirler. Teoriye göre, ChatGPT eğitildiği verilerden, insanların genellikle Aralık ayında performanslarının düştüğünü, işlerin yavaşladığını ve büyük projelerin yarıda bırakıldığını öğrenmiş olabilir; hatta bu davranış biçimlerini taklit ediyor olabilirler.

"Aralık ayında, Mayıs ayına kıyasla daha kısa cevaplar veriyor."

Pazartesi günü, geliştirici Rob Lynch, GPT-4'ün performansını test ettiğini açıkladı. Lynch, GPT-4 Turbo üzerinde gerçekleştirdiği testlerde, modelin Aralık ayında, Mayıs ayına kıyasla daha kısa cevaplar verdiğini tespit etti. Lynch, elde ettiği sonuçların istatistiksel olarak anlamlı olduğunu savundu, ancak yapay zekâ araştırmacısı Ian Arawjo, testin temelde hatalı olduğunu ve sonuçların tekrarlanamayacağını belirtti.

@ChatGPTapp @OpenAI @tszzl @emollick @voooooogel Wild result. gpt-4-turbo over the API produces (statistically significant) shorter completions when it "thinks" its December vs. when it thinks its May (as determined by the date in the system prompt).

I took the same exact prompt… pic.twitter.com/mA7sqZUA0r

— Rob Lynch (@RobLynch99) December 11, 2023

LLM'lerin çıktılarının zaman içinde değişebileceğini ve rastgele unsurların bu değişikliklere katkıda bulunabileceğini göz önüne alarak, aynı sonuçların yeniden üretilmesinin zor olabileceğini vurguladı.

Update: Still can't reproduce at N=240. *However*, discovered a possible reason: LLM responses are *not normally distributed* (at p<0.05 according to Shapiro-Wilk test). Thus, we can't use a t-test to compare means. TLDR: There is no "seasonal affective disorder" of ChatGPT. https://t.co/R3g0Qqn1SW pic.twitter.com/Y40aAfJqWU

— Ian Arawjo (@[email protected]) (@IanArawjo) December 12, 2023

Resmi açıklama geldi

Geçtiğimiz hafta içinde ise, ChatGPT'nin resmi X (Twitter) hesabından konuyla ilgili bir açıklama yapıldı. Yapılan açıklamada, "GPT-4'ün tembelleştiğiyle alakalı tüm geri bildirimlerinizi dikkate aldık. Modeli 11 Kasım'dan bu yana güncellemedik ve karşılaştığınız sorunlar kesinlikle kasıtlı bir müdahale değil. Modelin davranışı tahmin edilemez olabilir ve bu konuda düzeltmeler yapmaya çalışıyoruz" ifadelerine yer verildi.

we've heard all your feedback about GPT4 getting lazier! we haven't updated the model since Nov 11th, and this certainly isn't intentional. model behavior can be unpredictable, and we're looking into fixing it

— ChatGPT (@ChatGPTapp) December 8, 2023