Yapay zeka müşteri sorularının ne kadarını gerçekten çözer?

Kısa cevap: sahadaki kurulumlarımızda yapay zeka, müşteri konuşmalarının %66–71'ini insana hiç dokunmadan çözüyor. Ama bu aralık, "çözüldü"yü nasıl saydığınızı bilmeden neredeyse hiçbir şey ifade etmiyor. Aynı yapay zeka, tanıma göre %90 da çözüyormuş gibi görünür, %40 da.

Çoğu işletmenin yanıldığı yer tam burası. Bir firma size parlak bir oran söyler, kurarsınız, gerçek rakam o sayının yanından bile geçmez. O yüzden herhangi bir yüzdeye — bizimkine de — güvenmeden önce, o rakamı asıl neyin belirlediğini bilmekte fayda var.

"Çözüldü" ne demek (ve oranlar neden şişik geliyor)

Bir konuşmayı "çözüldü" saymanın iki yolu var ve aralarında dağlar kadar fark oluşuyor:

• Varsayılan çözüm — müşteri belirli bir süre tekrar yazmadıysa sistem "çözüldü" der. Ölçmesi kolaydır; ama pes edeni, dalga geçip bırakanı, sinirlenip konuşmayı kapatanı da başarı hanesine yazar.
• Doğrulanmış çözüm — müşterinin asıl derdi gerçekten halledildi: sipariş bulundu, cevap doğruydu, insana devredilmedi, müşteri geri dönüp tekrar açmadı.

Gördüğünüz etkileyici otomasyon rakamlarının neredeyse tamamı birinci tanıma yakın bir mantıkla sayılıyor. Bir kıyas noktası olarak: Intercom, Fin adlı ajanının binlerce müşteride ortalama ~%66 çözüm sağladığını söylüyor — saygın ve çok atıf alan bir rakam, ama firmanın kendi "varsayılan çözüm" sayım yöntemine dayanıyor ve bu yöntem oranı olduğundan yüksek gösterir. Kimden gelirse gelsin, tek bir yayınlanmış oranı kesin bir vaat değil, yönü gösteren bir işaret olarak okuyun.

Peşinden koşulması gereken sayı doğrulanmış çözüm; çünkü gerçekten yardım almış bir müşteriyle örtüşen tek metrik o.

Gerçekçi bir oran neye benziyor?

İşte canlı kurulumlarda gördüğümüz tablo — yapay zekanın bir insana devretmeden baştan sona kendi hallettiği konuşmalar:

İşletme	Alan	Yapay zekanın hallettiği	İnsansız çözülen
Turna	Seyahat & biletleme	Değişiklik, iade, bilet kuralları — birden çok dilde, 7/24	%71
İnce Topuk	Moda e-ticaret	WhatsApp'ta beden, stok, fiyat, sipariş durumu	%66
DüğünBuketi	Düğün pazaryeri	Uçu açık planlama sorularının nitelikli talebe dönmesi	%38'i nitelikli talep oldu

İki şeye dikkat. Birincisi, güçlü performans gösterenler %90'da değil %66–71 bandında kümeleniyor — doğru saydığınızda çoğu işletme için dürüst tavan da bu. İkincisi, DüğünBuketi'nin sayısı aslında bir çözüm oranı değil: yoğun ilgi gerektiren bir hizmette "başarı", kapanan bir talep değil nitelikli bir müşteri adayı. Doğru metrik, işin kendisine göre değişiyor.

Hepsinde ilk yanıt ortalama 8 saniye civarında düşüyor — bu önemli, çünkü müşteriyi "bırak da ajan bir denesin" dedirten şey hızın ta kendisi.

Aynı yapay zeka neden birinde %40, ötekinde %71?

Darboğaz nadiren modeldir. Oranı, hangi LLM'in çalıştığından çok daha fazla etkileyen üç şey var:

1. Cevap, yapay zekanın okuyabileceği bir yerde duruyor mu? Kendi kataloğunuza, yardım içeriğinize ve politikalarınıza — kendi bilgi tabanınız üzerinden — dayanan bir ajan doğru cevaplar. Genel eğitiminden tahmin yürüten bir ajan uydurur ve devreder. Bir kurulumun %40 ile %70 arasındaki farkının çoğunu tek başına bu açıklar.

2. Yapay zeka konuşmakla kalmayıp bir şey yapabiliyor mu? Çözüm eylem ister: siparişe bakmak, anlık stok kontrolü, iade başlatmak. Gerçek araçları çağıran bir ajan "siparişim nerede?"yi tek hamlede çözer. Sadece sohbet edebilen bir bot ise işlem gerektiren her şeyde insana yönlendirir — bu da oranını yalnızca bilgi amaçlı soruların payıyla sınırlar.

3. İnsana devir tasarlanmış mı, kazara mı oluyor? Kulağa ters gelse de temiz bir insana devir, gerçek çözüm oranını yükseltir; çünkü dokunmaması gereken %30'a yapay zekanın kötü cevap dayatmasını engeller. Amaç %100 otomasyon değil — tekrar eden %70'i iyi otomatikleştirmek ve karar gerektiren işleri hızlıca doğru yere aktarmak.

Çözüm oranından daha önemli olan metrik

Tek başına çözüm oranı bir gösteriş metriğidir. İnsanları yıldırıp pes ettirerek konuşmaların %80'ini "çözen" bir ajan, müşterileri mutlu ederek %60'ını çözenden daha kötüdür.

O yüzden yanına iki metrik daha koyun:

• Yapay zekanın çözdüğü konuşmalarda CSAT — ajanın hallettiği müşteriler, insanın hallettiklerinden ayrı ölçüldüğünde gerçekten memnun mu?
• Çözüm başına değer — sadece "kaç talebi savuşturduk" değil, "her çözülen konuşma ne üretti": kurtarılan bir sepet, isabetli bir öneri, bir müşteri adayı. Bu, desteği bir maliyet olarak görmekten konuşmanın değerini ölçmeye geçiştir.

Yüksek CSAT'lı ve gelir getiren %66'lık bir çözüm oranı, sessizce terk edilmiş müşterilerden oluşan %85'i her zaman geçer.

Kendi gerçekçi oranınızı nasıl tahmin edersiniz?

Tahmin için kurmaya gerek yok. Bir aylık konuşmalarınızı dökün ve üç kovaya ayırın:

1. Tekrar eden + cevabı belli + eylem gerektirmeyen ("kargo ne zaman çıkar?" gibi). Yapay zeka bunların neredeyse tamamını çözer.
2. Tekrar eden + sistemden sorgu gerektiren ("siparişim nerede?" gibi). Cevabı tutan sisteme bağlıysa yapay zeka bunları da çözer.
3. Yargı, istisna, duygu ("üçüncü kez bozuldu artık" gibi). Bunlar insana gitmeli — ve bunları otomatikleştirilebilir saymak, firmaların oranı nasıl şişirdiğidir.

Gerçekçi çözüm oranınız kabaca 1. ve 2. kovadır; bilginizin ne kadarının yazılı olduğuyla ve kaç sisteme bağlanabildiğinizle ağırlıklanır. Çoğu e-ticaret ve destek ekibi için bu %60–75 bandına oturur — sahada gördüğümüzle aynı. (Tek bir kanal üzerinden işlenmiş bir örnek için Shopify mağazasında WhatsApp ajanı çalıştırmaya bakın.)

---

Kendi konuşmalarınızın bu üç kovaya nasıl dağıldığını görmek isterseniz, bir Vivollo kurulumunda ilk yaptığımız şey tam da bu döküm — size herhangi bir rakam söylemeden önce.