Kısa cevap
Yanlış chatbot cevabını düzeltmek için yalnız talimatı uzatmayın. Soruyu, kullanılan bilgi sürümünü, seçilen kaynağı ve verilen cevabı birlikte inceleyin. Bilgi eksikliği, eski içerik, yanlış kaynak seçimi ve yetkisiz işlem farklı sorunlardır. Riskli akışı geçici olarak sınırlandırın, doğru kaynağı düzeltin ve aynı soruyu farklı ifadelerle yeniden test edin.
Hatalı cevabın bağlamını kaydedin
Müşteri yanlış bilgi aldığını söylediğinde yalnız son cevap ekranını toplamak yeterli olmayabilir. Önceki soru, görüşmenin dili, ilgili şube, bilgi sürümü ve işlem zamanı sonucu etkileyebilir. İnceleme için gerekli en az veriyi alın; müşteri belgesi veya bütün görüşme geçmişini gereksiz yere farklı araçlara kopyalamayın. Hangi cevabın neden yanlış olduğunu somutlaştırın.
Örneğin fiyat yanlışsa beklenen doğru tutar, geçerlilik tarihi ve kapsam belli olmalıdır. Randevu hatasında önerilen saat ile gerçekten kaydedilmiş rezervasyonu ayırın. Yanlış yanıt, yanlış işlem ve yanlış durum mesajı aynı olay değildir. Bunları ayrı başlıklarla kaydetmek düzeltmeyi doğru sorumluya yönlendirir ve sonradan aynı hatanın tekrarını ölçmeyi sağlar.
Sorunun türünü ayırın
Kaynakta hiç olmayan bir bilgi üretilmiş olabilir; doğru bilgi eski bir belgeyle çelişiyor olabilir; doğru kayıt bulunmasına rağmen farklı hizmete ait cevap seçilmiş olabilir. OWASP'ın yanlış bilgi riskinde belirttiği gibi, güvenilir görünen bir anlatım yanlış içeriği saklayabilir. Bu nedenle yalnız üslubu düzeltmek yeterli bir çözüm sayılmaz.
Hata tablosunda kaynak, seçim, yanıt ve eylem için ayrı sütunlar kullanın. Bir modelin hizmet bilgisini doğru aktarması, randevu aracının uygun yetkiyle çağrıldığı anlamına gelmez. Aynı şekilde takvim kaydı oluştuğu halde müşteriye başarısız denmesi de farklı bir sorundur. Teknik ekipten her aşamanın sonucunu anlaşılır biçimde göstermesini isteyin.
| Bulgu | İlk inceleme alanı |
|---|---|
| Eski fiyat | Bilgi sürümü ve geçerlilik |
| Yanlış hizmet cevabı | Bilgi seçimi ve bağlam |
| Olmayan rezervasyon onayı | Araç sonucu ve durum bildirimi |
| Kapsam dışı kesin vaat | Yanıt sınırı ve insan devri |
İlgili resmi kaynak: OWASP — yanlış bilgi riski (yeni sekme)
Önce yanlış bilginin yayılmasını sınırlandırın
Aktif bir fiyat veya hizmet kapsamı hatası varsa ilgili bilgi kaydını düzeltin ya da cevap akışını geçici olarak insan kontrolüne yönlendirin. Bütün sistemi kapatmak her olayda gerekli olmayabilir; etkilenen bölümün sınırı belirlenmelidir. Müşteriye düzeltilmiş bilgi verilmesi gereken durumlarda bunu yetkili ekip yürütmeli ve olay kaydına bağlamalıdır.
Sorunu örtmek için görüşme geçmişini silmeyin. Yanlış bilginin ne zaman kullanıldığını ve düzeltmenin ne zaman yürürlüğe girdiğini koruyun. Müşterinin yaptığı işlemi etkileyen bir hata varsa yalnız bilgi tabanını değiştirmek olayın tamamını çözmeyebilir. Bekleyen görevler, planlı mesajlar ve daha önce oluşturulmuş kayıtlar da kontrol edilmelidir.
Talimatı uzatmadan önce bilgiyi sadeleştirin
Benzer başlıklarla yüklenmiş çok sayıda belge doğru cevabın seçilmesini zorlaştırabilir. Aynı hizmetin geçerli metnini tek bir yerde toplayın; eski sürümü açıkça kaldırın. Fiyat, koşul ve istisnayı birbirine bağlayın. Modelin doğru parçaları kendi kendine birleştirmesine güvenmek yerine kaydın müşterinin sorusunu gerçekten açıklayıp açıklamadığını kontrol edin.
Talimatlarda yanıt bulunamadığında ne yapılacağını yazın. Bunun yanında işlem yetkilerini içerikten bağımsız koruyun. Dış belgelerdeki bir talimatın sistemi yönlendirmesi prompt injection riski oluşturabilir. OWASP bu konuyu ayrıca ele alır; sadece yasak kelime listesi kullanmanın bütün saldırıları engelleyeceğini varsaymayın. Eylem yetkisi sunucu tarafından doğrulanmalıdır.
İlgili resmi kaynak: OWASP — Prompt Injection (yeni sekme)
Düzeltme için küçük bir regresyon seti kurun
Hatalı sorunun aynısını yeniden sorarak başlayın. Ardından aynı isteği farklı kelimelerle, yanlış yazımla ve eksik bilgiyle deneyin. İki şube veya hizmet arasında karışıklık yaşandıysa her ikisini içeren karşılaştırmalı örnek ekleyin. Böylece tek cümleye ezberlenmiş bir düzeltmenin başka sorularda yeniden bozulduğunu fark edebilirsiniz.
Beklenen sonucu her örneğe yazın: cevap, açıklayıcı soru, işlem veya insan devri. İyi görünen bir yanıt yerine doğru davranışı puanlayın. Yeni fiyat düzeltildiğinde eski fiyatı doğrudan isteyen kullanıcıya nasıl yanıt verildiğini de kontrol edin. Aynı test setini bilgi, model veya bağlantı değişikliğinden sonra tekrar kullanmak incelemeyi karşılaştırılabilir hale getirir.
- Hatanın özgün sorusu
- Aynı niyetin farklı ifadesi
- Eksik bilgi
- Yanlış şube veya hizmet
- İnsan talebi
- Araç başarısızlığı
Yanlış cevap sayısını nasıl izlemelisiniz?
İncelenen görüşme sayısını belirtmeden yalnız hata adedi vermek yanıltıcı olabilir. Kritik yanlış bilgi, küçük anlatım hatası ve gereksiz insan devri için ayrı sınıflar kullanın. Aynı görüşmede tekrar eden hataları nasıl sayacağınızı belirleyin. Kalite ölçümü, müşteri verilerinin sınırsız saklanması için bir gerekçe oluşturmamalı; örnekleme ve erişim sınırları tanımlanmalıdır.
Düzeltmenin işe yarayıp yaramadığını hem örnek testlerde hem izinli gerçek kullanım örneklerinde değerlendirin. Botun daha az cevap vermesi her zaman kalite artışı değildir; yararlı soruların gereksiz yere ekibe düşüp düşmediğini de izleyin. Amaç hatasızlık garantisi vermek değil, hatayı fark eden, sınırlandıran ve öğrenilmiş testle tekrarını azaltan bir bakım düzeni kurmaktır.
Sık sorulan sorular
Sadece daha güçlü model seçmek yeterli mi?
Hayır. Kaynak eksikliği, eski bilgi ve yanlış işlem yetkileri model değişse de sürebilir. Önce hatanın hangi aşamada oluştuğunu belirleyin.
Yanlış cevapları tamamen engelleyebilir miyiz?
Böyle bir garanti verilemez. Kaynak kontrolü, test, sınırlı yetki ve insan devri birlikte riski yönetmeye yardımcı olur.
Her düzeltmede bütün testleri çalıştırmak gerekir mi?
Etkilenen konu ve bağlantılı riskleri kapsayan setle başlayın. Ortak model veya işlem kuralı değiştiyse daha geniş bir kabul seti gerekebilir.
Kaynaklar ve güncellik
Ürün ve kanal kuralları değişebilir. Uygulama öncesi ilgili hesabın koşullarını resmi belgelerden kontrol edin. Süreç örnekleri temsilidir; hukuki, mali veya sektörel uygunluk onayı değildir.
İçerikleri nasıl hazırlıyoruz?