Test raporu kanıtı: ekran görüntüsü neden yetmez

Yazının tamamı

Rapor teslim edilir, müşteri bir senaryoya takılır ve masaya aynı soru gelir: “Bu gerçekten denendi mi?” Elde ekran görüntüsünden başka bir şey yoksa cevap hafızaya kalır. Tester yaptığını anlatır, müşteri ikna olmaz; ikisi de haklıdır çünkü ikisinin de elinde kanıt yoktur.

Bu yazı o tartışmanın nasıl ortadan kalkacağını anlatıyor. Cevap daha çok ekran görüntüsü değil; ne çalıştırıldığını, hangi ortamda ve ne zaman çalıştırıldığını sonradan değiştirilemez biçimde tutan bir kayıt.

Ekran görüntüsü neyi kanıtlar, neyi kanıtlamaz

Bir ekran görüntüsü tek bir anı gösterir: o ekran o anda öyle görünüyordu. Görüntünün hangi sürümde, hangi cihazda ve hangi adımlardan sonra alındığını söylemez. Kırpılabilir, düzenlenebilir, başka bir oturumdan alınmış olabilir. Hata bulunduğunda işe yarar; hatanın bulunmadığı yirmi senaryonun gerçekten denendiğini göstermez.

Çalıştırma kaydı: üç şeyi birden tutmak

Çözüm, kaydı insana bırakmamak. Testerın makinesinde çalışan bir ajan ortam parmak izini alır, her senaryonun başlangıç ve bitiş damgasını yazar ve eklenen her dosyanın özetini (hash) kaydeder. Tester üstüne ekran görüntüsünü, logu ve tekrar üretim adımlarını ekler; ikisi tek pakette gider.

Kritik nokta değiştirilemezlik. Kaydı ne tester ne platform sonradan düzenleyebiliyorsa, rapor reddedildiğinde tartışma kimin ne hatırladığı üzerinden değil kaydın üzerinden yürür. İtiraz süreci de aynı kayda bakar; haklı çıkan tester ödemesini alır.

Bağımsızlık: bulan ile düzelten aynı taraf olmasın

Ürünü yazan ekip ürünü tarafsız test edemez; bu bir kusur değil, doğa. Geliştirici akışın nasıl çalışması gerektiğini bilir ve farkında olmadan o yoldan gider. Kullanıcı bilmez, başka yoldan gider. Bu yüzden bağımsız test yalnızca “dışarıdan biri baksın” demek değil: bulguyu bulan taraf düzeltmeyi de doğruluyorsa ve düzeltmeyi yapan taraf değilse, doğrulama gerçekten bağımsız olur.

Kontenjan neden kanıtın parçası

Görünmeyen rekabet, görünmeyen emeğin ikizidir. Bir işe kaç testerın alınacağı baştan yazılıysa tester kaç kişiyle yarıştığını bilerek zaman ayırır; kontenjan dolunca iş listeden kalkar. Ücret de baştan sabitse ve bulunan hata sayısına göre değişmiyorsa, sıfır hata bulunan iş de ödenir: ödenen şey hatanın kendisi değil, senaryoların çalıştırılmış olmasıdır.

Özet

Sözlükten: Değerlendirme seti (eval) · İnsan-onaylı karar (human-in-the-loop)

← Tüm yazılar