Yaxşı demonstrasiya sistemin bir dəfə uğurlu olduğunu sübut edir. Yaxşı qiymətləndirmə isə sistemin sizin seçmədiyiniz daxiletmələr üzərində, sizin idarə etmədiyiniz şərtlərdə təkrar-təkrar uğurlu işlədiyini sübut edir. Bunlar tamamilə fərqli iddialardır və komandalar ikincisinə ehtiyac olduğu halda birincisinin əsasında məhsulu istifadəyə verirlər.
Birinci təbəqə: əsas ssenarilər
Hər agentik proses üçün məhsulun idarə etməli olduğu əsas ssenarilər toplusu var. Hər birini başdan-sona izləyirik, tam keçidi qeyd edirik və yeni icraları əsas xəttə qarşı müqayisə edirik. Hər hansı bir əsas ssenari pisləşərsə, canlıya çıxış dayandırılır.
İkinci təbəqə: hücum daxiletmələri
Əsas ssenarilər geriləmə problemlərini aşkar edir, lakin yeni nasazlıqları aşkar etmir. Bunun üçün davamlı genişlənən hücum daxiletmələri toplusu saxlayırıq: agenti keçmişdə işdən çıxarmış daxiletmələr, ehtimal etdiyimiz risklər və modelin düşüncə tərzini istismar etmək üçün xüsusi hazırlanmış nümunələr. Bu toplu yalnız genişlənir, heç vaxt azalmır.
Yaxşı qiymətləndirmə sistemin sizin seçmədiyiniz daxiletmələr üzərində, sizin idarə etmədiyiniz şərtlərdə uğurlu işlədiyini sübut edir.
Üçüncü təbəqə: ehtiyatla model-hakim qiymətləndirməsi
Üslub, format və tamlıq kimi rubrik qiymətləndirmələri üçün model əsaslı qiymətləndirmələrdən istifadə edirik, lakin heç vaxt tək başına yox. Hər model çıxışı insan tərəfindən yoxlanılır və ya rubrika güvənilənə qədər kontrol təmin olunur. Modellər zamanla yoldan çıxır; insanlar bunu vaxtında aşkar edir.
Dördüncü təbəqə: canlı izlərin təkrarı
Sonuncu və ən vacib təbəqə: real canlı izləri toplayır, həssas məlumatları çıxarır və namizəd versiyalara qarşı yenidən icra edirik. Uzun müddətdə əhəmiyyət kəsb edən yeganə qiymətləndirmə toplusu istifadəçilərinizin sizin üçün yaratdığı toplusudur.