Pontosság
Milyen megbízhatóan veszi észre valaki a ténybeli, számszaki és műveleti hibákat, mielőtt azok továbbmennek.
A MANDORKA INDEX
● KALIBRÁCIÓS SZAKASZ
Mérjük meg az AI-val támogatott munka minőségét.
A Mandorka Index célja, hogy munkakör és munkaterület szerint nyilvános benchmark legyen a megfigyelt munkakontroll-jelzésekből. Nem teszünk ki látványos számot csak azért, mert egy dashboard ki tudja számolni.
Még nincs publikált Index-pontszámVerziót figyelembe vevő kohorszokMunkaterületenkénti riportA bizonytalanságot is közöljük
MIT FOGUNK MÉRNI
Nem azt, hogy „ki használ AI-t”. Azt, hogy ki tartja kézben az outputot.
Ítélőképesség
Mennyire következetesen priorizálja a lényeges kockázatot, hatást és korlátokat nyomás alatt.
Utasításkövetés
Megmaradnak-e a kifejezett követelmények az AI-val támogatott írás és végrehajtás közben.
Ellenőrzés
Megkérdőjelezi-e az alá nem támasztott állítást, vagy magabiztos kimenetté alakítja.
Kommunikáció
A végső üzenet világos, behatárolt és a helyzethez illő-e.
Assessment-feltételek
A publikált kohorszok külön kezelik a legacy rekordokat, a jelenlegi munkamenet-kontrollokat és az assessment-verziókat.
PUBLIKÁLÁSI KAPU
Nincs benchmark addig, amíg a benchmark nem érdemel bizalmat.
Elég használható megfigyelés
A kohorsz legyen elég nagy ahhoz, hogy az összegzés értelmes legyen, ne anekdota.
Összehasonlítható verziók
Lényegesen eltérő assessment-verziókat nem öntünk csendben egyetlen főszámba.
Minőségi ellenőrzés
A visszaélést, hiányos munkamenetet és adatminőségi problémát dokumentált szabály szerint ki kell zárni.
Validációs kontextus
Ahol van outcome-vizsgálat, a leíró benchmark-adatot külön kezeljük a prediktív validitás eredményeitől.
ADATKÖR
Minden érvényes proof javíthatja a mérőeszközt.
Több befejezett assessment jobb feladatdiagnosztikát és kalibrációs lehetőséget ad. A jobb kalibráció hasznosabb lehet a munkáltatónak. A valós munkáltatói használat pedig jobb validációs adatot teremthet. Ez a kör a Mandorka hosszú távú védőárka – nem a résztvevők nyers adatainak eladása.