# 75 % tarkkuus kerta-ajossa putoaa 42 %:iin kolmessa toistossa: näin tekoälyagenttien evaluointi ja laadunvarmistus rakennetaan tuotantoon

> Tekoälyagenttien evaluointi ja laadunvarmistus: 75 % kertaonnistuminen putoaa 42 %:iin kolmessa toistossa. Näin rakennat tuotantotason testit.

- Julkaistu: 2026-10-18
- Kirjoittaja: Master Mind
- Alkuperäinen: https://aimaster.fi/artikkelit/75-prosentin-tarkkuus-putoaa-42-prosenttiin-tekoalyagenttien-evaluointi-ja-laadunvarmistus

Yksittäisellä testiajolla 75 %:n tarkkuuteen yltävä AI-agentti onnistuu kolmessa peräkkäisessä toistossa vain 42 %:n todennäköisyydellä (Anthropic, 2026). Tämä matemaattinen kuilu selittää, miksi johtoryhmän demossa loistanut agentti alkaa tuottaa virheitä heti, kun se kytketään yrityksesi oikeaan toiminnanohjaukseen. Systemaattinen tekoälyagenttien evaluointi ja laadunvarmistus on arkkitehtuurin osa, joka erottaa hauraan kokeilun tuotantovalmiista järjestelmästä.

Tilastokeskuksen ja Eurostatin mukaan 66 % suomalaisyrityksistä käyttää jo generatiivisen tekoälyn työkaluja, mikä on EU:n korkein osuus (2025). Silti valtaosa kasvuyrityksistä testaa tekoälyagenttejaan edelleen syöttämällä viisi testikysymystä käsin ja silmäilemällä vastauksia. Kun järjestelmäohjetta muokataan tai taustalla oleva kielimalli päivitetään, manuaalinen testaus jättää tiimisi lentämään sokkona.

## Miksi 75 %:n onnistumisaste kerta-ajossa ei riitä tuotannossa?

Kerta-ajon onnistumisaste piilottaa toistuvissa liiketoimintaprosesseissa kertaantuvan virheriskin. Anthropicin tammikuussa 2026 julkaisemassa Demystifying evals for AI agents -tutkimuksessa erotetaan kaksi mittaria: pass@k mittaa todennäköisyyttä, että agentti onnistuu vähintään kerran k yrityksellä, kun taas pass^k mittaa todennäköisyyttä, että kaikki k toistoa onnistuvat. Jos yhden suorituksen tarkkuus on 75 %, kolmen peräkkäisen toiston pass^3 putoaa tasolle (0,75)^3 eli 42 % (Anthropic, 2026).

Evaluointi (evaluation, "eval") tarkoittaa automaattista testiä, jossa tekoälyjärjestelmälle annetaan vakioitu tehtäväsyöte ja tarkistuslogiikka (grader) pisteyttää agentin suoriutumisen ilman oikeita loppukäyttäjiä. Ilman automaattista evaluointia kehitystiimi juuttuu reaktiiviseen kierteeseen: asiakas ilmoittaa virheestä, kehittäjä korjaa promptia käsin, ja korjaus rikkoo huomaamatta kolme muuta tapausta.

Ero avustavan työkalun ja autonomisen liiketoimintaprosessin välillä tiivistyy siihen, kumpaa mittaria johdat. Kun ohjelmistokehittäjä käyttää koodausavustajaa, yksi toimiva ratkaisu kolmella yrityksellä (`pass@3`) säästää aikaa. Kun agentti käsittelee ostotilauksia, asiakashyvityksiä tai reklamaatioita, jokaisen suorituskerran on onnistuttava (`pass^k`). Kalvokonsultin esityksessä 75 %:n tarkkuus kuulostaa lähes valmiilta, mutta kymmenennessä peräkkäisessä tilauksessa todennäköisyys virheettömälle putkelle on enää alle 6 %.

| Mittari tai käsite | Mitä se mittaa käytännössä | Merkitys kasvuyrityksen liiketoiminnalle |
| --- | --- | --- |
| pass@k (vähintään 1 onnistuminen k yrityksellä) | Todennäköisyys, että agentti tuottaa kelvollisen ratkaisun edes kerran k kokeilulla (Anthropic, 2026) | Sopii asiantuntijan aputyökaluihin, joissa ihminen valitsee luonnoksista parhaan |
| pass^k (kaikki k suoritusta onnistuvat) | Todennäköisyys, että jokainen peräkkäinen ajo onnistuu; 75 %:n kerta-ajo putoaa 3 toistolla 42 %:iin (Anthropic, 2026) | Pakollinen mittari asiakasrajapinnassa sekä automaattisissa ERP- ja CRM-prosesseissa |
| Kyvykkyysevaluointi (capability evals) | Vaikeat tehtävät (matala lähtötaso), jotka mittaavat, mihin agentti ylipäätään pystyy (Anthropic, 2026) | Näyttää heti, avaako uusi kielimalliversio aiemmin mahdottomia työnkulkuja |
| Regressioevaluointi (regression evals) | Jo hallitut tehtävät (lähes 100 %:n läpäisyvaatimus), jotka ajetaan jokaisen muutoksen yhteydessä (Anthropic, 2026) | Estää promptimuutoksia ja rajapintapäivityksiä rikkomasta toimivaa tuotantoa |

## Mitä automaattinen tekoälyagenttien evaluointi ja laadunvarmistus käytännössä mittaa?

Automaattinen tekoälyagenttien evaluointi ja laadunvarmistus mittaa kahta erillistä tasoa: agentin suorituspolkua (transcript) ja ympäristön lopputilaa (outcome). Anthropicin (2026) mukaan agentti voi ilmoittaa keskustelulokissa varauksen tai hyvityksen onnistuneen, vaikka kohdejärjestelmän SQL-tietokantaan ei tallentunut yhtäkään riviä. Pelkän tekstivastauksen arviointi luo siksi vaarallisen valheellisen turvallisuudentunteen.

Tuotantotason evaluointi yhdistää kolme tarkistajatyyppiä (graders), joista jokaisella on selkeä rooli kustannusten ja tarkkuuden hallinnassa (Anthropic, 2026):

- Koodipohjaiset tarkistajat (code-based graders): Deterministiset testit tarkistavat tietokannan lopputilan, kutsutut työkalut, parametrien rajat, vasteajan ja token-kulutuksen. Ne ovat nopeita, halpoja ja täysin toistettavia. Kun [structured outputs ja JSON-skeema tekoälyintegraatiossa varmistavat tuotantovarmuuden](https://aimaster.fi/artikkelit/structured-outputs-ja-json-skeema-tekoalyintegraatiossa-estavat-rikkinaiset-erp-kutsut), koodipohjainen tarkistaja validoi skeeman jokaisessa testiajossa.
- Mallipohjaiset arvioijat (model-based graders / LLM-as-judge): Erillinen kielimalli pisteyttää avoimet ja sävyyn liittyvät kriteerit strukturoidun arviointimatriisin (rubric) avulla. Kun [API-tason lähdeviittaukset sitovat AI-agentin jokaisen väitteen alkuperäiseen tekstikohtaan](https://aimaster.fi/artikkelit/hallusinoinnin-loppu-dokumenttiprosesseissa-nain-api-tason-lahdeviittaukset-sito), mallituomari varmistaa, ettei agentti tehnyt omia tulkintoja lähteen ulkopuolelta.
- Ihmisasiantuntijat (human graders): Liiketoimintaosaajat eivät lue tuhansia lokeja käsin, vaan kalibroivat mallituomarin arviointikriteerit pistokokeilla ja määrittävät malliratkaisut (reference solutions).

Anthropic (2026) varoittaa myös liian jäykistä tarkistussäännöistä, jotka rankaisevat agenttia oikeasta ratkaisusta. Esimerkiksi CORE-Bench-arvioinnissa Claude Opus 4.5 sai aluksi tulokseksi vain 42 %, koska tarkistusskripti hylkäsi arvon "96.12" odottaessaan desimaalimuotoa "96.124991..." ja tehtävänanto jätti tiedostopolut tulkinnanvaraisiksi. Kun arviointivirheet korjattiin, saman mallin tulos nousi 95 %:iin (Anthropic, 2026). Arvioi siis aina tietokannan ja prosessin lopputulosta äläkä pakota agenttia vain yhteen ennalta arvattuun työkalukutsujärjestykseen.

## Miten kasvuyritys rakentaa evaluointipatteriston ilman kuukausien kehitysprojektia?

Kasvuyrityksen ei tarvitse kerätä satoja testitapauksia ennen ensimmäistä julkaisua. Anthropicin tammikuun 2026 oppaan mukaan 20–50 todellisista virhetilanteista ja manuaalisista tarkistuksista koottua yksiselitteistä tehtävää riittää luotettavaan alkuun. Yritykset, joilla on valmis evaluointipatteristo, testaavat uuden kielimallin vahvuudet ja vievät mallipäivityksen tuotantoon päivissä, kun ilman testejä toimivat tiimit käyttävät samaan viikkoja (Anthropic, 2026).

AIMASTERilla evaluointivetoinen kehitys on rakennettu suoraan tuotteistettuun polkuumme, jotta yksikään agentti ei päädy tuotantoon pelkän tuntuman varassa. **[Master Plan](https://aimaster.fi/tuotteet/master-plan)** on tekoälystrategiasprintti, joka kartoittaa, missä tekoäly tuottaa yrityksellesi eniten arvoa — euroissa mitattuna. Samalla määrittelemme kriittisten prosessien hyväksymiskriteerit ja vaadittavan `pass^k`-luotettavuustason ennen koodiriviäkään.

**[Master OS](https://aimaster.fi/tuotteet/master-layer)** on yrityksen AI Operating System: alusta, joka yhdistää yrityksen olemassa olevat järjestelmät (CRM, ERP, dokumentit), datan ja agentit turvallisesti tekoälyn käytettäväksi. Rakennamme eristetyn testausvaljaan (evaluation harness) suoraan Master OS -alustaan, jotta jokainen testiajo käynnistyy puhtaasta tilasta ilman edellisen ajon välimuistijäämiä. **[Master Mind](https://aimaster.fi/tuotteet/master-mind)** on AI-agenttien kokonaisuus, joka toimii Master OS:n päällä ja hoitaa liiketoimintaprosesseja itsenäisesti. **Räätälöidyt AI-ratkaisut** toteutetaan ketterällä sprinttimallilla: yksi sprintti on 3 kehityspäivää.

- Sprintti 1 (20–50 perustapausta): Keräämme 20–50 todellista reunatapausta tukijonosta, ERP-poikkeamista ja tiimin nykyisistä manuaalitarkistuksista. Sisällytämme mukaan tasapainotetun joukon positiivisia ja negatiivisia tapauksia — milloin agentin pitää suorittaa toimenpide ja milloin sen on eskaloitava tehtävä ihmiselle.
- Sprintti 2 (Lopputilan ja LLM-tuomarin automatisointi): Kytkemme deterministiset tilatarkistukset testiympäristön tietokantaan ja rakennamme erilliset LLM-tuomarit, joille annetaan "Ei tiedossa" -poistumistie hallusinoidun pisteytyksen estämiseksi (Anthropic, 2026).
- Jatkuva regressiovahditus ja suoritusloki-auditointi: Kun kyvykkyystesti saavuttaa korkean läpäisyasteen, se siirtyy automaattiseksi regressiotestiksi, joka ajetaan jokaisen muutoksen yhteydessä ja yhdistetään tuotannon seurantaan.

Julkisissa asiakasreferensseissämme — kuten yrittäjä Jaajo Linnonmaalle rakennetussa Aini-tekoälyapulaisessa ja digimarkkinointitoimisto Tagomon automaatioissa — järjestelmän arvo mitataan sillä, että se suoriutuu arjen toistuvista tehtävistä luotettavasti joka päivä eikä vain yksittäisessä esittelyssä. Kun automaattinen evaluointi vahtii jokaista muutosta, tiimisi ottaa uudet mallisukupolvet käyttöön päivissä ja laajentaa automaatiota hallitusti. Aloita selvittämällä, missä prosesseissa tekoäly tuottaa yrityksellesi suurimman eurohyödyn ja millaisen laadunvarmistuksen ne vaativat: tilaa [Ilmainen Master Mind -analyysi](https://aimaster.fi/analyysi).

## Usein kysytyt kysymykset

### Mitä eroa on pass@k- ja pass^k-mittareilla tekoälyagenttien arvioinnissa?

Pass@k mittaa todennäköisyyttä, että AI-agentti onnistuu tehtävässä vähintään kerran k yrityksellä. Pass^k mittaa todennäköisyyttä, että agentti onnistuu jokaisella k peräkkäisellä suorituskerralla. Jos kertaonnistuminen on 75 %, kolmen toiston pass^3 on (0,75)^3 eli 42 % (Anthropic, 2026). Tuotantoprosesseissa on mitattava pass^k-lukua.

### Kuinka monta testitapausta kasvuyritys tarvitsee ensimmäiseen AI-agentin evaluointipatteristoon?

Alkuun ei tarvita satoja keinotekoisia testejä. Anthropicin tammikuun 2026 tutkimuksen mukaan 20–50 todellisista virhetilanteista, tukitiketeistä ja manuaalisista tarkistuksista koottua testitapausta riittää katkaisemaan regressiokierteen ja nopeuttamaan kielimallipäivitysten testausta tuotannon alkuvaiheessa.

### Miksi AI-agentin evaluoinnissa pitää tarkistaa tietokannan lopputila eikä pelkkää keskustelulokia?

Suorituspolun (transcript) tarkistus arvioi agentin päättelyketjua, työkalukutsuja ja vuorojen määrää. Lopputilan (outcome) tarkistus varmistaa suoraan kohdejärjestelmän tietokannasta, syntyikö esimerkiksi tilausrivi tai hyvityslasku oikeasti sen sijaan, että luotettaisiin agentin tekstivastaukseen (Anthropic, 2026).

### Milloin kannattaa käyttää koodipohjaista tarkistajaa ja milloin LLM-tuomaria?

Koodipohjainen tarkistaja (code-based grader) testaa eksaktit säännöt, kuten JSON-skeeman, työkaluparametrit ja tietokantamuutokset nopeasti ja ilman mallikuluja. Mallipohjainen arvioija (LLM-as-judge) pisteyttää avoimet kriteerit, kuten sävyn, kattavuuden ja lähdeuskollisuuden, asiantuntijan kalibroiman arviointimatriisin avulla.