Lue tiivistelmäSulje
- Google julkaisi Android Bench 2.0 -testiympäristön sovelluskehityksen tekoälytyökaluille.
- Uudet LHT-tehtävät simuloivat useiden päivien kokoisia sovellusprojekteja.
- Parhaan tekoälymallin (GPT-6 Astra) läpäisyprosentti putosi vaativissa testeissä 28 prosenttiin.
- Mekaanisesta pass/fail-arvioinnista siirryttiin edistymistä mittaavaan jatkuvaan pisteytykseen.
- Tekoäly suoriutuu erinomaisesti uudesta koodista ja selkeistä muunnoksista, mutta kipuilee koodikannan refaktoroinnissa.
Google on julkaissut huomattavan päivityksen Android-sovelluskehittäjille suunnattuun tekoälymallien arviointijärjestelmäänsä. Uusi Android Bench 2.0 siirtää painopisteen pienistä koodikorjauksista laajoihin, monipäiväisiin kokonaisuuksiin (long-horizon tasks), jotka vastaavat ohjelmistoinsinöörien todellisia kehityshaasteita.
Testitavan muutoksen seuraukset ovat dramaattisia: kun tekoälymallit saavuttivat aiemmissa yksinkertaisissa kooditehtävissä noin 91 prosentin läpäisyasteen, uuden sukupolven haasteissa paras tulos jäi vain noin 28 prosenttiin. Kärkipaikalle suorituskykylistalla nousi OpenAI:n GPT-6 Astra -malli.
DigiNytin näkökulma: Android Bench 2.0 paljastaa, että tekoäly on jo erinomainen apuri rutiininomaisissa koodimuunnoksissa, mutta laajemmissa ohjelmistoarkkitehtuurin muutoksissa ihminen on edelleen korvaamaton. Kehittäjien kannalta kriittisin tieto on uusi kustannus- ja edistymisseuranta, joka estää tekoälytyökalujen sokean luottamisen isoissa projekteissa.
Jatkuva pisteytys korvaa mekaanisen hyväksynnän
Aikaisemmat tekoälyn koodausbenchmarkit keskittyivät pääasiassa yksittäisten buginorjausten tai pienten ominaisuuspyyntöjen ratkomiseen. Android Bench 2.0 peilaa nykyaikaista sovelluskehitystä antamalla tekoälyagenteille tehtäväksi esimerkiksi riippuvuuksien päivittämisen, sovelluksen rakentamisen tyhjästä tai alustojenvälisen sovelluksen muuntamisen natiiviksi Android-koodiksi.
Koska laajat arkkitehtuurimuutokset vaativat monivaiheista päätöksentekoa, Google luopui perinteisestä binaarisesta hyväksytty/hylätty-arvioinnista. Aiemmin agentti saattoi refaktoroida 40 näkymää virheettömästi Jetpack Composeen ja läpäistä 90 prosenttia vaatimuksista, mutta yksittäisen reunatapauksen epäonnistuminen toi tulokseksi nolla prosenttia.
Uudessa versiossa käytettävä jatkuva pisteytys (completion rate) laskee edistymisen toiminnallisuuden, visuaalisen tarkkuuden ja mahdollisten suorituskykyregressioiden pohjalta. Tämä antaa kehittäjille realistisemman kuvan siitä, kuinka pitkälle tietty tekoälymalli kykenee viemään laajaa projektia.
Uuden koodin luonti sujuu – refaktorointi tuottaa tuskaa
Googlen julkaisemat tulokset paljastavat selkeitä eroja kielimallien kyvyissä. Tekoälyt suoriutuvat johdonmukaisesti paremmin kokonaan uuden koodin kirjoittamisesta kuin olemassa olevan koodikannan refaktoroinnista. Toistettavat ja tarkasti määritellyt muunnokset – kuten Java-koodin kääntäminen Kotliniksi tai Retrofitin vaihtaminen Ktor-kirjastoon – onnistuvat mallilta luotettavasti jopa yli 125 tiedoston ja 8 000 koodirivin laajuisissa projekteissa.
Haasteet alkavat kasautua silloin, kun tehtävä vaatii ajonaikaista validointia, käsittelee pirstaloituneita riippuvuussyöttöjä tai törmää julkaisemattomien kirjastojen tietopuutteisiin. Esimerkiksi sovellusten porttaaminen muilta alustoilta Androidille on edelleen avoin haaste: yksikään kärkipään malli ei yltänyt täyteen suoritukseen, ja parhaat edistymisasteet jäivät 80 prosenttiin.
Googlen päivittämälle tuloslistalle on lisätty tuoreimpia malleja ja agentteja, kuten Gemini 3.8 Flash, Anthropic Fable 5.1, Kimi K3 sekä Qwen 3.8 Max. Uudistuksen myötä sovelluskehittäjät saavat tarkempaa dataa myös eri mallien ja työkalukehysten aiheuttamista token-kustannuksista realiteettitestatussa ympäristössä.
Miksi tämä on merkittävää?
Sovelluskehityksessä käytettävät tekoälytyökalut ovat kehittyneet nopeasti, mutta niiden testausmenetelmät ovat polkeneet paikoillaan. Googlen siirtyminen monipäiväisten tehtävien ja jatkuvan pisteytyksen malliin pakottaa kielimallien kehittäjät keskittymään todelliseen koodauskykyyn markkinointilupausten sijaan.
Aiheesta uutta: Google haastaa perinteiset kannettavat: uusi Googlebook tuo Androidin tietokoneisiin
Aiheesta uutta: Google avaa Android Studion tekoälyagenteille: Mukana Claude, OpenAI Codex ja Antigravity
Aiheesta uutta: Meta uudisti Instagram Directin koodin – tekoälyavustinten token-kulut putosivat kolmanneksella
Lähde: Android Developers Blog: Android Bench 2.0: Pushing the frontier with challenging long-horizon tasks
Tekoälyavusteinen sisältö: Artikkeli on tuotettu tekoälyä hyödyntäen alkuperäislähteen pohjalta.
Aihekeskus: Tekoäly
