Lue tiivistelmäSulje
Lue tiivistelmä
- Cloudflare julkaisi avoimen koodin @cloudflare/computer -kirjaston tekoälyagenttien ajoympäristöksi.
- Järjestelmä yhdistää kevyet eristysympäristöt ja raskaammat Linux-kontit yhteen virtuaaliseen tiedostojärjestelmään.
- Tekoälymallit osaavat valita tehtävään edullisimman ja nopeimman ajoympäristön automaattisesti.
- Tavoitteena on vähentää konttien käyttö alle 10 prosenttiin ja säästää kriittistä CPU-laskentatehoa.
Ratkaisu tekoälyagenttien laskentakapasiteetin pulaan
Tekoälyagentit tarvitsevat toimiakseen enemmän kuin pelkän perinteisen konttiympäristön. Cloudflare on julkaissut varhaisen ennakkoversion avoimen koodin @cloudflare/computer -kirjastosta, joka toimii suoritusympäristönä tekoälyagenteille. Työkalu orkestroi dynaamisesti eristettyjen eristysympäristöjen (isolate) ja täysien Linux-konttien välillä tarjoten jokaiselle agentille oman virtuaalisen tietokoneen.
Aiemmin yleisenä käytäntönä oli käynnistää jokaiselle agentille oma kontti. Nykyisin agenttiarkkitehtuuri on kuitenkin erottanut toimintaohjauksen suoritusympäristöstä. Perinteisten konttien tarjoaminen sadoille miljoonille tai miljardeille samanaikaisille agenteille on mahdotonta maailmanlaajuisen suoritin- eli CPU-kapasiteetin puutteen vuoksi. Tämä on luonut alalle valtavan CPU-laskentatehon kysynnän GPU-tehon lisäksi.
Isolaatit ja kontit saumattomassa yhteistyössä
Cloudflare on kehittänyt eristettyjä suoritusympäristöjä pitkään: yritys esitteli Cloudflare Workers -palvelun lähes kymmenen vuotta sitten ja Durable Objects -rakenteen kuusi vuotta sitten. Eristysympäristöt käynnistyvät ja sammuvat erittäin nopeasti, ja ne voivat mennä valmiustilaan agentin ollessa toimettomana, mikä tekee niistä vaakasuoraan lähes äärettömästi skaalautuvia.
Viime vuonna Cloudflare toi eristysympäristöille kyvyn käynnistää omia konttiympäristöjä. Uusi @cloudflare/computer vie tämän pidemmälle tarjoamalla kehittäjille valmiin abstraktion, jossa alusta huolehtii suoritusalustan valinnasta automaattisesti.
Miten @cloudflare/computer toimii?
Järjestelmän keskiössä on workspace eli työtila, joka pohjautuu SQLite-tietokantaan rakennettuun virtuaaliseen tiedostojärjestelmään. Tiedostot pysyvät synkronoituna eri ajoympäristöjen välillä, ja työtila voidaan alustaa esimerkiksi Git-repositorioista tai pilvitallennustilasta.
Ajoympäristöiksi tarjotaan kaksi oletusvaihtoehtoa:
- Eristysympäristö (isolate): Käyttää just-bash-käännöstä muuntamaan shell-koodin JavaScriptiksi ja suorittaa sen dynamiikka-workerissa. Soveltuu tiedostojen käsittelyyn, datan prosessointiin ja Git-hallintaan nopeasti ja edullisesti.
- Konttiympäristö (container): Hyödyntää Cloudflare Containers -palvelua ja tarjoaa täyden Linux-ympäristön FUSE-liitännällä. Tarpeen silloin, kun koodi vaatii Linux-käyttöjärjestelmää, npm-paketteja tai natiiveja binaareja.
Kirjasto tarjoaa tekoäly-SDK-yhteensopivat työkalut tiedostojen lukemiseen, kirjoittamiseen, muokkaamiseen ja komentojen suorittamiseen (exec). Kehittyneet tekoälymallit osaavat suoritusohjeiden perusteella valita itse oikean ja edullisimman ajoympäristön ja tukeutua raskaampaan konttiin vain silloin, kun se on välttämätöntä.
Tavoitteena konttien tarpeen minimointi
Kaikki järjestelmän tekemät operaatiot ovat valvottuja, auditoituja ja rajoitettuja, mikä antaa kehittäjille tarkan kontrollin ja jäljitettävyyden agentin tekemistä muutoksista. Työtilaa voidaan käyttää Durable Objects -rakenteiden päällä, ja se tarjoaa myös node:fs-yhteensopivan rajapinnan kolmannen osapuolen JavaScript-kirjastoille.
Cloudflaren tavoitteena on, että jatkossa kontteja tarvittaisiin alle 10 prosentissa agenttien tehtävistä. Koodaus, dokumenttien luonti sekä äänen ja videon käsittely on tarkoitus hoitaa lähes kokonaan nopeissa ja kevyissä eristysympäristöissä.
Lähde: The Cloudflare Blog: Your agent needs a computer, not a container — introducing @cloudflare/computer
Tekoälyavusteinen sisältö: Artikkeli on tuotettu tekoälyä hyödyntäen alkuperäislähteen pohjalta.
