Ko reikia, kad AI agentas dirbtų stabiliai: priežiūra, kurios niekas neaprašo

Trumpas atsakymas: AI agentas nėra „įdiegei ir pamiršai“. Modeliai atsinaujina, tiekėjai turi prastovų, o jūsų verslas per metus pasikeičia – ir agentas apie tai pats nesužino. Priežiūra nėra pilno etato darbas, bet ir ne kelios minutės: kartu su infrastruktūra, kuri turi veikti fone, nusistovėjus tai maždaug 8–15 valandų per mėnesį vienam agentui. Pirmą mėnesį po paleidimo – dvigubai daugiau.

Šito straipsnio niekas rinkoje nerašo, nes jis kenkia pardavimams. Man paprasčiau būtų pasakyti, kad įdiegiam ir viskas veikia amžinai. Tik paskui klientas po pusmečio pastebi, kad agentas jau kurį laiką dirba ne taip, ir teisingai supyksta. Tad geriau iš karto ant stalo.

Kodėl AI agentas skiriasi nuo įprastos programos

Buhalterinė programa, kurią įdiegėte prieš penkerius metus, šiandien daro lygiai tą patį, ką darė pirmą dieną. Ji nesikeičia, nes jos kodas nesikeičia.

AI agentas remiasi dviem dalykais, kurie abu juda: kalbos modeliu, kurį tiekėjas nuolat keičia, ir jūsų verslo realybe, kuri keičiasi dar greičiau. Vadinasi, sistema, kuri buvo teisinga sausį, rugsėjį gali būti teisinga tik iš dalies. Ne todėl, kad kažkas sulūžo, o todėl, kad aplinkui viskas pasislinko.

Blogiausia ne tada, kai agentas garsiai sustoja. Blogiausia, kai jis tyliai pradeda dirbti prasčiau, o niekas to nemato.

Kas realiai gali sugesti

• 1. Modeliai atsinaujina. Tiekėjai kas kelis mėnesius išleidžia naujas versijas, o senesnės po kurio laiko išjungiamos. Naujoji beveik visada geresnė – bet kitokia. Tas pats nurodymas naujoje versijoje gali duoti kitokį atsakymo formatą, kitokį tono niuansą, kitaip suprastą išimtį. Perėjimas nėra sudėtingas, bet jį reikia pastebėti ir pertestuoti, o ne sužinoti iš kliento skundo.
• 2. Modelis kartais prigalvoja. Kai duomenų trūksta, modelis linkęs užpildyti spragą spėjimu. Retai, bet įvyksta. Todėl sistema turi būti padaryta taip, kad nežinodama perduotų klausimą žmogui, o ne sugalvotų – ir kad kiekvienas veiksmas liktų žurnale, kurį galima peržiūrėti.
• 3. Tiekėjo sistema būna nepasiekiama. Prastovų turi visi dideli tiekėjai. Teisingas atsakymas čia ne „taip nenutiks“, o „taip nutiks, ir štai kas tada“: atsarginis modelis ir eilė, kad darbas palauktų ir būtų įvykdytas, o ne tyliai dingtų.
• 4. Keičiasi jūsų pusėje. Tiekėjas pakeičia sąskaitos šabloną. Klientas pradeda rašyti kitu formatu. CRM atsiranda naujas privalomas laukas. Pasibaigia prieigos raktas. Čia dažniausias priežiūros darbas – ir jis neturi nieko bendro su AI.
• 5. Keičiasi jūsų taisyklės. Pakėlėte kainas, pakeitėte pristatymo sąlygas, atsirado nauja paslauga. Agentas apie tai nesužinos pats. Jis toliau tvarkingai dirbs pagal seną logiką – tiksliai ir neteisingai.
• 6. Auga kiekis. Kas veikė prie 200 laiškų per mėnesį, prie 2 000 elgiasi kitaip: kitos kainos, kitos ribos, kitos vietos, kur lūžta. Tai gera problema, bet ji vis tiek problema.

Ką priežiūra reiškia praktiškai

Kai sakau „priežiūra“, turiu galvoje du atskirus dalykus. Pirmas – pats agentas, jo darbo kokybė. Antras – techninė infrastruktūra, ant kurios jis stovi. Antrojo klientai paprastai net nesitiki, todėl apie jį papasakosiu atskirai.

Agento pusėje darbai tokie:

• Žurnalo peržiūra. Pasižiūrima, ką agentas nuveikė ir kur pats perdavė žmogui. Iš to matosi, ką verta pataisyti.
• Išimčių ir klaidų taisymas. Naujas laiško formatas, netikėtas atvejis, blogai atpažintas dokumentas.
• Modelių atnaujinimai ir pertestavimas. Perėjimas prie naujos versijos su patikra, kad rezultatas nepablogėjo.
• Kalibravimas. Kai pasikeičia jūsų kainos, sąlygos ar procesas – agentas perrašomas kartu.

Techninė pusė, kurios klientas nemato (DevOps)

Veikiantis AI agentas nėra failas kompiuteryje. Tai paleista sistema, kuri turi kažkur gyventi, nuolat veikti ir būti atnaujinama – lygiai kaip bet kuri kita verslo programa. Štai kas tai konkrečiai reiškia.

• 1. Kur sistema gyvena. Serveris arba debesis. Jam reikia saugumo pataisų, operacinės sistemos atnaujinimų ir priežiūros, kad nepritrūktų vietos, atminties ar galios, kai išauga darbo kiekis.
• 2. Kaip pakeitimai patenka į darbą. Diegimo procesas su versijomis. Be jo kiekvienas pataisymas yra loterija, o po nesėkmingo pakeitimo nėra kaip greitai grįžti atgal. Su juo – grįžtama per kelias minutes.
• 3. Testinė aplinka. Vieta, kur pakeitimas paleidžiamas su tikrais duomenimis, bet niekam realiai nieko neišsiunčia. Jei jos nėra, testuojama ant jūsų klientų.
• 4. Prieigos raktai ir paslaptys. Raktai į jūsų paštą, CRM, buhalteriją. Laikomi šifruoti, keičiami periodiškai, prieigos peržiūrimos. Čia ta vieta, kur klaida kainuoja daugiausia.
• 5. Eilės ir kartojimas. Kai tiekėjas neatsako, užduotis turi atgulti į eilę ir būti pakartota, o ne tyliai dingti. Skirtumas tarp „vėliau padaryta“ ir „niekada nepadaryta“ yra būtent čia.
• 6. Užklausų ribos. Kiekvienas tiekėjas riboja, kiek užklausų per minutę priima. Piko metu sistema turi savaime sulėtėti ir palaukti, o ne sulūžti.
• 7. Stebėsena. Ar veikia, kiek klaidų, per kiek atsako, kiek kainuoja. Tai turi būti matoma grafike, o ne spėjama.
• 8. Įspėjimai ir reagavimas. Kas gauna žinutę, kai lūžta šeštadienį vakare, ir per kiek laiko sureaguoja. Be šito stebėsena yra tik gražūs grafikai.
• 9. Techniniai žurnalai. Ne tas pats, kas veiksmų žurnalas jums. Šitie reikalingi diagnozei – be jų gedimo priežastis ieškoma spėliojant.
• 10. Atsarginės kopijos ir atkūrimo patikra. Kopija, kurios niekada nebandėte atkurti, dar nėra kopija. Patikrinti reikia periodiškai, o ne tada, kai prireikė.
• 11. Priklausomybių atnaujinimai. Bibliotekos, kuriomis sistema remiasi, gauna saugumo pataisas. Neatnaujintos jos pamažu virsta skyle.
• 12. Kaštų stebėjimas. Modelių naudojimas apmokestinamas pagal kiekį, tad klaida cikle gali per naktį sudeginti mėnesio biudžetą. Tam reikia ribų ir įspėjimų – iš anksto, ne po sąskaitos.

Nieko iš šito sąrašo jūs neturėtumėte matyti, ir taip yra teisinga. Bet kažkas tai daryti turi.

Automatizavimas nėra vienkartinis pirkinys. Tai maža programinė sistema, veikianti jūsų versle – su visomis iš to sekančiomis pareigomis.

Kiek valandų tai realiai atima

Konkretūs skaičiai vienam agentui. Pirmiausia agento pusė:

Ir techninė pusė, kuri prisideda prie to paties agento:

Sudėjus: ~20–35 valandos pirmą mėnesį ir ~8–15 valandų per mėnesį nusistovėjus. Ne etatas – bet ir ne „įdiegėm ir pamiršom“. Jei kas nors sako, kad po paleidimo darbo lieka nulis, arba jis dar neturėjo sistemos, veikiančios metus, arba tiesiog nesako.

Svarbi smulkmena, keičianti visą aritmetiką. Didelė dalis techninės pusės yra bendra. Ta pati stebėsena, tie patys diegimo vamzdynai, tas pats reagavimas dengia visus klientus vienu metu. Jei tai jūsų vienintelė sistema, visą šitą aparatą statote ir išlaikote dėl vieno agento – ir tada tos valandos tikrai skaudžios. Pas paslaugos tiekėją antram, penktam ir dvidešimtam agentui infrastruktūra jau stovi, o prisideda tik nedidelė dalis.

Todėl vidinis sprendimas dažnai atrodo pigesnis skaičiuoklėje, o brangesnis – realybėje. Ne dėl programavimo, o dėl to, kas vyksta po paleidimo.

Kas nutinka, kai neprižiūrima

Ne dramatiškas gedimas. Kur kas nuobodesnis ir brangesnis scenarijus:

Agentas dirba. Kiekvieną dieną. Tik vis dažniau šiek tiek ne taip. Klientams išsiunčiami atsakymai su senomis kainomis. Į buhalteriją patenka blogai atpažinti dokumentai. Vadybininkas pamažu pripranta „vis tiek pasitikrinti“ – ir jūs pradedate mokėti už automatizavimą, kuris realiai nieko nesutaupo, nes žmogus vis tiek viską peržiūri.

Po pusmečio kažkas pasako, kad „tas AI neveikia“. Nors tiksliau būtų: veikė, tik niekas jo nepataisė, kai keitėsi aplinka.

Kas už priežiūrą moka: trys modeliai

• Jūsų žmogus. Pigiausia sąskaitoje ir brangiausia realybėje, nes tas žmogus turi mokėti ir suprasti sistemą. Veikia tik tada, kai įmonėje jau yra kas nors techniškas.
• Valandinis įkainis rangovui. Skamba sąžiningai, o praktikoje sukuria blogą paskatą: kuo daugiau problemų, tuo didesnė sąskaita. Ir jūs pradedate atidėlioti pataisymus, nes kiekvienas kainuoja.
• Įskaičiuota į paslaugą. Paskatos sutampa: tiekėjui apsimoka, kad sistema veiktų be trikdžių, nes už gedimų taisymą jam niekas papildomai nemoka.

Kai lyginate pasiūlymus, tai ir yra pats svarbiausias klausimas: kas įeina į mėnesinį mokestį, o kas bus atskira sąskaita. Daugiau tokių klausimų surašiau čia, o kaip priežiūra atrodo bendrame kainos paveiksle – kainų straipsnyje.

Kaip tai darome mes

Mes priežiūrą imame ant savęs be papildomo mokesčio. Ne iš dosnumo – dėl to, kaip sudėliotas mūsų modelis.

Mes imamės tik tų projektų, kur matome, kad sutaupysime pakankamai valandų, jog priežiūros kaštai atsipirktų mums patiems. Skaičiuojame ne palaikymą, o sutaupytas valandas: 5 € už kiekvieną AI nudirbtą valandą. Valandas suskaičiuoja veiksmų žurnalas jūsų sistemoje, tad sąskaitą galite persiskaičiuoti patys.

Jums iš to seka du dalykai. Pirma, priežiūros kaštų į savo grąžą skaičiuoti nereikia – atskiro mėnesinio palaikymo mokesčio nėra. Antra, ir tai sąžininga pasakyti garsiai: būtent todėl kai kuriems verslams atsakau, kad jiems dar per anksti. Jei valandų nesusidaro pakankamai, aš pats prižiūrėdamas sistemą dirbčiau nuostolingai – tad geriau to nepradėti, nei pradėti ir vėliau apleisti.

Kiek valandų susidaro pas jus, galite pasitikrinti skaičiuoklėje.

Klausimai apie AI agento priežiūrą

Ar AI agentą reikia prižiūrėti?

Taip. AI agentas nėra programa, kuri penkerius metus daro lygiai tą patį: jis remiasi kalbos modeliais, kuriuos tiekėjai nuolat atnaujina, ir jūsų verslo duomenimis, kurie nuolat keičiasi. Priežiūra nėra pilno etato darbas, bet ir ne kelios minutės: skaičiuojant ir patį agentą, ir po juo veikiančią infrastruktūrą, nusistovėjus tai maždaug 8–15 valandų per mėnesį vienam agentui. Palikti sistemą be stebėsenos būtų neatsakinga.

Kodėl AI agentas laikui bėgant pradeda veikti prasčiau?

Dažniausiai ne dėl paties agento, o dėl pokyčių aplink jį: tiekėjas išleidžia naują modelio versiją ir senoji išjungiama, pasikeičia sąskaitos ar laiško šablonas, CRM atsiranda naujas laukas, pasibaigia prieigos raktas arba tiesiog išauga darbo kiekis. Agentas toliau dirba pagal seną logiką, o rezultatas pamažu darosi netikslus.

Kiek kainuoja AI agento priežiūra?

Rinkoje priežiūra dažniausiai kainuoja nuo maždaug 50 iki 500 € per mėnesį, o pakeitimai apmokestinami atskirai valandiniu įkainiu. Mūsų modelyje priežiūra yra įskaičiuota į 5 € už kiekvieną AI nudirbtą valandą – atskiro palaikymo mokesčio nėra, tad skaičiuoti jo į savo grąžą nereikia.

Kas nutinka, jei AI tiekėjo sistema tuo metu neveikia?

Prastovos pasitaiko visiems dideliems tiekėjams, todėl teisingas atsakymas yra ne „taip nenutiks“, o „taip nutiks, ir štai kas tada“. Tvarkingai padaryta sistema turi atsarginį modelį ir eilę: darbas nedingsta, o palaukia ir įvykdomas atsistačius ryšiui. Blogai padaryta sistema tyliai praleidžia užduotis ir niekas apie tai nesužino.

Ar AI agentui reikia atskiro serverio ir techninės priežiūros (DevOps)?

Taip. Veikiantis AI agentas yra ne failas kompiuteryje, o paleista sistema: jai reikia vietos, kur gyventi, diegimo proceso su galimybe grįžti į ankstesnę versiją, testinės aplinkos, saugiai laikomų prieigos raktų, eilių ir kartojimo, stebėsenos su įspėjimais, atsarginių kopijų ir reguliarių saugumo atnaujinimų. Jei tai jūsų vienintelė sistema, visa ši infrastruktūra statoma dėl vieno agento; pas paslaugos tiekėją ta pati stebėsena ir tie patys diegimo vamzdynai dengia visus klientus, todėl vienam agentui ji kainuoja gerokai mažiau.

Ar AI gali prigalvoti neteisingų dalykų dirbdamas su tikrais duomenimis?

Gali, ir dėl to verta susitarti iš anksto. Modelis linkęs užpildyti spragą spėjimu tada, kai duomenų trūksta, todėl sistema turi būti sukonstruota taip, kad nežinodama atsakymo perduotų klausimą žmogui, o ne sugalvotų. Kritinius veiksmus – pinigus, sutartis, oficialius atsakymus – tvirtina žmogus, o kiekvienas veiksmas lieka žurnale, kurį galima peržiūrėti.