ServiceNows AutoSynthData gjør agentfeil om til opplæringsgull

Kort svar: ServiceNow CoreAIs AutoSynthData gjør agentfeil pluss lærersuksesser om til validerte syntetiske SFT-oppgaver når bedrifter trenger miljøkompetanse, ikke bare brede referansepunkter. Den renser hull i kapasitetsspesifikasjonskort, multipliserer verifiserbart arbeid, og deretter kontrollerer kvaliteten før finjustering. Forfatterrapporterte EnterpriseOps Gym-løft holder seg hvis lærerstyrke, verifikatorkvalitet og miljøtroskap samsvarer.

Viktige konklusjoner:

Kapabilitetskort: Rens feil inn i kortene slik at generatorer aldri ser originale ID-er.

Verifikatorreviderbarhet: Foretrekker SQL-slutttilstandskontroller som avviser muterte, feil utfall.

Vanskelighetsgrad: Tren kun oppgaver som målet sjelden løser, og som læreren vanligvis klarer.

Menneskelig gjennomgang: Hold menneskelig gjennomgang av policyer med høy innsats og irreversible handlinger før ny opplæring.

Flytte grense: Etter SFT, revurder og flytt målfasen mot gjenværende hull.

AI-agenter i bedrifter mislykkes sjelden fordi de mangler generell kunnskap. De mislykkes fordi miljøet er spesifikt: policyer for billett, skjema-eiendommer, verktøykontrakter, seedede databaser, kunnskapsartikler og arbeidsflyter på tvers av systemer som ikke ser ut som lærebokdemoer. En modell som scorer godt på åpne benchmarks kan fortsatt stoppe opp når neste trinn må respektere et endringsvindu, et CMDB-forhold eller en verifikator som sjekker endelig tilstand i stedet for flytende chat.

ServiceNow CoreAI / ServiceNow-AI publiserte AutoSynthData for å angripe dette gapet direkte. Forfatteren Esakkivel Esakkiraja beskriver en pipeline som konverterer en målagents feil – sammen med en sterkere lærers suksesser – til validerte syntetiske treningsoppgaver skreddersydd for bedriftsmiljøer. Poenget er ikke å samle inn flere chatlogger. Det er å multiplisere hardt, verifiserbart arbeid som utøver den samme kapasiteten under nye forhold, slik at overvåket finjustering kan lukke miljøspesifikke hull.

Denne artikkelen går gjennom kjerneideen, oppgaveabstraksjonen, genererings- og kvalitetskontrollsløyfen, den delte arkitekturen og forfatterrapporterte resultater på EnterpriseOps Gym i hybrid- og ITSM-settinger. Den holder seg til det forskningen beskriver: en bevegelig læreplan av syntetiske oppgaver, ikke en påstand om at enhver virksomhet plutselig er løst.

Hvorfor miljøkompetanse overgår bred kapasitet

Bedrifter trenger agenter som fungerer i miljøet deres – systemene, reglene og datatilstanden deres. Bred kapasitet er ikke det samme som miljøkompetanse. En agent kan vite hvordan IT-tjenesteadministrasjon vanligvis fungerer, men likevel gå glipp av den lokale policyen som forbyr visse overganger, eller verktøyet som oppdaterer en relatert tabell bare etter at en nødvendig post finnes.

Individuelle feil er informative, men like tynne som treningsdata. Én ødelagt bane viser en svakhet; den gir ikke de dusinvis av nærliggende situasjoner som ville lært modellen å gjenopprette under variasjon. Team trenger mange nye oppgaver som utøver den samme evnen på en annen måte, forblir fullførbare i miljøet, føles realistiske slik brukeren ber om, og forblir verifiserbare mot resultatsjekker.

Det er designpresset bak AutoSynthData. Feil blir signaler for kompetansekort. Kort blir generatorer for nye oppgaver. En sterkere lærer demonstrerer vellykkede baner. Filtre og verifikatorer bestemmer hva som skal inn i det overvåkede finjusteringssettet. Etter trening flytter evalueringen grensen mot gjenværende hull. Løkken er pensumformet snarere enn en engangs datadump.

Innramming er viktig for utøvere. Hvis du bare lagrer feilende prompter, risikerer du å overtilpasse til de nøyaktige enhetene og formuleringene. Hvis du bare genererer ubegrensede syntetiske forespørsler, risikerer du oppgaver som er umulige, urealistiske eller ikke-verifiserbare. AutoSynthData befinner seg mellom disse ytterpunktene: sanitær det som feilet i en funksjonsspesifikasjon, og regenerer deretter oppgaver som beholder den harde kjernen samtidig som de endrer overflateform og kontrollerbare dimensjoner.

Den praktiske oppgaveformen: system, prompt, verifikator

En brukbar abstraksjon for agentarbeid er: oppgave er lik systemspesifikasjon, brukerprompt og verifikator. Hver del har begrensninger som holder syntetiske data forankret og troverdige.

Systemspesifikasjon dekker begrensninger, policyer og starttilstand – for eksempel databasefrø og kunnskapsartikler. Den må forbli kompatibel med tilgjengelige verktøy og tilstand. Vilkårlige vanskelighetsbegrensninger som ignorerer verktøykontrakter eller frørealisme har en tendens til å skape sprø oppgaver som lærer bort feil lærdom.

Brukerens ledetekstkvalitet har tre linser. Gjennomførbarhet spør om det finnes en gyldig bane. Realisme spør om en bruker plausibelt ville be om dette. Vanskelighetsgrad spør om oppgaven avslører en nåværende svakhet hos agenten, snarere enn noe målet allerede løser pålitelig. En ledetekst som er triviell for målet, sløser med opplæringsbudsjettet; en ledetekst som er umulig, sløser med tillit til evalueringen.

Verifikatorkvaliteten avhenger av konsistens, soliditet og fullstendighet. For slappe og svake baner bestås. For begrensende til en enkelt bane, og gyldige alternative løsninger mislykkes. Bedriftsmiljøer foretrekker ofte SQL-baserte eller tilstandsbaserte resultatsjekker fordi de vurderer verden etter at agenten har handlet, ikke den nøyaktige tokenbanen agenten tok.

AutoSynthData støtter seg på denne triaden, slik at generert arbeid forblir jordet. Generatorer finner ikke opp frittstående spørrekonkurranser. De produserer oppgaver som kan utføres i miljøadapteren og bedømmes av verifikatorer som bryr seg om nødvendige egenskaper for slutttilstand.

Fra diagnostisk evaluering til kapasitetsspesifikasjonskort

Pipeline-prosessen starter med en diagnostisk evaluering av målgruppen og en sterkere lærer i miljøet. Side-om-side-analyser avslører hvor målet mislykkes og hvor læreren lykkes. Disse kontrasttilfellene er råmaterialet for læreplanutforming.

Deretter kommer destillasjonen til rengjorte kapasitetsspesifikasjonskort. Et kort fanger opp kapasiteten som testes, relevante verktøy eller arbeidsflytform, der målet mislykkes og læreren lykkes, nødvendige egenskaper for den endelige tilstanden og dimensjoner som kan variere når nye oppgaver oppfinnes. Viktigst av alt, generatoren mottar ikke originale ledetekster, enheter, baner eller verifikatordetaljer – bare kortene.

Denne saneringen er et bevisst trekk mot overtilpasning. Hvis generatoren så de nøyaktige feilsøkingsbillettnumrene, kunnskapsartikkel-ID-ene eller lærersporene, ville den være fristet til å parafrasere den samme episoden. Kort tvinger frem abstraksjon: lær evnen under kontrollerbar variasjon, ikke den memorerte forekomsten.

Etter at kortene finnes, genererer systemet nye oppgaver fra dem. Læreren demonstrerer deretter vellykkede baner for veiledet finjustering. Disse demonstrasjonene er ikke frittstående råd; de er miljøbaserte suksesser som består den samme typen verifisering som læreplanen bryr seg om.

Tofasestrukturskala. Målfasen fokuserer på kjernekontrollerte prøver rundt gap – oppgavene med høyest signal i nærheten av der den svake agenten bryter sammen. Multiplikasjonsfasen skaper nye varianter av aksepterte mål. Multiplikerte prøver kan ikke så ytterligere multiplikasjonsrunder, noe som begrenser avdrift. Denne regelen er liten, men viktig: ubegrenset rekursiv variasjon kan vandre bort fra evnen kortet navngir.

Delt kontroller, miljøadapter og den bevegelige grensen

Arkitekturmessig bruker AutoSynthData en delt kontroller pluss en miljøadapter. Kontrolleren orkestrerer diagnose, kartlegging, generering, lærerdemoer, kvalitetsporter og batchgjennomgang. Adapteren kobler disse trinnene til en konkret bedriftssandkasse – verktøy, tilstand, policyer og verifikatorer – slik at den samme kontrollsløyfen kan sikte mot forskjellige domener uten å omskrive læreplanlogikken fra bunnen av.

Etter veiledet finjustering evalueres prosessen på nytt. Læreplanen beveger seg deretter mot gjenværende hull: en bevegelig grense snarere enn et statisk datasett. Eksperimentene beskrevet i arbeidet fokuserer på veiledet finjustering. Den samme løkken kan støtte forsterkningslæring senere; den retningen er notert som planlagt, ikke hevdet som fullført.

For bedriftsteam er den arkitektoniske lærdommen modulær. Kontrollere bør ikke hardkode ett enkelt billettskjema. Adaptere bør eksponere nok tilstands- og verktøykvalitet til at verifikatorer kan være meningsfulle. Læreplanen bør behandle evalueringsresultater som neste input, ikke som en engangs poengtavle.

EnterpriseOps Gym er miljøet der denne tilnærmingen ble illustrert. Det er en storstilt enterprise agent-benk med omtrent 1150 ekspertkuraterte oppgaver på tvers av 8 domener, omtrent 512 verktøy, omtrent 164 databasetabeller, containerisert utførelse, SQL-basert resultatverifisering, policystyrte operasjoner, hybride tverrdomenescenarier, testing av ugjennomførbarhet og avslag, og langsiktige tilstandsbaserte baner. AutoSynthData presenteres ikke som oppfinneren av dette gymmet; gymmet er stresstestbenken for syntesesløyfen.

Kvalitetskontroll på prøvenivå som holder syntetiske oppgaver pålitelige

Generering uten porter er hvordan syntetiske agentdata går galt. AutoSynthData beskriver kvalitetskontroll på prøvenivå med flere komplementære kontroller.

Et vanskelighetsfilter for løseren styrer settet mot oppgaver som er vanskelige for målet og løsbare for læreren. Den beskrevne konfigurasjonen favoriserer oppgaver målet løser i maksimalt ett av tre forsøk, mens læreren lykkes i minst to av tre. Det er i dette båndet at veiledede demonstrasjoner kan lære bort noe den svake modellen ikke allerede behersker.

Positiv verifisering krever at en referansebane passerer verifikatoren. Negativ verifisering krever at muterte, gale utfall mislykkes. Sammen trykktester de både aksept- og avvisningssidene av kontrolløren. Hvis bare positive blir sjekket, kan en permissiv verifikator innrømme søppel. Hvis bare negative blir sjekket, kan en for stram verifikator avvise gyldig arbeid.

En kritikk- og reparasjonsløkke, med en grense for nye forsøk, forsøker å fikse oppgaver som feiler i porter, i stedet for å forkaste alle nestenulykker umiddelbart. Grenser for nye forsøk er viktige: endeløs reparasjon kan oppfinne stadig mer kunstige begrensninger bare for å bestå en sjekkliste.

Metagjennomgang på batchnivå ser deretter på tvers av settet for dekning, mangfold, redundans og mislykkede mål. Sample porter holder individuelle elementer solide; batchgjennomgang hindrer pensumet i å klynge seg på én smal feilmodus eller klone nesten duplikater.

Disse kontrollene forklarer hvorfor pipelinen kan bruke timer på å produsere tusenvis av prøver uten å behandle volum som en erstatning for tilpasning. Hastigheten varierer etter domene og lærerstørrelse, men QC-historien er konsistent: vanskelighetsbånd, positiv og negativ verifisering, reparasjon med grenser, deretter metavurdering.

Rå feil vs. kort vs. validerte SFT-sett

Det hjelper å sammenligne hva hver artefakt er god for. Rå feillogger er diagnostiske. Evnekort er generative kontrakter. Validerte, overvåkede finjusteringssett er det du trener på i praksis.

I Hybrid- og ITSM-øyeblikksbilder på EnterpriseOps Gym brukte forfatterrapporterte kjøringer Gemma-4-26B-A4B-it som mål. Hybrid paret dette målet med Qwen3.8-27B som lærer og produserte omtrent 2000 hybridprøver på omtrent 18 timer, med det beste kontrollpunktet ved epoke 5. Gjennomsnittlig Pass@1 økte med 7,2 prosentpoeng – omtrent 35 prosent relativt – med verifikatorsuksess som gikk fra 63,01 prosent til 68,55 prosent, og lukket dermed omtrent 59 prosent av Pass@1-gapet til referansemodellen.

ITSM koblet det samme målet med DeepSeek-V4.1-Flash som lærer og produserte omtrent 1994 prøver på omtrent 66 timer, noe som delvis skyldtes en større lærer og fordi noen pipeline-optimaliseringer ennå ikke var på plass. Gjennomsnittlig Pass@1 økte fra 18,77 prosent til 27,18 prosent.

Les disse tallene som resultater fra selskapets forskning på dette treningssenteret for domenene som er testet – ikke som en uavhengig tredjepartsreplikasjon, og ikke som en universell bedriftsgaranti. Gevinster lever der lærerstyrke, verifikatorkvalitet og miljølojalitet stemmer overens.

Hva utøvere bør kopiere fra løkken

Selv om stakken din ikke er ServiceNows forskningspipeline, overføres mønsteret. Start med parvis evaluering av et produksjonslignende mål og en sterkere lærer i en trofast sandkasse. Konverter kontrastfeil til kapasitetskort som fjerner identifikatorer og baner. Generer oppgaver som varierer tillatte dimensjoner samtidig som de nødvendige slutttilstandsegenskapene bevares. La læreren demonstrere suksesser. Gate med vanskelighetsbånd, positiv og negativ verifisering, begrenset reparasjon og gjennomgang av batchdiversitet. Finjuster, revurder og flytt grensene.

Vær spesielt oppmerksom på verifikatordesign. EnterpriseOps Gym-lignende SQL-resultatkontroller og policystyrte operasjoner illustrerer hvorfor chat-rubrikker i seg selv er svake for tilstandsfullt arbeid. Hvis verifikatoren din ikke kan skille muterte, gale resultater fra korrekte sluttresultater, vil syntetisk skala forsterke støy.

Respekter også ånden i multiplikasjonsregelen: varianter av aksepterte mål bør ikke i det uendelige så flere varianter uten å gå tilbake til verifiserte kjerner. Drift er stille. En læreplan som sakte oppfinner mer eksotiske begrensninger, kan fortsatt passere overfladiske filtre samtidig som den opprinnelige evnen blir undertrent.

Til slutt, behandle hybrid arbeid på tvers av domener som et førsteklasses stresstilfelle. Daglige brukere holder seg ikke innenfor én verktøysilo. Hybride oppgaver, langsiktige baner og avslag eller manglende gjennomførbarhetstesting er der miljøkompetanse viser seg – eller svikter kraftig.

Forbehold, begrensninger og en nøye lesing av gevinstene

Resultater rapportert av forfattere på EnterpriseOps Gym er informative signaler, ikke en generell garanti. De publiserte Hybrid- og ITSM-gevinstene gjelder for disse domenene og modellparingene under det beskrevne oppsettet. Andre domener, svakere lærere, mer støyende verifikatorer eller overfladisk miljøgjengivelse kan krympe eller viske ut fordelen.

Kvalitet avhenger av tre søyler som ingen markedsføringstekst kan hoppe over. Lærerens styrke setter taket for demonstrasjoner. Verifikatorkvalitet angir påliteligheten til etiketter og filtre. Miljøtroskap avgjør om lært atferd overlever kontakt med produksjonssystemer, regler og datatilstand.

AutoSynthDatas eksperimenter vektlegger veiledet finjustering. Forsterkningslæring er nevnt som en mulig senere bruk av den samme løkken, planlagt snarere enn levert i det rapporterte arbeidet. Lesere bør ikke blande sammen en pensumklar datamotor med en ferdig RL-opplæringspåstand.

Leserne bør heller ikke forveksle syntesepipelinen med selve benken. EnterpriseOps Gym tilbyr de kuraterte oppgavene, verktøyene, tabellene, containeriseringen og verifiseringsstrukturen. AutoSynthData bruker den typen miljø for å gjøre feil om til treningsgull. Gi begge delene nøyaktig kreditt: gymsalen stresser agenter; pipelinen multipliserer lærbare oppgaver fra diagnostiserte hull.

Det er heller ingen gratis lunsj på databehandling og kalendertid inne i sandkassen. Hybrid syntese ble fullført i størrelsesorden timer for omtrent to tusen prøver; ITSM tok lengre tid med en tyngre lærer og tidligere pipeline-form. Teamene bør budsjettere for lærerens inferens, nye forsøk i kritikk eller reparasjon, og revurdering etter hvert pensumtrinn.

Læreplantenkning for bedriftsagentteam

Den dypeste ideen i AutoSynthData er læreplanmessig snarere enn rent generativ. Feil diagnostiserer. Kort abstraherer. Generering multipliserer. QC validerer. SFT oppdaterer målet. Reevaluering flytter grensen. Den sekvensen behandler agentforbedring som en serie miljøbaserte leksjoner i stedet for en enkelt offline dump av spor.

Læreplantenkning endrer hvordan ledere fordeler innsats. I stedet for bare å be om flere billetter eller flere menneskelige merknader, spør hvilke evner som fortsatt mislykkes under variasjon, om disse evnene har rene slutttilstandsegenskaper, og om en sterkere lærer kan demonstrere dem pålitelig. Hvis læreren ikke kan lykkes ofte nok, vil syntetisk SFT lære bort upålitelig atferd. Hvis slutttilstandsegenskapene er uklare, vil verifikatorer krangle med gyldige strategier.

Det endrer også hvordan du snakker om suksess. Å lukke deler av et Pass@1-gap i forhold til en referansemodell på Hybrid, eller å løfte ITSM Pass@1 fra de høye tenårene til de høye tjueårene i forfatterrapporterte kjøringer, er fremskritt innen målt miljøkompetanse. Det er ikke bevis på at hver arbeidsflyt, hver policy eller hver avslagssak er løst. Hold det bevegelige grensespråket i bevegelse: gjenværende gap blir neste målfase, ikke et ettertanke-slide.

For programdesign, kombiner denne løkken med menneskelig gjennomgang der innsatsen er høy – ​​sikkerhetspolicyer, irreversible handlinger, regulerte data – samtidig som automatiserte porter bærer volum på velspesifiserte tilstandskontroller. Syntetiske data fungerer best når miljøet kan si ja eller nei med SQL-lignende klarhet. Det sliter når suksess er subjektiv smak.

Designnotater om vanskelighetsgrad, realisme og avslag

Vanskelighetsgradsmålsetting fortjener en ny vurdering. Å favorisere oppgaver som målet løser maksimalt én tredjedel av tiden, holder treningen unna trivia. Å kreve at læreren lykkes minst to tredjedeler av tiden, holder demonstrasjoner unna myntkast. Dette båndet er et praktisk kompromiss mellom utfordring og lærbarhet.

Realisme er fortsatt et mykere kriterium, men fortsatt essensielt. Bedriftsbrukere ber om ting som passer deres roller og systemer. Generatorer som kun styres av hardhet kan finne opp forseggjorte flerbegrensningsoppgaver som ingen operatør ville be om. Evnekort som viser variable dimensjoner hjelper, men mennesker eller meta-vurdering må fortsatt fange opp surrealistiske spørsmål.

Avslagstesting og testing av manglende gjennomførbarhet, som finnes i EnterpriseOps Gyms bredere design, minner teamene om at kompetanse inkluderer å si nei. En pipeline som kun er optimalisert for oppgaver som kan fullføres, kan undertrene avslag. Når du utvider AutoSynthData-lignende løkker, inkluder kort der den riktige endelige egenskapen er en sikker avslag under policyen, ikke bare en vellykket mutasjon av databasetilstand.

Langsiktige tilstandsfulle baner reiser et annet designnotat. Lærerdemoer må forbli koherente på tvers av mange verktøykall. Verifikatorer som bare sjekker den siste tabellraden, kan gå glipp av mellomliggende policybrudd. Fullstendighet i verifikatordesign betyr å dekke egenskapene som virkelig definerer suksess for den funksjonen – inkludert begrensninger som må forbli sanne gjennom hele prosessen, ikke bare på slutten.

Avsluttende sammendrag

AutoSynthData, fra ServiceNow CoreAI / ServiceNow-AI og forfattet i den offentlige artikkelen av Esakkivel Esakkiraja, er en prosess som gjør om feil hos målagenter og suksesser hos lærere til validerte syntetiske opplæringsoppgaver for bedriftsmiljøer. Den abstraherer feil til rengjorte kapasitetsspesifikasjonskort, genererer nye oppgaver uten å lekke originale ledetekster eller baner, samler lærerdemonstrasjoner og håndhever kvalitetskontroll på prøvenivå og batchnivå før overvåket finjustering.

Den praktiske mentale modellen er oppgaven som systemspesifikasjon, brukerprompt og verifikator – med gjennomførbarhet, realisme og vanskelighetsgrad holdt i spenning, og med verifikatorer som verken er for slappe eller låst til én bane. Målrett deretter multipliserbare faser, en ikke-ytterligere-frø-regel for multipliserte prøver, delt kontroller pluss miljøadapter og revurdering etter SFT skaper en bevegelig grense over gjenværende hull.

På EnterpriseOps Gym viser forfatterrapporterte Hybrid-resultater med Gemma-4-26B-A4B-it og Qwen3.8-27B omtrent to tusen prøver på omtrent atten timer og betydelige økninger i Pass@1 og verifikator-suksess, noe som tetter en stor del av gapet til en referansemodell. ITSM med DeepSeek-V4.1-Flash som lærer viser at Pass@1 øker fra 18,77 prosent til 27,18 prosent på omtrent 1994 prøver over en lengre periode. Behandle disse tallene som undersøkte signaler på spesifikke domener, avhengig av lærer-, verifikator- og miljøtroskap – og behold forsterkningslæring som en planlagt forlengelse av løkken, ikke en ferdig påstand.

Hvis du husker én setning: Enterprise-agenter forbedrer seg når feil blir abstraherte, multipliserte, verifiserte lærdommer i systemene de må operere daglig – ikke når team bare spiller av den samme ødelagte saken.

Praktisk eksempel: Utvidelse av vanskelige ITSM-tilfeller fra et frossent feilsett i treningsstudiostil

Scenario

Et britisk team på en bedriftsplattform – tenk deg en mellomstor driftsgruppe for finansielle tjenester som kjører ServiceNow-lignende ITSM med endringsvinduer, CMDB-relasjoner og policystyrte overganger – har en produksjonslignende agent som stadig støter på samme arbeidsklasse: krysstabelloppdateringer som må respektere en forutsetning for godkjenning, oppslag i kunnskapsartikler som er i konflikt med lokale endringsfrysinger, og hybride forespørsler som krysser ITSM inn i tilstøtende driftsverktøy.

De fryser en privat EnterpriseOps Gym-lignende pakke (containerisert sandkasse, SQL-resultatsjekker, seedede tabeller, policyregler), slik at poengsummene er sammenlignbare fra uke til uke. Diagnostiske kjøringer viser at målagenten feiler der en sterkere lærer lykkes. Ledelsen ønsker mer opplæringssignal uten å spille av de samme saksnumrene og enhets-ID-ene. AutoSynthData (eller en tilsvarende synth-from-failures-løkke hvis forskningspipelinen er portet i stakken deres) er kandidaten: gjør kontrastfeil om til rensede kapasitetsspesifikasjonskort, generer nye oppgaver, samle inn lærerdemoer, og deretter – kritisk – gjennomgå syntetiske spor for mennesker før eventuell ny opplæring.

Ingenting sendes på Gym Pass@1 alene. Synthesizer-data behandles som kandidatpensum, ikke fri sannhet.

Hva assistenten trenger

• Tilgang til den frosne adapteren for Gym-lignende miljø: verktøy, frøtilstand, policyer og SQL-verifikatorer (eller tilsvarende tilstandsbaserte).
• Parvise evalueringslogger: målfeil sammenlignet med lærernes suksesser på de samme oppgavene.
• Et kortskjema som fanger opp kapasitet, verktøy/arbeidsflytform, kontrast mellom mislykket/vellykket, nødvendige egenskaper for slutttilstand og tillatte variasjonsdimensjoner – uten opprinnelige ledetekster, enheter, baner eller verifikatorinternaler.
• PII og regler for policyskrubbing (billett-ID-er, brukernavn, CI-navn, regulerte felt) før noe forlater sandkassen eller går inn i en generatorledetekst.
• En menneskelig gjennomgangskø for samplede syntetiske oppgaver og lærerspor (gjennomførbarhet, realisme, verifikators gyldighet, tilfeller av avslag/ikke-gjennomførbarhet).
• Fjern stoppbetingelser: Målrett deretter multipliser faser; multipliserte prøver fører ikke til ytterligere multiplikasjonsrunder.

Eksempelinstruksjon

Plattformen leder til pensumoperatøren (eller til en orkestreringsassistent som bare utarbeider kort og gjennomgår pakker – den omskolerer eller promoterer ikke modeller):

"Kjør diagnostisk Pass@1 på de frosne ITSM- og Hybrid-seksjonene mot vårt nåværende mål og den angitte læreren. For hver kontrast der målet mislykkes og læreren lykkes i minst to av tre forsøk, utarbeid et renset kapabilitetsspesifikasjonskort: navngi kapabiliteten, list opp relevante verktøy, angi nødvendige slutttilstandsegenskaper og list opp kontrollerbare dimensjoner (prioritetsbånd, relatert CI-klasse, endringsvinduflagg, kunnskapskonflikttype). Fjern billettnumre, brukeridentifikatorer, CI-navn og rå baner. Generer en målfasegruppe med nye oppgaver kun fra disse kortene. La læreren demonstrere suksesser. Bruk vanskelighetsbånd (mål ≤1/3, lærer ≥2/3), positiv og negativ verifisering, og begrenset kritikk/reparasjon. Lag en gjennomgangspakke med 5 % stratifiserte prøver pluss hvert avslags-/ugjennomførbarhetskort. Ikke start SFT før to anmeldere godkjenner pakken og PII-skrubbesjekker er bestått. Etter SFT på et kandidatsjekkpunkt, evaluer på nytt på den frosne pakken og på et holdout-eksakt samsvarssett vi aldri har brukt til generering. Rapporter dekning etter feilklasse og regresjonsrate versus forrige produksjonssjekkpunkt. Ikke promoter på Gym-poengsum alene

Hvordan teste det

1. Baseline-lås: Registrer Pass@1 og suksessrater for verifikator på den frosne pakken etter feilklasse (forutsetningsrekkefølge, avslag på endringsvindu, hybrid kryssverktøy, kunnskapskonflikt). Hold pakken og frøene uforanderlige for syklusen.
2. Kortrevisjon: Stikkprøvesjekk at generatorer aldri mottar originale ledetekster, enheter eller lærerspor – kun kort.
3. Eksempel på kvalitetskontroll: Bekreft at positive baner består verifikatorer, og at muterte feil utfall mislykkes. Avvis oppgaver som er trivielle for målet eller myntkast for læreren.
4. Menneskelig gjennomgang: Vurderingspersoner merker hvert utvalg som behold / reparer / slipp basert på gjennomførbarhet, realisme og policysikkerhet. Spor enighet mellom vurderingspersoner om et delt delsett.
5. Hold ut eksakt samsvar: Etter kandidat-SFT, skår en hold ut av reelle (eller tidligere frosne) oppgaver som aldri var input til karding eller generering. Separat skår nesten-parafraser av treningsoppgaver for å oppdage overfladisk memorering.
6. Regresjonsport: Enhver feilklasse som forverres i forhold til forrige produksjonssjekkpunkt blokkerer forfremmelse inntil den blir forklart eller rettet.

Resultat

Ikke finn på bake-off-prosenter her. Bruk en måleplan og merk publiserte forskningstall som ARTIKKELKRAV når du siterer dem.

Måleplan (hva dette teamet skal rapportere):

• Dekning av feilklasse: andel av diagnostiserte gap-klasser som produserte ≥N aksepterte målfaseoppgaver etter kvalitetskontroll (definer N på forhånd, f.eks. 20 aksepterte oppgaver per klasse).
• Holdout-nøyakt samsvar: Pass@1 / verifikatorsuksess på den urørte holdouten før vs. etter kandidat-SFT (samme frø, samme verifikator).
• Regresjonsrate: antall feilklasser der Pass@1 faller i forhold til forrige produksjonssjekkpunkt; blokker hvis noen sikkerhetskritiske klasser regreserer.
• Gjennomgangsutbytte: behold / reparer / slippraten på den menneskelige gjennomgangspakken; hvis slippraten øker, sett Multiplikasjon på pause og fiks kort eller verifikatorer.
• Skrubbefeil: antall prøver som ikke besto PII-/policykontroller før godkjenning av gjennomgang (mål: null escapes i SFT-settet).

ARTIKKELKRAV (forfatterrapportert på EnterpriseOps Gym – ikke dette teamets målte resultat): Hybridkjøringer med Gemma-4-26B-A4B-it som mål og Qwen3.8-27B som lærer produserte omtrent 2000 prøver på omtrent 18 timer, med gjennomsnittlig Pass@1 opp omtrent 7,2 prosentpoeng og verifikatorsuksess som økte fra 63,01 % til 68,55 %. ITSM med DeepSeek-V4.1-Flash som lærer økte gjennomsnittlig Pass@1 fra 18,77 % til 27,18 % på omtrent 1994 prøver over en lengre periode (~66 timer). Behandle disse som undersøkte signaler på spesifikke domener og sammenkoblinger, ikke en universell garanti for en britisk produksjonsstabel.

Illustrativ programform (antagelser, ikke målte gevinster): Hvis teamet godtar ~2000 QC-styrte prøver for én ITSM-syklus, budsjetterer lærerslutning pluss gjennomgang med 5 % stratifisert utvalg, og bare fremmer når holdout ikke fører til regresjon av sikkerhetskritiske klasser, er «resultatet» de kan hevde med et ærlig ansikt prosessmodenhet – revidert pensum, justerte spor og sammenlignbare deltaer i frosne suiter – ikke en lovet prosentvis økning.

Hva kan gå galt

• Behandling av synth som fri sannhet: Å hoppe over menneskelig gjennomgang eller negativ verifisering lar permissive verifikatorer innrømme søppel i stor skala.
• Enhetslekkasje: Å mate originale billett-ID-er eller lærerspor inn i generatoren inviterer til overtilpasning av parafraser; det finnes kort for å forhindre dette.
• Ubegrenset multiplikasjon: Å la multipliserte prøver så ytterligere runder driver bort fra den navngitte funksjonen.
• Gym-score-frakt: Markedsføring fordi frozen-suite Pass@1 økte mens holdout- eller produksjonsskyggetrafikk forverret seg.
• Svak lærergrense: Hvis læreren ikke klarer suksessbåndet ≥2/3, underviser SFT i upålitelige demonstrasjoner.
• Fuzzy verifikatorer: Chat-rubrikker i stedet for statsbaserte sjekker vurderer flytende feil eksamener som vellykket.
• Avslag på underopplæring: Optimalisering kun for fullførbare mutasjoner gjør endringsvinduet og avslag på retningslinjer skjøre.
• PII-escape: Syntetiske ledetekster som gjeninnfører ekte CI eller brukernavn etter en overfladisk scrub.

Praktisk takeaway

Bruk løkker i AutoSynthData-stil – eller et tilsvarende synth-from-failures-mønster hvis ServiceNow CoreAI-pipelinen ikke er tilgjengelig i din leieforhold – for å multiplisere harde, verifiserbare ITSM-tilfeller fra diagnostiserte hull. Saner til kapasitetskort, utfør vanskelighetsgrad og positiv/negativ verifisering, skrubb PII og gjennomgå prøver fra mennesker før SFT. Mål dekning av feilklasse, eksakt samsvar med holdout og regresjonsrate. Siter ARTIKKELKRAV Gym-tall kun som ekstern forskningskontekst. Synth-data er pensumdrivstoff, ikke en garanti: revisjonsprøver, hold suiten frossen for rettferdig sammenligning, og send aldri Gym-score alene.

Vanlige spørsmål

Hva er AutoSynthData, og hvilket problem retter det seg mot?

AutoSynthData er en ServiceNow CoreAI / ServiceNow-AI-pipeline, beskrevet av Esakkivel Esakkiraja, som bretter sammen en målagents feil med en sterkere lærers seire til validerte syntetiske treningsoppgaver for bedriftsmiljøer. Den fokuserer på miljøkompetanse – lokale retningslinjer, skjemaer, verktøy og tilstand – snarere enn bred generell kunnskap. Poenget er å multiplisere hardt, kontrollerbart arbeid slik at overvåket finjustering kan lappe miljøspesifikke hull i stedet for å spille av den samme ødelagte saken på nytt.

Hvorfor er miljøkompetanse forskjellig fra bred modellkapasitet?

Bedriftsagenter snubler ofte fordi selve miljøet er spesielt: policyer for billett, skjema-eiendommer, verktøykontrakter, seedede databaser og arbeidsflyter på tvers av systemer. En modell som ser sterk ut på åpne benchmarks kan fortsatt fryse i et endringsvindu, en CMDB-relasjon eller en verifikator som inspiserer den endelige tilstanden. Bred kapasitet er ikke det samme som å vite hvordan systemene, reglene og datatilstanden din oppfører seg under policystyrte overganger.

Hva er den praktiske oppgaveformen AutoSynthData bruker?

En brukbar form er oppgave lik systemspesifikasjon, brukerledetekst og verifikator. Systemspesifikasjonen inneholder begrensninger, retningslinjer og starttilstand, som databasefrø og kunnskapsartikler. Brukerledetekster blir vurdert for gjennomførbarhet, realisme og vanskelighetsgrad. Verifikatorer bruker ideelt sett SQL-baserte eller tilstandsbaserte resultatsjekker, slik at de vurderer verden etter at agenten har handlet, ikke bare den nøyaktige tokenbanen som er tatt.

Hvordan forhindrer rengjorte kapasitetsspesifikasjonskort overtilpasning?

Diagnostikk kjører kontraster der målet mislykkes og læreren lykkes, og destillerer deretter disse tilfellene til rengjorte kapasitetsspesifikasjonskort. Et kort registrerer kapasiteten, verktøyene eller arbeidsflytformen, kontrasten mellom mislykket/lykket, nødvendige egenskaper for slutttilstand og dimensjoner som kan variere. Generatoren ser aldri originale ledetekster, enheter, baner eller verifikatordetaljer – bare kortene – så nye oppgaver presser på den harde kjernen uten å parafrasere en memorert episode.

Hva er Target- og Multiply-fasene i prosessen?

Målfasen konsentrerer seg om kjernekontrollerte prøver rundt gap – oppgavene med høyest signal i nærheten av der den svake agenten bryter sammen. Multiplikasjonsfasen spinner nye varianter av aksepterte mål. Multipliserte prøver kan ikke så ytterligere multiplikasjonsrunder, noe som holder driften bort fra den navngitte evnen i sjakk. Etter overvåket finjustering flytter revurderingen pensumet mot gjenværende gap som en bevegelig grense snarere enn en statisk dump.

Hvordan sikrer kvalitetskontroll på prøvenivå at syntetiske oppgaver er troverdige?

Et vanskelighetsfilter for løseren favoriserer oppgaver målet løser i maksimalt ett av tre forsøk, mens læreren lykkes i minst to av tre. Positiv verifisering trenger en referansebane for å bestå; negativ verifisering trenger muterte feil utfall for å mislykkes. En kritikk- og reparasjonsløkke med en grense for nye forsøk prøver å reparere nestenulykker, og metavurdering på batchnivå sjekker dekning, mangfold, redundans og mislykkede mål på tvers av settet.

Hvilken arkitektur bruker AutoSynthData på tvers av bedriftsdomener?

Den kobler en delt kontroller med en miljøadapter. Kontrolleren kjører diagnose, kartlegging, generering, lærerdemoer, kvalitetsporter og batchgjennomgang. Adapteren kobler disse trinnene til en konkret sandkasse – verktøy, tilstand, policyer og verifikatorer – slik at den samme kontrollsløyfen kan peke mot forskjellige domener uten å måtte omskrive læreplanlogikken fra bunnen av.

Hva er EnterpriseOps Gym i denne forskningskonteksten?

EnterpriseOps Gym er den storskala enterprise agent-benken som brukes som stresstestbenk, med rundt 1150 ekspertkuraterte oppgaver på tvers av 8 domener, omtrent 512 verktøy, omtrent 164 databasetabeller, containerisert utførelse, SQL-basert resultatverifisering, policystyrte operasjoner, hybridscenarier og langsiktige tilstandsbaserte baner. AutoSynthData presenteres ikke som oppfinneren av dette treningssenteret; treningssenteret viser syntesesløyfen i aksjon.

Hvilke forfatterrapporterte resultater vises for Hybrid- og ITSM-innstillinger?

På EnterpriseOps Gym produserte Hybrid-kjøringer med Gemma-4-26B-A4B-it som mål og Qwen3.8-27B som lærer omtrent 2000 prøver på omtrent 18 timer, med gjennomsnittlig Pass@1 opp omtrent 7,2 prosentpoeng og verifikatorsuksess som gikk fra 63,01 % til 68,55 %. ITSM med DeepSeek-V4.1-Flash som lærer økte gjennomsnittlig Pass@1 fra 18,77 % til 27,18 % på omtrent 1994 prøver over en lengre periode. Behandle disse som undersøkte signaler på spesifikke sammenkoblinger, ikke en universell produksjonsgaranti.

Hvilke feil bør team unngå når de bruker synth-from-failures-løkker?

Ikke behandle syntetiske data som fri sannhet, og hopp over menneskelig gjennomgang og negativ verifisering. Unngå å mate originale billett-ID-er eller lærerspor inn i generatoren, la multipliserte prøver så flere runder, eller å promotere på Gym Pass@1 alene mens holdout- eller skyggetrafikk forverres. Vær også oppmerksom på svake lærere under suksessbåndet, uklare chat-rubrikker i stedet for tilstandskontroller, tilfeller av underopplæring og PII-unnslipp etter en overfladisk skrubbing.

Referanser

1. Klemfjes — AutoSynthData — huggingface.co
2. EnterpriseOps Gym — enterpriseops-gym.github.io
3. arXiv — arxiv.org
4. GitHub — EnterpriseOps-Gym — github.com