Machine learning fejlesztés

Gépi tanulás, ahol a döntésnek mérhetőnek kell lennie.

Saját modelleket fejlesztünk ott, ahol nem elég, hogy többnyire jó: a döntésnek kalibráltnak, visszaigazolhatónak és hiba esetén biztonságosnak kell lennie.

Beszéljük át az AI-projektet Nézze meg, mit építettünk

Saját modellek és inference
Kalibrált valószínűségek
Hibaanalízis és kiértékelés
Fail-closed éles viselkedés

Miért nem elég a pontosság?

Egy 99%-os modell is használhatatlan lehet, ha a hibái éppen a kritikus esetekben jelentkeznek, vagy ha a kimenete nem valószínűség, csak egy szám. A döntési rendszer akkor megbízható, ha a küszöbértéket mérés választja ki, nem érzés.

Kalibráció: a 0.9 valóban 90%-ot jelentsen.
Küszöbérték-választás a hibatípusok költsége alapján.
Hibaanalízis: mely eseteken és miért téved a modell.
Ismeretlen bemenet felismerése és óvatos viselkedés.

Mit építettünk eddig?

A notabot botdetektáló rendszerben saját ONNX inference poolt, kalibrációs és döntési rétegeket építettünk. Ez a tapasztalat közvetlenül átvihető bármely mérhető döntési problémára.

Saját inference futás az alkalmazás környezetében.
Kalibrációs és küszöbérték-bizonyítékok.
Döntési réteg, amely pontszámból allow, challenge vagy block döntést csinál.
Visszaélések és adatdrift figyelése éles üzemben.

Mikor nem érdemes saját modellt fejleszteni?

Ha a feladat szövegértés vagy generálás, és a hiba költsége alacsony, egy jól beállított LLM API gyorsabb és olcsóbb. Saját modell akkor indokolt, ha a döntés mérhető, ismétlődő és a hiba költséges.

Nincs elég címkézett adat a tanításhoz.
A döntés nem ismétlődik, nincs mit tanulni belőle.
A válaszidő és a költség nem szab szigorú korlátot.

Mit tartalmaz egy ML fejlesztési projekt?

Adat- és címkézési terv
Kiértékelési protokoll a hibatípusok költségével
Tanított és kalibrált modell
Döntési réteg küszöbérték-választással
Inference integráció az alkalmazás környezetébe
Monitoring, hibaanalízis és újratanítási terv

GYIK

Machine learning fejlesztés — gyakori kérdések

Amit egy saját modellt használó döntési rendszer tervezése előtt érdemes tudni.

AdatMennyi adat kell egy saját modellhez?

Ez a feladattól függ, és a validációs fázisban mérjük meg, nem tippeljük. Gyakran kevesebb adat is elég, ha a jellemzők jól megválasztottak, és a hibatípusok költsége ismert.

ModellválasztásMikor érdemes inkább LLM API-t használni?

Amikor a feladat szövegértés vagy generálás, és nem szab szigorú korlátot a költség, a válaszidő vagy az adatok helye. Ez a döntés mérésen alapul, nem technológiai preferencián.

BiztonságHogyan biztosítják, hogy a modell ne hozzon visszafordíthatatlan döntést?

A döntési réteg nem egyetlen modell kimenetére támaszkodik: kalibráció, küszöbérték és gating szűri a bizonytalan eseteket, hiba esetén pedig a rendszer a biztonságos irányba dönt, nem enged át.

Meglévő modellÁtveszik a meglévő modelljeinket?

Igen. Először kiértékeljük, hogy a jelenlegi modell milyen hibatípusokat termel, és hogy a probléma a modellben vagy a döntési logikában van. Sok esetben a döntési réteg javítása többet hoz, mint egy új modell.

Kapcsolatfelvétel

Beszéljen arról, amin dolgozik.

A legjobb első beszélgetés egy konkrét AI-döntésről szól: LLM vagy saját modell, integráció a meglévő rendszerbe, vagy egy koncepció, amiről még nem tudni, megáll-e éles méretben.

AI szoftverfejlesztésTúlzó ígéretek nélkülA validációtól az éles AI rendszerig

Kenyeres László hello@srcabc.com +36 70 651 8300