Krediidiskoori prototüübi suudab ehitada peaaegu igaüks ühe pärastlõunaga. Võta paar tunnust, anna neile kaalud, sea tulemusele lävend ja sul on midagi, mis ütleb jah või ei. Raske osa – see, mis eristab demo laenuäriks, mis elab üle järelevalve – on kõik, mis skoori ümber on: kust andmed tulid, miks mudel otsustas nii, nagu otsustas, kas suudad tõestada, et kohtlesid kahte sarnast taotlejat järjepidevalt, ja kas suudad iga üksiku otsuse kuus kuud hiljem taastada, kui regulaator, audiitor või tagasi lükatud taotleja seda küsib.
Oleme ehitanud ja hallanud skoorimismootoreid päris laenuhaldusplatvormide sees ja õppetund on alati sama. Skoorimise matemaatika on lihtne 20%. Nõuetele vastav, auditeeritav ja selgitatav masinavärk selle ümber on need 80%, mis määravad, kas toode on kohustus või vara. Siin on, kuidas me nendele 80%-le läheneme.
Eralda reeglid koodist
Kõige sagedasem viga, mida näeme, on otse rakenduse koodi küpsetatud skoorimismudel – lävendid maagiliste numbritena, kaalud teenusemeetodite vahel laiali, poliitika if-lausetesse maetud. See töötab kuni päevani, mil äri peab mõnda piiri muutma, ja siis on iga muudatus koodi paigaldus, testimistsükkel ja väljalaskeaken. Veel hullem: keegi ei oska vastata põhiküsimusele, mille regulaator küsib: millised täpselt olid reeglid päeval, mil selle laenu kohta otsus tehti?
Käsitle oma skoorimispoliitikat andmete, mitte koodina. Vii reeglid, kaalud ja lävendid välja versioneeritud konfiguratsiooni, mille mootor laadib ja läbi arvutab:
- Versioneeri iga poliitikat. Iga otsus salvestab täpse poliitikaversiooni, mis selle tekitas. Kui muudad piiri, lood uue versiooni – vana ei muudeta kunagi.
- Tee poliitikamuudatused ülevaadatavaks. Reeglimuudatus peaks läbima sama kinnitusraja nagu iga teine riskiotsus: omanik, põhjendus ja ajatempel.
- Lahuta paigaldus otsusest. Lävendi kohandamine muutuvatele makseviivituste määradele reageerimiseks ei tohiks nõuda koodi väljalaset. See peaks olema kontrollitud konfiguratsioonimuudatus.
Kasu on tohutu: saad taastada täpse reeglistiku iga ajaloolise otsuse taga ja muuta riskipoliitikat nii kiiresti, kui äri seda päriselt vajab.
Andmete päritolu on kõige alus
Skoor on täpselt nii usaldusväärne kui selle all olevad andmed ja laenunduses tulevad need andmed paljudest kohtadest – taotlusvormidelt, pangatehingute voogudest, krediidibüroode raportitest, sisemisest tagasimaksete ajaloost, pettusesignaalidest. Kui sa ei oska täpselt öelda, millised sisendid konkreetse otsuse aluseks olid ja kust igaüks tuli, ei saa sa otsust kaitsta, halba otsust siluda ega tõestada, et sa ei kasutanud keelatud muutujat.
Ehita andmete päritolu jälgimine sisse algusest peale, mitte ära lisa seda hiljem:
- Tee sisenditest hetktõmmis. Salvesta iga otsuse jaoks kasutatud täpsed tunnuste väärtused, mitte ainult viide allikale, mis võib vahepeal olla muutunud. Loeb see krediidibüroo raport, mille sa tol päeval said, isegi kui seda on hiljem uuendatud.
- Salvesta päritolu. Iga sisendi juures on kirjas, kust see tuli ja millal see saadi. Vananenud pangavoog või krediidibüroo aegumine peaks olema nähtav ja logitud olukord, mitte vaikne null.
- Erista puuduvat nullist. „Meil polnud sissetuleku andmeid“ ja „sissetulek oli null“ on täiesti erinevad signaalid. Nende kokku sulatamine on see, kuidas mudelid vaikselt valesti lähevad ja kuidas maksevõime hindamine muutub kaitsmatuks.
Kui taotleja vaidlustab otsuse või regulaator võtab su toimikust valimi, on puhta päritolukirje ja õlakehituse vahe sama mis tavapärase ülevaatuse ja tuvastatud rikkumise vahe.
Selgitatavus on seadusest tulenev nõue, mitte lisaväärtus
GDPR-i ja jõustuva ELi tehisintellekti määruse (AI Act) järgi on taotlejal, kelle kohta tehakse automatiseeritud krediidiotsus, õigus saada sisukat teavet kasutatud loogika kohta. „Mudel ütles ei“ ei ole nõuetekohane vastus. Pead iga otsuse kohta esitama konkreetsed põhjused, mis selle tingisid – keeldumise põhjused, mida laenundusregulaatorid enamikul turgudel juba nõuavad.
See mõjutab mudeli valikut rohkem, kui meeskonnad ootavad. Gradientvõimendusega ansamblimudel võib välja pigistada paar protsendipunkti täpsust, kuid kui sa ei suuda selle väljundit arusaadavate põhjustega siduda, oled ostnud jõudlust vastavusriski hinnaga. Praktikas eelistame:
- Olemuselt tõlgendatavaid mudeleid (skoorikaardid, logistiline regressioon, monotoonsed reeglistikud) kõikjal, kus täpsuse kaotus on vastuvõetav – mida juhtub sagedamini, kui andmeteaduse hüpe tunnistab.
- Otsuse hetkel genereeritud põhjusekoode, mis salvestatakse koos otsusega ja on kirjas lihtsas keeles, mille põhjal inimene saab tegutseda: „ebapiisav krediidiajalugu“, „laenukoormus sissetuleku suhtes üle lävendi“, mitte „tunnuse 47 kaal -0,32“.
- Monotoonsuse piiranguid seal, kus need peegeldavad päris poliitikat – suurem sissetulek ei tohiks kunagi su skoori langetada. Selle jõustamine mudeli tasemel hoiab ära piinlikud ja kaitsmatud erijuhud, mida piiranguteta mudelid tekitavad.
Kui pead kasutama keerukat mudelit, investeeri otsuse hetkel selgitamise infrastruktuuri enne väljalaset, mitte pärast seda, kui kaebus küsimuse esile sunnib.
Auditijälg on toode
Siin on mõttemuutus, mis teeb skoorimismootorid õigeks: skoor ei ole tulemus. Tulemus on auditeeritav kirje sellest, kuidas skoor tekkis. Regulaatoreid, audiitoreid ja kohtuid ei huvita, et su mudel on nutikas; neid huvitab, et suudad iga konkreetse otsuse kohta tõestada, mis juhtus ja miks.
Täielik otsusekirje salvestab muutumatult:
- Taotleja sisendid sellisena, nagu need olid otsuse hetkel, koos päritoluga.
- Täpse rakendatud poliitika- ja mudeliversiooni.
- Arvutatud skoori ja kõik põhjusekoodid.
- Lõpliku tulemuse, sealhulgas iga käsitsi ülekirjutuse ja selle, kes selle tegi.
- Iga sammu ajatempli ja tegija – inimene või süsteem.
Salvesta need ainult lisatavate ja muutmiskindlate kirjetena. Sa ei logi ainult silumiseks; sa kogud tõendeid. Laenuettevõte, mis suudab võtta mis tahes kahe aasta taguse otsuse ja selle täielikult taastada, on põhimõtteliselt tugevamas olukorras kui see, kes suudab näidata ainult muudetava andmebaasirea praegust seisu.
Disaini inimesega protsessis
Täielikult automatiseeritud laenamine on haruldane ning suurema väärtusega või piiripealsete otsuste puhul sageli ebamõistlik. Enamik päris mootoreid suunab märkimisväärse osa taotlustest käsitsi ülevaatusele – vähese ajalooga taotlejad, piiripealsed skoorid, märgistatud pettusesignaalid. Skoorimismootor peab selle üleandmise puhtaks tegema:
- Käsitsi ülekirjutused on samuti otsused. Kui krediidianalüütik mudeli otsuse üle kirjutab, saab see toiming sama auditikohtlemise: kes, millal, miks ja mida ta nägi. Selgitamata ülekirjutus on tulevane auditileid.
- Näita ülevaatajale, mida mudel nägi. Anna analüütikutele sisendid, põhjused ja poliitikaversioon – mitte ainult number, mille peale templit lüüa.
- Kasuta ülekirjutusi signaalina. Kui analüütikud kirjutavad mudelit järjekindlalt ühes suunas üle, ütleb see sulle, et poliitika triivib reaalsusest eemale. Salvesta see, mõõda seda ja suuna see mudelijuhtimise ülevaatusesse.
Eesmärk ei ole inimesi eemaldada; eesmärk on teha iga inimotsus sama jälgitavaks ja järjepidevaks kui automaatsed.
Mudelijuhtimine on pidev, mitte käivitamiseelne kontrollpunkt
Skoorimismudel ei ole staatiline vara, mille korra valideerid ja unustad. Taotlejaskond muutub, majandusolud muutuvad ja mudel, mis oli käivitamisel hästi kalibreeritud, vananeb vaikselt. Nõuetele vastavuse raamistikud ootavad üha enam pidevat mudelijuhtimist ja see on hea inseneritöö reeglitest olenemata:
- Jälgi triivi. Jälgi sisendite ja tulemuste jaotust ajas. Kui taotlejaskond või makseviivituste määr liigub eemale sellest, millel mudel treeniti, pead sa sellest teadma enne kahjumit.
- Testi tagasiulatuvalt ja esita väljakutseid. Võrdle perioodiliselt prognoositud riski tegelike tulemustega ja hoia väljakutsujamudeleid varjurežiimis töös, et sa ei peaks kunagi töötavat mudelit pimesi välja vahetama.
- Dokumenteeri juhtimine ise. Kes mudelit omab, millal see viimati üle vaadati, mida valideerimine näitas. Just seda dokumentatsiooni küsib järelevalvaja kõigepealt.
Ehita kõigepealt igavad osad
Kõigis neis valdkondades kordub sama muster, mis läbib kogu tõsiseltvõetavat fintechi inseneritööd: muljetavaldava välimusega osa ei ole see, mis loeb. Krediidiskoori matemaatika on lahendatud ja igapäevaseks muutunud probleem. See, mis määrab, kas laenutoode on usaldusväärne – ja litsentseeritav ning kaitstav –, on igav masinavärk selle ümber: versioneeritud poliitika, muutumatu andmete päritolu, otsuse hetkel selgitatavus, ainult lisatav auditijälg, puhas üleandmine inimesele ja pidev mudelijuhtimine.
Meeskonnad, kes ehitavad need osad kõigepealt, loovad skoorimismootoreid, mis peavad auditile vastu ja kasvavad koos äriga. Meeskonnad, kes peavad neid järeltööks, veedavad järgmise aasta neid regulatiivse surve all juurde ehitades. Kui ehitad laenutoodet ja soovid partnerit, kes on selle masinavärgi juba õigesti ehitanud, vaata, kuidas me töötame.