Induktiv skævhed; Typer af induktive fordomme; Skift af partiskhed
Maj 19, 2016 Ilsebil Hansen I 0 7711
Den induktive skævhed af en lærende algoritme er det sæt af forudsætninger, den lærende bruger til at forudsige output givne inputs at det ikke har stødt på.
I machine learning, man har til formål at konstruere algoritmer, som er i stand til at lære at forudse en vis måloutput. For at opnå dette, er læring algoritme præsenterede nogle uddannelse eksempler, der demonstrerer den tilsigtede forhold af input og output værdier. Derefter lærende formodes at tilnærme korrekte output, selv for eksempler, der ikke er vist under træning. Uden yderligere antagelser, kan denne opgave ikke løses præcist da usete situationer kan have en vilkårlig produktion værdi. Den slags nødvendige antagelser om karakteren af ​​målet funktionen er indordnet i sætningen induktive bias.
Et klassisk eksempel på en induktiv bias er Ockhams ragekniv, forudsat at den enkleste sammenhængende hypotese om målet funktion er faktisk bedst. Her konsekvent betyder, at hypotesen om den lærende udbytter korrekte udgange til alle de eksempler, der er blevet givet til algoritmen.
Tilgange til en mere formel definition af induktiv partiskhed er baseret på matematisk logik. Her, den induktive bias er en logisk formel, der sammen med træningsdata, logisk indebærer hypotesen genereret af den lærende. Desværre, denne strenge formalisme fejler i mange praktiske tilfælde, hvor den induktive skævhed kan kun gives som en grov beskrivelse, eller slet ikke.
Typer af induktive fordomme
Det følgende er en liste over almindelige induktive skævheder i machine learning algoritmer.
Maksimal betinget uafhængighed: Hvis hypotesen kan støbes i et Bayesian ramme, forsøger at maksimere betinget uafhængighed. Dette er den skævhed, der anvendes i Naive Bayes klassificeringen.
Mindste krydsvalidering fejl: når du forsøger at vælge blandt hypoteser, vælge hypotesen med det laveste krydsvalidering fejl. Selvom krydsvalidering kan synes at være fri for bias, de "ingen gratis frokost" teoremer viser, at krydsvalidering skal være forudindtaget.
Maksimal margin: ved udarbejdelsen en grænse mellem to klasser, forsøge at maksimere bredden af ​​grænsen. Det er den skævhed, der anvendes i Support Vector Machines. Det antages, at særskilte klasser tendens til at være adskilt af brede grænser.
Minimum beskrivelse Length: når der dannes en hypotese, forsøge at minimere længden af ​​beskrivelsen af ​​hypotesen. Det antages, at enklere hypoteser er mere tilbøjelige til at være sandt. Se Ockhams ragekniv.
Minimum funktioner: medmindre der er god dokumentation for, at en funktion er nyttig, bør det slettes. Dette er den antagelse bag funktionen udvælgelse algoritmer.
Nærmeste naboer: antager, at de fleste tilfælde i et lille kvarter i funktionen rum tilhører samme klasse. En sag, som klassen er ukendt, gætte på, at det hører til samme klasse som flertallet i dets umiddelbare nabolag. Dette er den skævhed, der anvendes i k-nærmeste nabo algoritme. Antagelsen er, at sager, der er i nærheden af ​​hinanden har tendens til at tilhøre den samme klasse.
Skift af partiskhed
Selv om de fleste learning algoritmer har en statisk skævhed, er nogle algoritmer designet til at flytte deres fordomme, da de får flere data. Dette betyder ikke undgå bias, da bias skiftende selve processen skal have en bias.
Forrige artikel Brev til min datter
Næste artikel Meyer Reinhold