En besluts-teoriinriktning om industrins prediktor och kriterium

Problemet med urvalet kan ses från ett något annat perspektiv än det som används. Denna andra tillvägagångssätt visar sig intressant genom att vi kommer att finna att prediktionsgiltigheten kanske inte är lika viktig en variabel i urvalet, eftersom den traditionella synpunkten gör det. Vårt nya perspektiv är ett baserat på en beslutsteorimodell. Vi bör börja med att återställa målet i en typisk urvalssituation. I många urvalssituationer vill vi skapa ett snittresultat på vår prediktor som leder till att vi minimerar våra beslutsfel.

Implicit i denna typ av situation är antagandet att urvalsförhållandet kan manipuleras efter vilja; det vill säga det är inte "fixat" till något värde. Också implicit är tanken att vår kriterievariabel kan vara meningsfullt åtskild i två eller flera distinkta grupper som "framgångsrik" och "misslyckad". Vårt mål är att manipulera skärresultatet (vilket är detsamma som att manipulera urvalsförhållandet) i ordning för att minimera antalet fel som görs i vår process för att avgöra om en person ska anställas eller avvisas.

Tidigare påpekade vi att det fanns två olika typer av beslutsfel i urvalsparadigmet, falska positiva och falska negativa, som visas nedan:

Vårt mål är då att hitta avstängningspunkten som kommer att resultera i det minsta antalet totala fel. För enkelhets skull ska vi börja med att anta att båda typerna av fel anses vara lika kostsamma. Det vill säga, vi har ingen anledning att föredra att göra ett falskt positivt fel över ett falskt negativt fel eller vice versa. Genom att göra detta antagande är det möjligt att kasta problemet direkt när det gäller att minimera det totala antalet båda typer av fel istället för att väga de två typerna av fel med deras respektive "kostnad".

Placeringen av skärningspunkten:

För att illustrera hur problemet med att hitta en optimal plats för vårt snittresultat kan närmar sig, ta reda på fallet där vi har en angiven giltighet (t.ex. ca 0, 70) och en angiven procent av nuvarande anställda anses framgångsrika (kallas ofta i detta sammanhang som "basräntan").

Detta kan schematiseras enligt följande:

Nästa steg är att presentera samma data i en något annorlunda form. Först vi vet att vår totala grupp av anställda antas ha en normal fördelning vad gäller deras prediktionsresultat. För det andra, och lika viktigt, antas båda undergrupperna (framgångsrika och misslyckade) ha normala fördelningar. Genom att titta på exemplet ovan är det lätt att dra slutsatsen att den genomsnittliga prediktionspoängen i den framgångsrika gruppen kommer att vara högre än den som misslyckats.

Vi kan diagramma detta som:

Båda utdelningarna kommer att vara lika stora eftersom de är baserade på samma antal personer (dvs. 50 procent i varje grupp). Det finns ett algebraiskt förhållande mellan skillnaden mellan de två undergruppernas medel som ses på detta sätt och korrelationskoefficientens storlek. Om gruppmedlemmarna skiljer sig väsentligt från varandra (säg vid en signifikansnivå på 0, 05), så kommer korrelationskoefficienten också att vara signifikant på samma nivå.

Med vårt diagram ett steg längre kan vi placera de två frekvensfördelningarna i undergrupperna sida vid sida på samma baslinje, som visas nedan.

Efter det här kan vi nu återvända till vår ursprungliga fråga - var hittar vi en avkänning på förutsägaren så att det totala antalet fel kommer att minimeras? Det visar sig att den matematiska lösningen på detta problem resulterar i ett mycket enkelt svar: Avstängningspunkten som minimerar totalt fel är den punkt där de två fördelningarna skär varandra.

Detta kan enkelt demonstreras på en konceptuell nivå genom att titta på de tre fallen som illustreras nedan. Samma skillnad mellan medlen (det vill säga samma korrelation) används i varje enskilt fall. Allt som har ändrats är placeringen av avstängningspunkten på prediktorn.

I illustration (a) anges antalet falska positiva (fel som är ovanförskurna) av området B. Antalet falska negativa (framgångar som ligger under avkärningen) ges av området A. Således,

Totalt fel = A + B

För illustration (b) anges antalet falska positiva av B och antalet falska negativ anges av A + C. Således,

Totalt fel = A + B + C

För illustration (c) anges antalet falska positiva medel av B + C och antalet falska negativa ges av A. Således,

Totalt fel = A + B + C

Eftersom inspektionen av alla tre illustrationerna snabbt bekräftar att området A + B är lika för alla tre fallen är det uppenbart att felet ökas med en viss mängd C när avklippningen flyttas bort (i båda riktningarna) från punkten vid vilken de två fördelningarna skär varandra.

Några ovanliga ramifications:

Vi har nu en generell princip för att lokalisera ett snittresultat som minimerar det totala antalet fel i en markeringsbeslutssituation, nämligen vid skärningspunkten.

Det visar sig att så länge båda typerna av fel anses vara lika kostsamma är detta en mycket allmän regel och påverkas inte av:

(1) De relativa storlekarna för de två grupperna (dvs procent anses framgångsrik), eller

(2) De respektive avvikelserna eller dispersionerna av de två fördelningarna.

Detta leder till några intressanta och mycket viktiga aspekter av det allmänna förutsägelseproblemet avseende förhållandet mellan testgiltighet och testverktyg. Rorer, Hoffman, LA Forge och Hsieh (1966) har påpekat tre sådana intressanta fall.

Fall 1:

Både medel och skillnader mellan de två grupperna skiljer sig från varandra. Antag att vår framgångsrika grupp är lika stor som den misslyckade gruppen och har ett betydligt högre medelvärde på prediktorn, men dess variation är mycket mindre.

Ett diagram över en sådan situation är följande:

Vår princip för att skapa avstängningspunkter säger att vi borde placera dem vart de två utdelningarna skär. Observera att detta händer två gånger i det här fallet. Således har vi en övre cut-off och en lägre cut-off. Vi bör bara välja de personer som faller inom intervallet mellan cut-offs vad gäller deras testresultat. Alla andra avstängningspunkter kommer att resultera i större totalt fel än vad som skulle erhållas med de som ligger vid skärningspunkten.

Fall 2:

Grupper har samma medel men olika variationer. I det här mycket intressanta fallet skiljer sig de två grupperna inte i förhållande till deras genomsnittliga prediktionspoäng, det vill säga i genomsnitt gör de misslyckade medarbetarna lika bra på provet som de framgångsrika medarbetarna. Detta innebär att korrelationskoefficienten är noll mellan prediktorn och kriteriet. Vi har emellertid vidare angett att de två grupperna skiljer sig åt i förhållande till deras variationer.

Om vi ​​antar den framgångsrika gruppen är gruppen med mindre variabilitet för exponeringsändamål, kan vi uttrycka detta schematiskt enligt följande:

Trots att de två grupperna har samma medelvärdespoäng, är det möjligt att utveckla avgränsningspunkter som förbättrar förutsägelsen över det som för närvarande utnyttjas genom nuvarande metoder, eftersom de två fördelningarna skärs på två punkter på grund av deras ojämna variabilitet. Således har vi den unika situationen där det inte fanns någon uppenbar giltighet (mätt med en korrelationskoefficient) men där förutsägelsen kan förbättras mycket med hjälp av lämpliga avskärningar.

Fall 3:

Gruppmedlemmar är väsentligt olika, men gruppstorleken är också väldigt annorlunda. Antag att vi har att göra med en situation där basfrekvensen hos misslyckade medarbetare är mycket liten, det vill säga ca 90 procent av våra nuvarande anställda anses vara framgångsrika. En sådan situation visas i följande diagram.

Här har vi en annan unik situation. Även om gruppmedlen kan vara väsentligt annorlunda och således ge en väsentlig korrelation mellan kriterium och prediktor, kommer det inte att vara möjligt att fastställa någon avskärning som kommer att resultera i att minska felet än vad som för närvarande erhålls med nuvarande metoder. På grund av den markerade skillnaden i storlek mellan de två grupperna ser vi att de två fördelningarna inte skär någon gång.

Under vårt nuvarande urvalssystem gör vi bara 10 procent av tiden. Om vi ​​flyttar vår avskärning från vänster till höger i fall 3 (det ligger längst till vänster till att börja med, eftersom vi för närvarande väljer alla dessa personer) kommer vi förstås att eliminera några av de misslyckade personer som för närvarande är anställd enligt nuvarande system.

Samtidigt kommer vi dock att börja avvisa anställda som skulle visa sig vara framgångsrika. Om vi ​​tittar på diagrammet berättar vi snabbt att den här ökningen av falska negativ skulle vara större än motsvarande minskning av falska positiva, oavsett var vi sätter vår cut-off. Således kommer varje testbaserad avbrytning att resultera i fler fel än vi har utan testet, trots att testet är mycket giltigt.