Keuzegids HBO Voltijd 2012:

Berekeningswijze en normen

Voor de ranglijsten van de Keuzegids zijn originele gegevens omgerekend naar een 5-puntsschaal, die loopt van ( - -) via o tot (++). Bij de studentenoordelen worden extreme uitschieters ook met 3 plussen of minnen weergegeven. Daar is dus sprake van een 7-puntsschaal. Per type gegevens lichten wij hier de berekeningswijze en de gehanteerde normen toe:

 

 

1.  Klassegrenzen voor studiesucces-cijfers per opleiding

Elke opleiding krijgt plussen en minnen toegekend, volgens onderstaande normen:  

  

 

De symbolen '- -' en '++' geven in dit geval aan in welke mate een opleiding afwijkt van de door de Keuzegids gehanteerde norm. De gemiddelde Hbo-opleiding heeft in het eerste studiejaar een wat hogere survival dan onze norm, maar het feitelijke aantal geslaagden na 5 jaar ligt vergeleken met onze norm juist aan de lage kant. 

 

2.  Berekening studentenoordelen

De studentenoordelen zijn gebaseerd op resultaten van de Nationale Studentenenquête (NSE). Het betreft eigen selecties en bewerkingen van deze oordelen, afkomstig uit het "landelijk benchmarkbestand" uit NSE2010 en NSE2011. De oordelen zijn niet 1-op-1 af te leiden uit publicaties zoals die op de website Studiekeuze123. 

Wij geven hier de essentie van onze bewerkingen en normen weer, als verantwoording voor een breed publiek. Voor instellingen die interesse hebben in gedetailleerde rapportage over sterke en zwakke punten van opleidingen (inclusief meerjarige trend) bestaat de mogelijkheid om speciale benchmarkrapporten te bestellen bij het Centrum Hoger Onderwijs Informatie.

 

Onze bewerking van de studentenoordelen omvat de volgende stappen:

1.   Opschonen = schrappen van respondenten die minder dan 90% van de relevante vragen beantwoorden

2.   Berekening van gemiddelde vraagscores per opleiding, voor de overgebleven respondenten

3.   Berekening landelijk Hbo-gemiddelde per vraag - met weging op basis van populatieverhoudingen

4.   Selectie van 30 representatieve vragen, met optimale aansluiting op vragen uit het verleden

5.   Schrappen of bundelen van alle oordelen met te kleine steekproef of te grote onbetrouwbaarheid

6.   Ordening in 7 hoofdthema's + berekening van themascores per opleiding/groep opleidingen

7.   Bepaling klassengrenzen per hoofdthema, voor +/- scores in de Keuzegids

8.   Toepassing klassenindeling

9.   Controle kansverdeling

10. Verwerking in de rankingtabellen, samen met studiesuccescijfers en accreditatiecores.

 

In stap 1 en 5 zijn wij strenger dan de officiële rapportages over de Nationale Studenten Enquête. Dit betekent dat op de websites van Studiekeuze123 en NSE Online sommige opleidingen een oordeel krijgen op een volgens ons te smalle statistische basis.

In stap 4, 6 en 7 proberen wij uit een veelheid van 100 enquêtevragen de essentie over onderwijskwaliteit te destilleren.

Met stap 1, 2 en 6 tenslotte vermijden wij dat de beoordeling van opleidingen wordt vertekend door verschillen in wel/niet beantwoorde vragen (anders kan een opleiding ervan profiteren als een 'lastige' vraag enkele malen niet beantwoord is)

 

Hierna focusen wij op de thema-indeling en de klassengrenzen. Allereerst wordt hier de selectie en thema-indeling van vragen toegelicht:

 

 

De bovenstaande wegingspercentages betreffen steeds het aandeel van elke vraag en elk thema in het totaal van de in de Keuzegids getoonde studentenoordelen. Deze oordelen zelf vormen 7 van de 10 beoordelingscriteria van de Keuzegids. Het aandeel van elke vraag in de totale rankingscore van een opleiding is dus 70%t van de hier vermelde percentages.

 

Alle oordelen zijn steeds vergeleken met het landelijke HBO-gemiddelde. Hier geven wij de klassengrenzen per hoofdthema. De scores zijn weliswaar afgeleid van de 5-puntsschaal van de Nationale Studentenenquête, maar in de Keuzegids worden de verschillen uitvergroot. Elke kwaliteitsklasse is daarbij 0,2 tot 0,3 punt breed. Deze klassenbreedte is ontleend aan de standaarddeviaties en betrouwbaarheidsmarges van alle oordelen.

 

 

Voor alle vijf de hoofdthema's geldt een vergelijkbare kansverdeling van de verschillende scores. Elke opleiding heeft bijna 40% kans op een gemiddelde score (''o"), bijna 25% kans op een enkele min ("-") en idem op een enkele plus ("+")'. De kans op een sterk positieve of negatieve score is tweemaal ruim 5%.

Hieronder geven wij de frequentieverdeling van alle oordelen:

 

 

 

3.  Berekening en klassengrenzen expertoordelen

Het 'expertoordeel' in de Keuzegids is gebaseerd op de oordelen uit VBI-rapporten over 5 facetten van de opleiding. Dit betreft: "Niveau bachelor", "eisen programma", "eisen personeel", "kwaliteit personeel" en "gerealiseerd niveau".

Deze facetten worden in de VBI-rapporten beoordeeld met 'onvoldoende', 'voldoende', 'goed' of 'excellent'. Deze scores coderen wij als 1,2,3,4

Een gemiddelde score op deze vijf punten van 2,0 tm 2,6 rekenen wij als "voldoende". 2,8 en 3,0 is 'goed' en daarboven is uitstekend:

 

 

 

 

4.  Berekening totaalscore per opleiding

De totaalscore van elke opleiding wordt berekend op grond van de scores op de tien deelonderwerpen. Daarbij telt elk onderwerp even zwaar mee. Dit is de formule:

 

Totaalscore = Som (deelscores) x 2

 

Het resultaat is een cijfer op een schaal van 0 tot 100. De gemiddelde opleiding scoort ongeveer 60 punten. De uitersten liggen in de praktijk bij 38 en 102 punten. Die laatste bovenmatige uitschieter is de Katholieke Pabo Zwolle.

 

 

5. Gewogen scores per instelling

Voorin deze Keuzegids staan ook ranglijsten met totaalscores voor complete instellingen. Maar hoe kan je instellingen met een heel verschillend studie-aanbod op een eerlijke manier met elkaar vergelijken? Dat wordt gedaan met een speciale berekening:

 

stap 1: vergelijking met verwante opleidingen

We kijken eerst van elke opleiding of die hoger of lager scoort dan het gewogen* gemiddelde van zijn eigen groep verwante studies. Dat levert een verschilscore op.

 

stap 2: elke opleiding weegt zo zwaar als hij groot is

We berekenen een gewogen* instellingsgemiddelde

 

(*weegfactor is de instroom van de opleiding)

 

Instellingsscore = Som (verschilscore x weegfactor) voor alle opleidingen.

 

Voorbeeld: een hogeschool heeft drie opleidingen:

-    De pabo scoort 66 punt, 4 punt onder het pabogemiddelde. De instroom is 200.

-    De opleiding verpleegkunde scoort 68 punt, 6 punten boven het gemiddelde. De instroom is 100

-    De opleiding bedrijfskunde scoort 64 punten, is +4. Deze opleiding telt 400 eerstejaars.

 

De berekening gaat nu als volgt:

-    Pabo:  - 4 x 200 =  -  800 punt

-    Vplk:  + 6 x 100 =  + 600 punt

-    Bdrk:  + 4 x 400 = +1600 punt

 

Totaal: 1400 punten / 700* = + 2 punten

*) 700 = de optelsom van de drie instromen.

 

Dit getal wordt opgeteld bij de gewogen gemiddelde totaalscore van alle opleidingen. Dit gemiddelde is 61 punten. De totaalscore van de instelling voor de ranking is dan 61 + 2 = 63 punten.

 

NB: bij instellingen met maar één opleiding zal de instellingsscore dus vaak afwijken van de score in de opleidingstabel!

Als bovenstaande hogeschool alleen een pabo had, zouden we de volgende scores zien:

-    Opleidingsscore:  66, (maar wel 4 punt onder het landelijke pabo gemiddelde)

-    Instellingsscore 61 - 4 = 57!

Het verschil is dat de instellingsscore een "correctie voor disciplinemix" bevat, omdat het (nog steeds in dit voorbeeld) met een pabo makkelijker is om 66 punten te scoren dan met een opleiding bedrijfskunde.