Verslag seminar 9 april 2025 - Wat is onze impact? Op weg naar effectieve impactmeting voor profielorganisaties

Profielorganisaties richten zich op de ontwikkeling van de leerling. Hoe weten we of wat we doen ook effect heeft, op school-, organisatie- en profielonderwijsniveau? Het is belangrijk dat goed in beeld te hebben: om te kunnen laten zien welke meerwaarde profielonderwijs heeft. En om onze inspanningen - indien nodig - te kunnen aanpassen en beter te kunnen delen met elkaar. In dit seminar hebben we impactmeting centraal gezet, aan de hand van het Social Canvas Model dat is ontwikkeld door TIAS school for business en Whise.

Tijdens het seminar gaf Jaap Hoenderdos (Whise) uitleg over het ‘Social Profit Canvas’, een model dat helpt om maatschappelijke waarde zichtbaar, bespreekbaar en meetbaar te maken. Het canvas is bedoeld voor organisaties in bijvoorbeeld zorg, onderwijs, welzijn en cultuur die worstelen met vragen als: Wat is de waarde van ons werk? Voor wie is dat van waarde? En hoe kunnen we dat op een geloofwaardige manier onderbouwen of uitleggen – ook richting financiers, partners of beleid?

Wat is waarde? Wat is de waarde van een sociaal werker die een dakloze een tent geeft? Of van een kindervoorstelling? Kun je daar een bedrag op plakken? Het canvas is ontwikkeld omdat organisaties vaak moeite hebben met het zichtbaar maken van wat ze werkelijk toevoegen. Vooral in het sociaal domein ligt het rendement van interventies zelden binnen de muren van de organisatie zelf. De impact “landt” elders – bij de samenleving, in het latere leven van kinderen, of in een gezondere leefstijl van een doelgroep.

In tegenstelling tot veel andere modellen plaatst het Social Profit Canvas niet de doelgroep, maar de interventie centraal. Wat is die interventie? Waarom doe je dat? Wat is het verwachte effect? En wat wil je daar uiteindelijk mee bereiken?

Daaromheen bouwt het model lagen op die elk een ander perspectief op waarde geven:

1. Persoonlijke waarde – de directe en tastbare opbrengst die een professional met zijn of haar interventie beoogt. Dit is het niveau waarop iemand met zekerheid kan zeggen: “Dit gebeurt als ik dit doe.”
2. Stakeholderwaarde – het effect zoals het wordt ervaren door betrokkenen: leerlingen, ouders, opdrachtgevers, collega’s, financiers. Zij hebben elk hun eigen verwachtingen en definiëren mede wat een interventie oplevert.
3. Publieke waarde (impact) – de bredere, maatschappelijke verandering die men beoogt. Dit is het moeilijkst te meten, maar geeft richting: *wat willen we uiteindelijk veranderen in de samenleving?*

De horizontale lijn door het model beschrijft de logica van waardecreatie: van interventie naar resultaat, via uitkomst naar impact. Zien we samen dat deze interventie dit resultaat oplevert? Leidt dat ook tot de beoogde impact? Die gedeelde logica vormt het “kloppende verhaal” dat een organisatie helpt verantwoorden en positioneren.

Het canvas is gebouwd op drie vragen:

1. Zijn wij van deze waarde? - Dit gaat over de missie en positionering. Past deze interventie bij wie wij als organisatie zijn? Draagt het bij aan ons bestaansrecht?
2. Zien we de waarde? - Wordt het effect van onze interventie herkend en erkend door stakeholders en samenleving? Is er een gedeeld begrip van wat het oplevert?
3. Kunnen we het waarderen? - Kunnen we op een geloofwaardige manier uitleggen of meten dat de inzet (middelen, mensen, tijd) in verhouding staat tot wat we bereiken?

Vaak lopen deze vragen door elkaar heen in evaluaties of verantwoordingsgesprekken. Het canvas helpt om ze te scheiden en zo overzicht te houden. De vragen die het canvas oproept, zijn wél ingewikkeld: Wie zijn wij? Wat voegen we toe? Wie bepaalt of dat van waarde is?

Daarom is het model vooral een praatplaat – een structuur om het gesprek over maatschappelijke waarde met elkaar te voeren. Niet per se om alles in cijfers te vangen, maar om gezamenlijk een geloofwaardig en kloppend verhaal te bouwen.

Waar begin je met impact meten?

Organisaties beginnen vaak met een missie, visie en kernwaarden, die vervolgens vertaald worden naar ambities en concrete doelen. Dit werkt prima zolang alles soepel verloopt. Maar wanneer er frictie ontstaat — bijvoorbeeld als een organisatie zich niet goed kan verantwoorden of haar impact niet overtuigend kan aantonen — wordt duidelijk hoe belangrijk het is om die maatschappelijke waarde ook écht meetbaar en inzichtelijk te maken.

Volgens Jaap Hoenderdos is de startvraag dan: Wat weten we al? Missie, beschikbare middelen, positionering en de beoogde impact zijn vaak al duidelijk. Deze vormen een stabiele basis. De rest is flexibeler en moet met logisch denkwerk en samenwerking verder ingevuld worden. Een veelgebruikte route is ‘van binnen naar buiten’: starten met een concrete interventie en daarop voortbouwen.

Een belangrijk knelpunt is het vangen van subjectieve waarden. Wat is bijvoorbeeld de waarde van het bijdragen aan de ontwikkeling van een kind? Financiële waarderingsmechanismen schieten hier vaak tekort: maatschappelijke baten zijn indirect, manifesteren zich later in de tijd en buiten het blikveld van de organisatie zelf.

De kernvraag is dan: Hoe verantwoord je je? Impact is niet alleen wat je bereikt, maar ook hoe belanghebbenden (ouders, overheid, financiers) dat beoordelen. Impactmeting is dus altijd relatiegebonden: je moet weten voor wie je impact zichtbaar maakt, op welke criteria en waarom.

 Impact meten: de balans tussen ambitie en haalbaarheid

Impact meten moet niet alleen overtuigend zijn, maar ook haalbaar. Een valkuil is dat organisaties te veel middelen steken in het meten zelf — wat ten koste kan gaan van hun kerntaak. Hoenderdos benadrukt: er zijn duizenden goede vragen te stellen, maar wat levert het echt op? Wie gaat de uitkomsten lezen en gebruiken? Tegelijkertijd geldt ook: zonder data is het slechts een mening. Je hebt minimaal voldoende informatie nodig om te laten zien dat je een belofte aan je doelgroep (bijv. leerlingen of ouders) bent nagekomen.

Belangrijke afwegingen bij impactmeting

• Hoe nauwkeurig wil je meten? —> Meer nauwkeurigheid kost meer tijd en geld.
• Wat mag impactmeting kosten? En: is het proportioneel ten opzichte van de beoogde waarde?
• Welke beperkingen accepteer je? —> Alles wat je meet is per definitie beperkt, en het is essentieel om je daarvan bewust te zijn.

De logica van impactonderzoek in lagen

• Activiteitenniveau: Wat is er gedaan? (Aantal activiteiten, deelnemers, kosten)
• Veranderniveau: Wat is er veranderd bij de doelgroep? (Kennis, gedrag, motivatie)
• Impactniveau**: Wat is het bredere maatschappelijke effect? (Kansen, economische situatie, welzijn)

Om echt goed over impact te kunnen praten, moet je eerst de onderliggende lagen (activiteiten en resultaten) goed in beeld hebben. Veel organisaties slaan deze stap over en focussen direct op impact. Dat werkt niet: zonder basis geen bovenbouw.

De waarde van verhalen en anekdotes

In de praktijk worden impactgegevens vaak verzameld via verhalen van alumni, leraren of externe betrokkenen. Deze anekdotes zijn waardevol, maar worden zelden structureel of systematisch verwerkt. Zeker richting inspecties of financiers is een gestructureerd en onderbouwd verhaal noodzakelijk.

Er is vaak een spanningsveld tussen:

• Wat je weet vanuit praktijkervaring (anekdotisch bewijs)
• Wat formeel onderbouwd moet worden voor legitimiteit (onderzoek, cijfers)

“Niet alles wat telt kunnen we tellen, en niet alles wat we tellen telt.”

Het draait niet om rigide meetkaders, maar om het ontwikkelen van een realistisch, professioneel en betekenisvol ontwerp van impactmeting. Hij reikt richtvragen, structuren en een denkkader aan waarmee organisaties hun maatschappelijke waarde beter kunnen begrijpen, zichtbaar maken én erover kunnen communiceren.

Het **Social Profit Canvas** is hierbij geen vast sjabloon, maar een hulpmiddel om het juiste gesprek te voeren, gerichte keuzes te maken en verantwoord te handelen in de complexe werkelijkheid van sociaal-maatschappelijk werk.

————————————————-

Presentatie Technasium

Tijdens de presentatie over impactmeting van Technasium werd duidelijk dat het meten van impact binnen hun onderwijsmodel nog in ontwikkeling is.

Technasium heeft als missie om bij te dragen aan een betere wereld door leerlingen op te leiden tot waardebewuste, competente wereldburgers en zelfbewuste bèta-technische studenten. In de praktijk betekent dat vooral het competent maken van leerlingen en hun oriëntatie op bèta-technische vervolgstudies. Andere onderdelen van de missie, zoals wereldburgerschap en zelfbewustzijn, zitten meer impliciet in het onderwijs verweven en zijn lastiger meetbaar.

De metingen en onderzoeken die momenteel plaatsvinden, richten zich vooral op aspecten die relatief eenvoudig te kwantificeren zijn, zoals doorstroom naar bèta-technische vervolgstudies. Hierover zijn meerdere keren onderzoeken uitgevoerd door de Universiteit Twente. Daarbij is gekeken naar het verschil tussen leerlingen die Onderzoek & Ontwerpen (O&O) volgen en andere leerlingen met een natuurprofiel. Daaruit blijkt dat O&O-leerlingen vaker kiezen voor technische studies, vooral bij meisjes zijn de effecten opvallend positief.

Toch is voorzichtigheid geboden bij het interpreteren van deze resultaten. Een deel van het effect kan veroorzaakt worden door zelfselectie: leerlingen die al in groep 8 een interesse hebben in techniek, kiezen eerder voor het Technasium. Het is dan lastig vast te stellen of het programma zélf de oorzaak is van de studiekeuze.

Ook zijn er inzichten beschikbaar uit de Techniekpact-monitor, waarin vergelijkbare trends zichtbaar zijn: technasiumleerlingen kiezen vaker voor techniek. Positief is dat dit onderzoek onafhankelijk is, wat meer objectiviteit geeft. Toch wordt ook hier erkend dat een directe causale relatie moeilijk is vast te stellen.

Naast kwantitatieve data is er veel anekdotisch bewijs verzameld. Docenten van vervolgopleidingen en oud-technasiumleerlingen geven aan dat deze leerlingen vaak beter voorbereid zijn op projectmatig werken, zelfstandig leren en samenwerken. Hoewel dit waardevolle signalen zijn, ontbreekt systematisch onderzoek om dit breed te onderbouwen.

Een belangrijke uitdaging is het vaststellen wat precies bedoeld wordt met ‘impact’. Is dat alleen de studiekeuze? Of ook motivatie, ontwikkeling van vaardigheden, studiesucces of plezier in leren? Veel van deze aspecten zijn lastig meetbaar of vereisen langlopend en complex onderzoek.

Er is binnen het Technasium een duidelijke wens om de impactmeting te verbeteren. Dit zou moeten gebeuren door samenwerking met wetenschappers, structureel onderzoek en meer gestandaardiseerde gegevensverzameling. Thema’s als motivatie, studiesucces, ontwikkeling van 21e-eeuwse vaardigheden en het welbevinden van leerlingen verdienen meer aandacht.

——————————

Presentatie Tweetalig Onderwijs (TTO)

Onno van Wilgenburg benadrukt dat zelfs het tellen van deze leerlingen al een complexe administratieve opgave is, laat staan het meten van diepere onderwijskundige impact.

TTO kent drie pijlers:

• De eerste pijler, taalvaardigheid, is het best meetbaar. Zo is het minimumniveau Engels voor vwo-leerlingen in leerjaar 3 vastgesteld op B2. Voor vmbo-leerlingen gelden aangepaste eisen, zoals B2 voor één actieve en één passieve taalvaardigheid. TTO-leerlingen behalen doorgaans hogere niveaus dan hun niet-TTO-leeftijdsgenoten, wat bevestigd is in wetenschappelijk onderzoek, uitgevoerd onder andere door de Rijksuniversiteit Groningen. Dit gaf voldoende vertrouwen om scholen minder streng te controleren op individuele taalniveaus.
• De tweede pijler, wereldburgerschap, richt zich op het verwerven van internationale en interculturele competenties. Deze competenties zijn lastiger meetbaar, maar worden zichtbaar via internationale projecten, uitwisselingen en samenwerking met scholen in het buitenland.
• De derde pijler, persoonlijke ontwikkeling, is relatief nieuw. Scholen merkten op dat TTO-leerlingen zich anders gedragen en andere vaardigheden ontwikkelen dan niet-TTO-leerlingen. Hoewel deze aspecten moeilijk te meten zijn, vormen ze wel degelijk een integraal onderdeel van de TTO-ervaring.

TTO-scholen opereren binnen een kwaliteitskader, waarin eisen staan op het gebied van taalvaardigheid, vakinhoud, spreiding van vakken en internationale samenwerking. Dit kader wordt bewaakt via visitaties: periodieke schoolbezoeken uitgevoerd door een commissie van externe experts, schoolleiders en Nuffic-medewerkers. Elke school wordt ongeveer eens per vijf jaar bezocht.

Een belangrijk spanningsveld dat Van Wilgenburg benoemt, is het verschil tussen effect en impact. Effect verwijst naar meetbare, directe uitkomsten (zoals taalniveaus), terwijl impact breder en langduriger is (zoals levenslange vaardigheden of carrièremogelijkheden). Impact meten is complex, zeker bij een profiel waarvoor leerlingen vrijwillig kiezen – er is immers sprake van zelfselectie. Daardoor is het lastig om controle- en experimentele groepen te creëren.

Door de jaren heen is er onderzoek gedaan naar TTO. Behalve het eerdergenoemde onderzoek naar taalvaardigheid, zijn er ook studies verschenen over motivatie, lesmethodes (zoals CLIL: Content and Language Integrated Learning) en oud-leerlingervaringen. Zo toonde het proefschrift van Tessa Mearns aan dat TTO-leerlingen gemiddeld gemotiveerder zijn, maar stelde ze ook de vraag of dit komt door TTO of doordat juist gemotiveerde leerlingen ervoor kiezen. Een ander (anekdotisch) onderzoek onder oud-leerlingen liet zien dat zij overwegend positief zijn over hun TTO-ervaring en de voordelen die zij daar nu nog van ondervinden.

Om de impact van TTO systematischer in beeld te brengen, werkt Nuffic samen met universiteiten. Zo is er een bijzondere leerstoel Wereldburgerschap en TTO aan de Universiteit van Amsterdam, momenteel bezet door Catharine van Beuningen. Ondanks dit soort initiatieven is er geen centrale synthese van alle onderzoeksresultaten beschikbaar. Daarom is er een plan in ontwikkeling voor een grootschalig longitudinaal onderzoek naar de ervaringen en langetermijneffecten van TTO bij oud-leerlingen, waarin ook het vmbo expliciet wordt meegenomen.

Financiering, representativiteit en methodologische keuzes vormen hierbij uitdagingen. Zo moet rekening worden gehouden met verschillen in sociaal-economische achtergrond, opleidingsniveaus (vwo, havo, vmbo), en vrijwillige ouderbijdragen – die overigens steeds minder vaak betaald worden, wat tot dalende leerlingaantallen leidt. Doel van het geplande onderzoek is om op een wetenschappelijk verantwoorde manier een rijk en betrouwbaar beeld te krijgen van wat TTO op de lange termijn oplevert – niet alleen in termen van taal, maar ook in vorming, kansen en persoonlijke groei.

——————————-

Wat zien de deelnemers als vervolg op dit seminar?

Verdiepende werksessie met het Social Profit Canvas

• Deelnemers willen in een volgende bijeenkomst concreet aan de slag met het canvas.
• Er is de wens om onder begeleiding de waarden van de verschillende profielen in kaart te brengen en over elkaar te leggen.
• Samen leren van de opbrengsten en ervaringen per profiel.

Gezamenlijk verhaal en positionering

• Er is behoefte aan een gezamenlijk, zichtbaar verhaal over de meerwaarde van profielorganisaties.
• Zichtbaarheid richting OCW (Ministerie van Onderwijs) en andere stakeholders is cruciaal om relevant te blijven.
• Gevaar wordt gesignaleerd dat profielorganisaties anders mogelijk als “extra” of “niet-essentieel” worden gezien.

Onderzoek en wetenschappelijke onderbouwing

• Grote behoefte aan meer evidence-based onderzoek naar de impact van profielorganisaties.
• Idee geopperd om een lobby te starten of te versterken richting wetenschappers en onderzoeksinstellingen.
• Suggestie dat het Platform hier een initiatiefnemende rol in kan nemen.
• Mogelijkheid om aan te sluiten bij bestaande kennisagenda’s, zoals die van NRO.
• Kansen om samenwerking te zoeken met wetenschappelijke raden, hoogleraren of bestaande onderzoeksgroepen.

Samenwerking en collectieve impact

• Wens om de individuele impact van de profielen op te tellen tot een collectieve waarde.
• Belang om kennisdeling en co-creatie tussen de verschillende profielen te stimuleren.
• Suggestie om ook te publiceren over gezamenlijke initiatieven.

Thema’s en inhoudelijke focusgebieden

• Thema’s als technologisering, leesvaardigheid en vaardighedenontwikkeling worden genoemd als kansrijke invalshoeken voor samenwerking.
• Belang om aan te sluiten bij landelijke thema’s en agenda’s om relevantie te vergroten.