Monitoring
Met de monitoring binnen het opschalingsprogramma PPS brengen we in kaart of de beoogde doelen bereikt worden en of de veronderstelde onderliggende mechanismen zich in de praktijk voltrekken zoals we hadden bedacht. Het monitoren draagt eraan bij dat [1] gedurende de looptijd van het programma bijgestuurd kan worden, via het kennis- en onderzoeksprogramma van Katapult, specifiek op de onderdelen waar de gewenste resultaten uitblijven, en dat [2] onderbouwd kan worden of de publieke middelen uit het Nationaal Groeifonds goed besteed worden.
Ten behoeve van de kwantitatieve monitoring is een monitoringsdesign ontwikkeld. In de Katapult aanvraag ‘Opschaling PPS’ is een Theory of Change uitgewerkt (zie hieronder), die hebben we als basis genomen voor het uitdenken van het monitoringsdesign.
Zo hebben we een lijst met te meten indicatoren opgezet. Deze indicatoren zijn vervolgens, met feedback van veel partijen, omgezet in vragenlijsten waarmee te meten op meerdere niveaus:
- Niveau de High Impact Pps (HIP);
- Niveau van de pps'en (die samen het consortium vormen);
- Niveau van de mkb'er als deelnemer in activiteiten;
- Niveau van bedrijf als vaste partner in het consortium.
De vragenlijsten zijn ontwikkeld in samenwerking met een klankbordgroep bestaande uit stakeholders van verschillende HIP's waarbij goed gekeken is naar de balans tussen wat we zouden willen weten en wat nog uitvoerbaar en werkbaar is. De conceptversies zijn vervolgens uitgebreid getest. De metingen worden met ingang van januari 2024 1x per jaar uitgevoerd. Elk najaar zullen de metingen daarnaast geëvalueerd en aangescherpt worden, wederom in samenwerking met een klankbordgroep.
Vragenlijsten op niveau van HIP (1) en pps (2)
De vragenlijsten voor HIP en pps volgen op de 0-meting die bij de subsidieaanvraag is ingediend, en worden elk jaar in januari uitgezet. De resultaten van deze metingen zullen geaggregeerd worden, dus het is belangrijk dat deze metingen op hetzelfde moment worden ingevuld. Het doel van de metingen is niet om deelnemers nu na het eerste jaar te beoordelen op huidige prestaties, maar om na 4 jaar te laten zien welke vooruitgang er is geboekt. Door op consistente momenten te meten krijgen we een duidelijk beeld van de ontwikkeling.
Opmerking: In het najaar zal de vragenlijst geëvalueerd worden op basis van de eerdere respons. Zoals gezegd doen we dat in nauwe samenspraak met een klankbordgroep, bestaande uit stakeholders van verschillende HIP's. Op basis van die evaluatie kunnen onderstaande formats mogelijk nog licht worden aangepast. De vragen uit de HIP-vragenlijst die betrekking hebben op Begroting en Middelen en Omvang (vraag 5 en 6 in het format) zijn daarnaast verplaatst naar de RVO-voortgangsrapportage om de administratieve lasten te verminderen.
Klik hier voor de vragenlijst voor de HIP
Klik hier voor de vragenlijst voor de pps
Eerstvolgende deadline: 31 januari 2025
Meten van impact op het niveau van de mkb'er (3)
De vragenlijsten waarmee impact op het niveau van de mkb'er te meten zijn specifiek bedoeld om de meerwaarde van de pps'en en de effectiviteit van hun activiteiten in kaart te brengen. Niet alleen omdat wij dat graag willen weten, maar ook omdat we vinden dat dat belangrijke sturingsinformatie is voor pps'en zelf! Dit gaat om een doorlopende meting, waarbij we elk half jaar de resultaten zullen analyseren en publiceren.
De afgelopen periode hebben we hard gewerkt aan vragenlijsten en een online platform die het ophalen van feedback bij het mkb zou moeten faciliteren. Hier waren tevens een aantal HIP collega’s bij betrokken. Dit heeft geresulteerd in een platform waar mkb'ers na elke activiteit een korte evaluatie in kunnen vullen. Het merendeel van de HIP's zal gebruik maken van dit platform. Daarnaast heeft een aantal HIP's een eigen instrument ontwikkeld die beter past bij de eigen context. Die laatste mogelijkheid is er natuurlijk, onder een aantal voorwaarden.
Klik hier voor meer informatie over de verschillende meetopties en voorwaarden.
Klik hier voor meer informatie over de vragenlijst en het platform dat is ontwikkeld door Katapult.
Klik hier voor de vragenlijst mkb - activiteit
Eerstvolgende deadline: 31 januari 2025
Vragenlijst mkb - vaste partner (4)
De vragenlijst mkb - vaste partner wordt 1x in de 2 jaar in januari (vanaf 2025) uitgezet.
Opmerking: Dit najaar zullen we een evaluatie uitvoeren om te bepalen of we deze vragenlijst behouden, of dat de inhoud ervan geïntegreerd kan worden in de reeds bestaande vragenlijsten.
Klik hier voor de vragenlijst mkb - vaste partner
Wat doen we met alle informatie?
De informatie wordt allereerst gebruikt om te kijken hoe het programma als geheel verloopt. Hiermee wordt gekeken of de doelen gehaald worden en waar eventueel bijgestuurd moet worden. De informatie wordt ook gebruikt als input voor evaluaties en adviezen die eens in de twee jaar plaatsvinden - in de vorm van tweejaarlijkse peer reviews per HIP én de tussentijdse evaluatie van het programma als geheel.
De informatie wordt ook gebruikt voor kennisontwikkeling en onderzoek. Hierbij wordt gekeken naar wat er goed gaat en wat niet en waarom dat is met als doel de effectiviteit van pps'en en daarmee de impact van het programma helpen vergroten.
Tot slot dient de input uit de kwantitatieve monitor als ondersteuning van de voortgangsmeting door RVO. RVO vraagt de HIP's jaarlijks om een korte rapportage over de voortgang. Ter ondersteuning hiervan heeft RVO ook inzage in de kwantitatieve monitor van Katapult.
