Vraag en antwoord

Achtergrond en algemene informatie

Hoe is de Impactmonitor tot stand gekomen?

De monitor is in nauwe afstemming met het bibliotheekveld ontwikkeld. Op verschillende momenten en manieren is input verzameld voor de ontwikkelingen van de vragenlijsten en de infrastructuur:

  • Tijdens verschillende workshops zijn de behoeften en ervaringen van bibliotheken op het gebied van effectmeting opgehaald. Deze vormden het startpunt van de ontwikkeling van de monitor.
  • Een landelijke werkgroep van vertegenwoordigers uit POI’s heeft meegedacht over de opzet en inrichting van de Impactmonitor.
  • Middels kwalitatief onderzoek (interviews en groepsgesprekken) zijn ervaringen van bibliotheekbezoekers en cursusdeelnemers opgehaald die input boden bij de ontwikkeling van de vragenlijsten.
  • Een klankbordgroep bestaande uit lokale bibliotheken heeft de vragenlijsten getest en voorzien van feedback.

 

Wat is het voordeel van een landelijk instrument?

Met een landelijk ontwikkeld instrument wordt bibliotheken veel werk uit handen genomen bij het uitvoeren van een effectmeting. Het verzamelen en rapporteren van de onderzoeksgegevens met behulp van standaard vragenlijsten gebeurt geautomatiseerd, waardoor de bibliotheek niet zelf aan de slag hoeft met het maken en analyseren van vragenlijsten.

Doordat gegevens via een centrale infrastructuur worden verzameld, is het tevens mogelijk om op landelijk niveau uitspraken te doen over de effectiviteit en impact van bibliotheekprogramma’s binnen het domein van de basisvaardigheden.

Hoe sluiten gestandaardiseerde instrumenten aan op mijn lokale situatie?

De Impactmonitor is in eerste instantie bedoeld om bibliotheken lokaal te voorzien van waardevolle informatie over hun educatieve en maatschappelijke dienstverlening. De vragenlijsten in de Impactmonitor zijn dan ook zodanig opgesteld dat deze voor de meeste lokale bibliotheekprogramma’s op de betreffende thema’s goed in te zetten zijn. Hoewel doelgroep en invulling van een programma kunnen verschillen, zijn veel elementen en effecten van programma’s van vergelijkbare aard. Dit blijkt ook uit de landelijke BOP-onderzoeken die jaarlijks worden uitgevoerd om de dienstverlening van bibliotheken te monitoren (zie bop.bibliotheek.nl en www.bibliotheekinzicht.nl voor de inzichten uit deze onderzoeken).

Bijkomend voordeel van het werken met standaard vragenlijsten en een landelijke portal, is dat resultaten op geaggregeerd niveau kunnen worden verzameld en geanalyseerd. De mogelijkheid om hierbij verschillende programma’s en verschillende werkwijzen te vergelijken, geeft inzicht in wat werkt en wat niet. Dit is ook de reden dat deelnemende bibliotheken voor het analyseren van de landelijke data wordt gevraagd om de belangrijke kenmerken van de programma’s die zijn gemeten door te geven in een korte vragenlijst.

Wat voor programma’s kan ik meten met de Impactmonitor?

De Impactmonitor meet de vorderingen die deelnemers aan cursussen maken in de bibliotheek. Dit zijn cursussen op het gebied van: (1) computer & internet; (2) social media; (3) e-overheid; en (4) de Nederlandse taal. Veel voorkomende cursussen zijn bijvoorbeeld de cursussen van Klik & Tik, Digisterker en Lees en Schrijf! Maar ook andere cursussen op deze gebieden kunnen met de Impactmonitor worden gemeten. Een overzicht van cursussen waarvoor de verschillende modules kunnen worden ingezet, is te vinden in de handleiding. U kunt daarnaast ook zelf cursussen toevoegen, die niet in de lijst staan.

In een later stadium zullen aan de Impactmonitor ook modules worden toegevoegd die de opbrengsten meetbaar maken van bibliotheekprogramma’s gericht op andere aandachtgebieden en beleidsdomeinen.

Kunnen we de Impactmonitor ook inzetten voor kortere activiteiten, bijvoorbeeld workshops of inloopspreekuren?

De monitor is ontwikkeld om cursussen en trainingen met meerdere bijeenkomsten te meten. Vanwege het langduriger karakter van deze cursussen is hierbij naar verwachting een beter waarneembaar effect te meten dan bijvoorbeeld een (eenmalig) bezoek aan een bijeenkomst, informatiebalie of spreekuur.

Inhoud van de vragenlijsten

Wat voor effecten meet de Impactmonitor?

De Impactmonitor is primair gericht op het zichtbaar maken van de opbrengsten van cursussen binnen de genoemde domeinen. Ook wordt gevraagd naar de motivatie van cursisten (nulmeting) en hun oordeel (nameting) over de cursus in de bibliotheek.

De effecten die worden gemeten, zijn onder te brengen in drie typen, waarbij wordt gekeken naar de verandering die optreedt tussen de start en afronding van de cursus:

  • Niveau van kennis & vaardigheden: wat weet en kan men al op een bepaald gebied?
  • Gedrag: in hoeverre is men actief op dit gebied in het dagelijks leven?
  • Attitude: hoe kijkt men tegen een bepaald onderwerp aan?

 

Daarnaast wordt respondenten (in de nameting) middels stellingen gevraagd naar de mate waarin men positieve opbrengsten van de cursus ervaart in het dagelijks leven.

Zijn vragenlijsten niet te moeilijk voor de doelgroep?

De Impactmonitor maakt gebruik van vragenlijsten om de effecten van en tevredenheid over programma’s meetbaar te maken. Het voordeel van vragenlijsten is dat gegevens gedurende het hele cursusjaar op eenvoudige en efficiënte wijze bij een grote hoeveelheid cursisten kunnen worden verzameld. Hierdoor kan op meer systematische wijze een grotere hoeveelheid informatie over een cursusprogramma worden verzameld, dan bijvoorbeeld bij het afnemen van interviews of groepsgesprekken. Ook het analyseren van gegevens is op deze wijze eenvoudiger dan bij het verzamelen van gegevens op basis van gesprekken.

Een nadeel bij deze wijze van onderzoeken, is dat juist voor de betreffende doelgroep – namelijk mensen die willen worden bijgespijkerd in hun taal- en digitale vaardigheden – het invullen van een vragenlijst moeilijk kan zijn. Om deelname aan onderzoek ook voor deze groep zo eenvoudig mogelijk te maken, zijn de volgende maatregelen genomen:

  • Vragenlijsten kunnen zowel digitaal als schriftelijk afgenomen worden (meer informatie over afname van de vragenlijsten is te vinden in de handleiding.
  • Vragenlijsten zijn zo kort mogelijk gehouden
  • Vragenlijsten zijn geformuleerd in zo eenvoudig mogelijk Nederlands
  • In een validatieronde zijn de vragenlijsten niet alleen voorgelegd aan onderzoekers en bibliotheekprofessionals, maar ook aan een testpanel met Taalambassadeurs van Stichting ABC.

 

Desalniettemin blijft een bepaald niveau aan vaardigheden noodzakelijk om de vragenlijsten in te kunnen vullen. We adviseren dan ook om het invullen van de vragenlijsten (zeker de voormeting) te integreren in de cursusbijeenkomsten, zodat de cursusleider eventueel ondersteuning kan aanbieden aan mensen die moeite hebben met het invullen van de lijsten.

Hoe motiveer ik deelnemers om mee te doen?
Ervaringen uit het verleden leren dat de integratie van een monitor in het cursusprogramma als positief wordt ervaren door zowel respondenten als cursusleiders. Het onderzoek is dan een vanzelfsprekend onderdeel van de cursus. De voormeting kan hierbij worden aangeboden als een eerste oefening of kennismaking en de nameting kan gecombineerd worden met een feestelijk moment waarop de afronding van de cursus en het behalen van een eventueel certificaat wordt gevierd.

Deelnemen en aanmelden

Wanneer kan ik instappen voor de Impactmonitor?

Omdat de eerste metingen in mei 2019 zijn gestart, loopt het monitorjaar 2019 door tot 31 april 2020. Bibliotheken die in 2019 zijn ingestapt, kunnen hun inschrijving in maart 2020 verlengen tot 31 dec 2020. Zij ontvangen in maart een mail om de inschrijving te verlengen.
Bibliotheken die nog niet zijn ingestapt, kunnen zich voor deelname in 2020 inschrijven op twee momenten:

  • in de periode 1 – 31 januari 2020
  • in de periode 1 – 1 – 31 juli 2020

 

Wat kost deelname aan de Impactmonitor?
In 2019 konden bibliotheken via de Impactmonitor gratis deelnemen aan twee onderzoeksmodulen. Vanaf 2020 zullen bibliotheken de kosten voor de toegang tot het portal deels zelf moeten betalen. Vanwege de schaalgrootte van de Impactmonitor kunnen wij deze echter tegen een laag tarief aanbieden:
  • Bibliotheken die in 2019 zijn ingestapt, betalen in 2020 (voor de periode mei – dec) €180,- per module.
  • Bibliotheken die in januari 2020 nieuw starten met de Impactmonitor betalen €224,- per module (voor de periode jan – dec).

 

De bedragen zijn inclusief btw, toegang tot de beheer- en rapportageportal. Hiermee kunt u het hele jaar door onbeperkt effectonderzoek uitvoeren en rapporteren. Tevens heeft u altijd toegang tot ondersteuning van de helpdesk.

Facturatie voor deelname aan de Impactmonitor gebeurt vooraf. Na uw inschrijving ontvangt u van ons dus meteen een factuur.

De KB streeft ernaar om de Impactmonitor ook in 2020 tegen zo laag mogelijke kosten aan te bieden vanuit de landelijke programmagelden. Hierover zal begin 2020 meer duidelijkheid komen.

Welke taken moet de bibliotheek zelf uitvoeren?

Voor deelname aan de monitor onderscheiden we taken en rollen op drie niveaus:

  • Strategisch
    Deelname aan de Impactmonitor wordt in het ideale geval ingezet, dan wel ondersteund door de directie en/of het management van de bibliotheek. Deze zien wij als de opdrachtgever voor de monitor. De monitor moet hem of haar belangrijke informatie opleveren over het functioneren van de organisatie en de mate waarin organisatiedoelen worden behaald. Die informatie kan dienen als input voor beleid en ter ondersteuning van het gesprek met bijv. de gemeente. De directeur en/of manager draagt het belang van monitoring en effectmeting uit naar de rest van de organisatie. Hij / zij wordt vervolgens op vaste momenten door de monitorcoördinator op de hoogte gehouden van de voortgang en de uitkomsten van het onderzoek.
  • Tactisch
    We adviseren elke organisatie om een monitorcoördinator te benoemen die zorgt dat de Impactmonitor onderdeel wordt van een systematisch en cyclisch proces van meten en evalueren. We zien deze persoon als de belangrijkste ‘eigenaar’ van het vraagstuk rondom monitoring en effectmeting. In de praktijk zal dit vaak een educatief specialist, coördinator, of programmaleider zijn. Het is de persoon die strategische organisatiedoelen vertaalt in concrete programma’s en activiteiten en die het cursusprogramma op het niveau van de basisbibliotheek overziet en coördineert. De monitorcoördinator begeleidt de organisatie in het aanmelden voor en uitzetten van onderzoek, draait de rapportages uit en vertaalt onderzoeksresultaten naar het beleid en de werkpraktijk van de bibliotheek. Hij of zij zorgt ook voor de terugkoppeling van resultaten naar de directie / het management en naar de medewerkers of vrijwilligers die de cursussen verzorgen. De monitorcoördinator kan toegang tot de portal verstrekken aan betrokken personen. Deze gebruikers kunnen worden toegevoegd binnen de portal.
  • Operationeel
    De uitvoering van de monitor zal voor een groot deel worden verzorgd door de monitoruitvoerder. Deze persoon – vaak een bibliotheekmedewerker of vrijwilliger – begeleidt de cursussen en zorgt ervoor dat de vragenlijsten door cursisten bij aanvang en na afronding van de cursussen worden ingevuld. Dit doet hij/zij door de vragenlijsten digitaal of schriftelijk aan alle cursisten voor te leggen en hen eventueel te begeleiden bij (en motiveren tot) het invullen. Voor het verspreiden van vragenlijsten via de online portal werkt hij of zij nauw samen met de monitorcoördinator die het gebruik van en toegang tot de online portal coördineert. In samenspraak met de monitorcoördinator zorgt de monitoruitvoerder voor de interpretatie van de onderzoeksinzichten in relatie tot het cursusprogramma en de eigen ervaringen in de werkpraktijk.

 

* N.B. Welke mensen er precies betrokken worden bij de uitvoering van de Impactmonitor en hoe verschillende rollen worden ingevuld, zal afhangen van lokale omstandigheden, behoeften en beschikbare mensen en faciliteiten. De hierboven genoemde rollen en taken zijn dan ook een advies en kunnen door bibliotheken naar eigen inzicht worden ingevuld.

Wat moet ik doen om in te schrijven voor de Impactmonitor?
Voor deelname aan de monitor onderscheiden we taken en rollen op drie niveaus:
Alle bibliotheken kunnen deelnemen aan de Impactmonitor. Wij adviseren om hiervoor één monitorcoördinator te benoemen die zich namens de bibliotheek inschrijft en de verzameling en rapportage van onderzoeksgegevens coördineert. Deze persoon kan ook collega’s of vrijwilligers instrueren bij het invoeren van gegevens en het uitzetten van vragenlijsten.

Heeft u zich in 2019 al ingeschreven voor deelname aan de Impactmonitor? Dan ontvangt u in maart 2020 van ons automatisch een e-mail met informatie over het verlengen. Stapt u nieuw in? Dan kunt u zich registreren via de homepage. U krijgt dan een email ter bevestiging van uw inschrijving en kunt vervolgens een inlog aanmaken.

 

Kan ik mij als monitorcoördinator aanmelden voor meerdere basisbibliotheken?

Uw e-mailadres en wachtwoord vormen de toegang tot de beheerportal en rapportage-omgeving van de specifieke bibliotheek. Het is niet mogelijk om met eenzelfde mailadres meerdere bibliotheken in de Impactmonitor te beheren. Wilt u als monitorcoördinator deelnemen voor meerdere bibliotheken, dan kunt u contact opnemen met de helpdesk.

Kan ik met meerdere mensen binnen mijn organisatie de deelname aan de Impactmonitor beheren?
Ja dit kan. Wij adviseren echter om binnen de organisatie één persoon aan te wijzen die het belangrijkste aanspreekpunt vormt en die de deelname namens de bibliotheek overziet en coördineert. Deze persoon – de Monitorcoördinator – kan in de beheeromgeving (tabblad ‘Gebruikers’ onder ‘Account’) andere gebruikers invoeren. Wanneer een extra gebruiker is toegevoegd, krijgt deze een persoonlijke e-mail waarin hij of zij de deelname kan bevestigen en een eigen inlog kan aanmaken.
Welke modules moet ik kiezen?

Om deelname aan de monitor te starten, moet u eerst aangeven welke module(s) u wilt gaan inzetten. Welke module(s) u kiest, hangt af van de cursussen die u met de Impactmonitor gaat meten. Richt de cursus zich op taalvaardigheden? Dan kiest u de module taal. Biedt u een (of meerdere) cursussen op het gebied van digitale vaardigheden? Dan kunt u kijken of de vragenlijsten Computer en Internet of Social Media het beste tegemoet komt aan de inhoud van de cursus. Om een goede keuze te maken over de in te zetten module, adviseren wij om vooraf even goed naar de vragenlijsten te kijken. U krijgt dan een beter beeld van wat er binnen de specifieke modules precies wordt gemeten.

Cursussen kiezen

Welke cursussen kan ik met de Impactmonitor meten?

De Impactmonitor meet de vorderingen die deelnemers aan cursussen maken in de bibliotheek. Dit zijn cursussen op het gebied van: (1) computer & internet; (2) social media; (3) e-overheid; en (4) de Nederlandse taal. Veel voorkomende cursussen zijn bijvoorbeeld de cursussen van Klik & Tik, Digisterker en Lees en Schrijf! Maar ook andere cursussen op deze gebieden kunnen met de Impactmonitor worden gemeten. Een overzicht van cursussen waarvoor de verschillende modules kunnen worden ingezet, is te vinden in de handleiding. Wanneer u in de beheerportal een module heeft gekozen, vindt u de lijst met cursussen voor die betreffende module onder het tabblad ‘Cursussen’.

Wat moet ik doen als mijn cursus niet in het overzicht van cursussen staat?

Staat uw cursus niet in de lijst, bijvoorbeeld omdat het een maatwerkcursus betreft die de bibliotheek zelf heeft ontwikkeld? Dan kunt u de cursus zelf handmatig toevoegen. Let wel op dat u de cursus een korte en duidelijke titel meegeeft die ook herkenbaar is voor de cursist. De naam van de cursus wordt gebruikt in de uitnodigingsmail en vragenlijst, dus het is belangrijk dat respondenten snappen waar het precies over gaat.

Wat moet ik doen als mijn bibliotheek een combinatie van cursussen binnen één traject aanbiedt?

Het kan zijn dat cursisten tijdens een cursus in uw bibliotheek onderdelen uit verschillende cursusprogramma’s aangeboden krijgen (bijvoorbeeld Klik & Tik en Digisterker). De samenstelling van het programma wordt bijvoorbeeld bepaald op basis van de wensen of het instapniveau van de individuele cursist, of er wordt een standaard selectie gemaakt uit verschillende trainingspakketten. Is de cursus binnen uw bibliotheek een combinatie van verschillende cursussen Klik & Tik, dan willen wij u vragen om een cursus toe te voegen onder de naam ‘Klik & Tik’ (zonder toevoeging). Op deze manier kunnen we waarborgen dat er een eenduidige manier van registreren wordt gehanteerd, zodat we ook voor de rapportage goed weten waar resultaten betrekking op hebben. In alle andere gevallen vragen wij u om contact op te nemen met de helpdesk. Zij bespreken graag met u hoe u uw cursus het beste kunt registeren in de portal.

Waarom zie ik geen cursussen staan op de pagina ‘Cursussen’?

Om in het beheerportal een of meerdere cursus(sen) te kiezen waarvoor u effecten wilt gaan meten, is het belangrijk dat u eerst heeft aangegeven aan welke module(s) u gaat deelnemen. Kiest u bijvoorbeeld de module Computer en Internet en klikt u op ‘opslaan’ dan ziet u vervolgens op de pagina ‘cursussen’ een lijst van cursussen waaruit u kunt kiezen.

Staat uw cursus niet in de lijst, bijvoorbeeld omdat het een maatwerkcursus betreft die de bibliotheek zelf heeft ontwikkeld? Dan kunt u de cursus zelf handmatig toevoegen. Let wel op dat u de cursus een korte en duidelijke titel meegeeft, want de naam van de cursus wordt gebruikt in de uitnodigingsmail en in de vragenlijst die naar respondenten gaat.

Klik altijd op ‘opslaan’ om uw keuze te bevestigen.

Hoeveel cursussen kan ik met de Impactmonitor meten?

Het aantal cursussen dat u binnen een module kunt meten is in principe onbeperkt. Wanneer u bijvoorbeeld kiest voor de module ‘Computer en internet’ en over dit onderwerp verschillende cursussen aanbiedt (bijvoorbeeld Klik&Tik. De basis. en Seniorweb), dan kunt u elk van die cursussen meten met behulp van dezelfde voor- en nameting. De onderzoeksgegevens over deze verschillende cursussen worden bij elkaar opgeteld en samengenomen bij de rapportage over de betreffende module.

Kan ik ook later in het jaar nieuwe cursussen toevoegen?

Het toevoegen van cursussen en starten met onderzoek voor die cursussen kan in principe het hele jaar door, mits die cursussen betrekking hebben op de modules waaraan u al deelneemt.

Over welke periode kan ik effecten meten?

De periode waarover u effecten meet, bestrijkt over het algemeen een jaar. Dit betekent dat u het hele jaar door vragenlijsten kunt laten invullen. Het totaal aan gegevens wordt gerapporteerd in het rapportageomgeving.

Omdat de monitor in 2019 in mei van start is gegaan, zullen de resultaten over 2019 alleen betrekking hebben op het tweede, derde en vierde kwartaal.

Cursisten registreren ('uploaden')

Hoe moet ik cursisten registreren voor deelname aan het onderzoek?

U kunt cursisten op twee manier toevoegen aan de beheerportal: als groep in een bestand of handmatig. In het eerste geval kunt u op de pagina 'upload bestand' een Excelbestand met de naam, het telefoonnummer en het e-mailadres van de cursisten toevoegen. Gebruik hiervoor het format dat in de beheerportal wordt aangeboden. Als de upload is gelukt, vindt u de contactgegevens van de cursisten op de pagina 'Uitnodigen'. Hier kunt u ook (extra) individuele cursisten handmatig toevoegen en de gegevens van cursisten wijzigen door op 'bewerken' te klikken.

Waarom moet ik een e-mailadres of telefoonnummer van de cursist opgeven?

Vragenlijsten verspreiden kan op verschillende manieren: per mail, schriftelijk en online via een weblink. De uitgangssituatie is dat cursisten een link naar de vragenlijst per e-mail ontvangen en vervolgens digitaal in kunnen vullen. Hiervoor is het nodig dat het e-mailadres van de cursisten in het systeem wordt ingevoerd. Is de vragenlijst een bepaalde periode na het versturen nog niet ingevuld, dan ontvangt de cursist automatisch een herinneringsmail.

Heeft de cursist geen e-mailadres of wilt u het onderzoek klassikaal laten invullen, dan maakt u gebruik van de pdf. De cursist kan de vragenlijst dan schriftelijk invullen of via de weblink die op de pdf geprint is (let op: elke cursist dient zijn eigen vragenlijst met persoonlijke code te krijgen!). Het is in beide gevallen wel slim om het telefoonnummer van de cursist in te vullen, zodat deze per sms een herinneringsbericht kan ontvangen wanneer de vragenlijst na een bepaalde periode nog niet is ingevuld. Ook dit gebeurt automatisch.

Wat moet ik doen als een cursist geen e-mailadres en geen mobiel telefoonnummer heeft?

U kunt cursisten zonder emailadres en zonder mobiel telefoonnummer opgeven met het fictieve mobiele nummer 0600000000. Als u dit telefoonnummer heeft ingevuld, kunt u de cursist toevoegen. Het is niet meer nodig om een e-mailadres in te vullen. Omdat er geen contactgegevens bekend zijn van de cursist, zal er geen reminder worden verstuurd als de cursist de vragenlijst na een bepaalde periode nog niet heeft ingevuld.

Ik wil een Excel-bestand uploaden, maar ik kan geen cursus selecteren.

Wanneer in het drop down menu geen cursussen staan om uit te kiezen, heeft u waarschijnlijk nog geen modules en/of cursussen geselecteerd. Het kan ook zijn dat u de modules en/of cursussen nog niet (succesvol) heeft opgeslagen. Ga naar de pagina 'Modules' en 'Cursussen' in het tabblad 'Details deelname'. Kijk of hier modules en cursussen zijn aangevinkt.

Cursisten uitnodigen om de vragenlijst in te vullen

Waarom heeft elke respondent een eigen inlogcode?

De inlogcode is bedoeld om elke respondent een uniek (doch anoniem) kenmerk mee te geven, zodat we de voor- en nameting van deze respondent aan elkaar kunnen koppelen. Alleen bij een juiste koppeling kunnen we goede uitspraken doen over de vorderingen die een cursist tijdens het cursustraject heeft gemaakt. Het is daarom erg belangrijk dat iedere cursist de juiste vragenlijst met de juiste inlogcode voorgelegd krijgt. Bij het per mail versturen van de vragenlijst wordt de persoonlijke code automatisch voor ingevuld. Bij de pdf voor schriftelijk of online invullen, staat de inlogcode op de vragenlijst gedrukt.

Hoe kan ik de vragenlijsten klassikaal in laten vullen?

U kunt de vragenlijsten klassikaal schriftelijk of online (bijvoorbeeld op computers van de bibliotheek) laten invullen. Een combinatie is ook mogelijk.

Om schriftelijk te laten invullen, klikt u op 'pdf' om de vragenlijst per cursist te downloaden en printen. De cursist kan de vragenlijst in de bibliotheek invullen of mee naar huis nemen. Vergeet in dat geval niet om een antwoordenvelop mee te geven, zodat de cursist de vragenlijst zelf op de post kan doen.

Online in laten vullen kan op twee manieren:

  1. U verstuurt de vragenlijst naar het e-mailadres van de respondent die de vragenlijst van hieruit kan openen en invullen.
  2. U print per cursist het pdf en laat hem of haar de vragenlijst benaderen via de weblink die hierop staat afgedrukt. De persoonlijke code waarmee de respondent de vragenlijst kan openen staat eveneens op de pdf.

 

Let erop dat elke respondent de juiste vragenlijst met de juiste inlogcode krijgt, zodat de voor- en nameting van de cursisten aan elkaar gekoppeld kunnen worden t.b.v. de rapportage!

Wij adviseren u om bij het klassikaal verspreiden van de vragenlijsten ter check altijd even een overzichtje te printen van de naam en inlogcode van alle respondenten, om er zeker van te zijn dat ieder zijn of haar juiste inlogcode krijgt.

Wat moet ik doen met de ingevulde papieren vragenlijsten?

De papieren vragenlijsten kunt u (of kan de cursist zelf) na afronding opsturen naar:
DESAN Research Solutions
Antwoordnummer 47599
1070 WE Amsterdam
U heeft hiervoor antwoordenveloppen ontvangen. Heeft u geen antwoordenveloppen meer neem dan contact op met de helpdesk.

Moet de cursist perse een voor- en een nameting invullen?

Om de progressie van cursisten te meten als gevolg van deelname aan de cursus, is het belangrijk dat cursisten deelnemen aan zowel de voor- als de nameting. Soms kan het echter zijn dat het invullen van een voormeting niet is gebeurd, bijvoorbeeld omdat de cursus al gestart is of als de cursist de voormeting is vergeten in te vullen. In dat geval volstaat de deelname aan uitsluitend de nameting. In de nameting worden immers ook enkele vragen gesteld over de ervaringen en het oordeel van de cursist n.a.v. de cursus.

Het kan ook zijn dat een cursist wel deelneemt aan de voormeting, maar niet aan de eindmeting. Ook in dat geval worden de resultaten uit de voormeting aan de totale gegevensset toegevoegd. Belangrijke gegevens over het instapniveau en de motivatie van de cursisten worden op die manier gewoon meegenomen in de analyse.

Het gevolg is wel dat de data van deze cursist in de rapportage niet zal worden meegenomen als er een vergelijking tussen de voor- en nameting wordt gemaakt.

Rapportage

Wat is het resultaat uit de monitor?

Via de beheerportal hebben bibliotheken toegang tot een rapportageomgeving waar zij op elk gewenst moment de resultaten uit hun eigen metingen (basisbibliotheek of vestiging) kunnen uitdraaien. Resultaten van de eigen bibliotheek kunnen hier ook vergeleken worden met het landelijk gemiddelde van alle deelnemende bibliotheken of data uit voorafgaande jaren. De resultaten worden weergegeven in grafieken en tabellen, waarbij verschillende selecties of filtermogelijkheden worden aangeboden. Een toelichting op onderzoeksbevindingen vindt u in de landelijke rapportage die aan het eind van het onderzoeksjaar wordt opgemaakt en gepubliceerd.

Wanneer en hoe kan ik een rapportage uitdraaien?

De bibliotheek kan op elk gewenst moment rapportages uitdraaien. Dit kan door via het beheerportal naar de 'Rapportage' te gaan. U komt dan in een omgeving waar u onder andere kunt selecteren van welke module u de resultaten wilt zien.

We adviseren om goed te kijken naar het totale aantal cursisten dat op het moment van rapporteren aan het onderzoek heeft meegedaan (de N). Wanneer een onderzoek net start en er minder dan 10 vragenlijsten zijn ingevuld (N< 10), dan gelden voor de resultaten grote toevalligheidsmarges. Bij een totaal aantal respondenten dat kleiner is dan 50, is het aan te raden percentages altijd met de nodige voorzichtigheid te interpreteren. Indien de uitkomst betrekking heeft op minder dan 3 respondenten, worden in verband met de anonimiteit van respondenten de resultaten (nog) niet getoond.

Op welk niveau worden resultaten gerapporteerd?

Deelname aan de Impactmonitor gebeurt op het niveau van basisbibliotheek, dus de rapportage heeft eveneens betrekking op dat niveau. U kunt de resultaten van uw eigen basisbibliotheek ook vergelijken met het landelijke gemiddelde. Ook is het mogelijk om de resultaten van een specifieke cursuslocatie (vestiging) te selecteren en te vergelijken met het gemiddelde van de basisbibliotheek.

Hoe kan ik zien welk effect mijn cursus teweeg heeft gebracht?

Om het effect van de cursussen te kunnen bepalen, is het nodig een vergelijking te maken tussen het niveau van respondenten voordat zij aan de cursus begonnen en hun niveau na afronding van de cursus. Hiertoe zijn in de vragenlijsten enkele vragen opgenomen over vaardigheden en attitudes die zowel in de nul- als in de één-meting worden gesteld. U herkent deze vragen in het selectiekader ('Vraag') aan een *. Als u zo'n vraag selecteert en vervolgens onder 'Vergelijking' '0- en 1-meting' kiest, ziet u in de grafiek de (geaggregeerde) scores van respondenten voor en na de cursus. Het verschil in percentages tussen nul- en één-meting zou een indicatie moeten geven van de verandering in vaardigheden of attitude die bij respondenten is opgetreden tussen de start en afronding van de cursus in de bibliotheek.

Hoe kan ik onderzoeksresultaten gebruiken in mijn eigen stukken, zoals een jaarverslag?
Als u een grafiek uit de rapportageomgeving wilt exporteren, klikt u rechts onderin op pdf. U kunt de grafiek dan als een los document printen en/of opslaan.

Verwerking van de onderzoeksgegevens

Hoe wordt er omgegaan met persoonsgegevens?

De bibliotheken en de KB vinden het belangrijk om persoonsgegevens veilig en zorgvuldig te verwerken. Om te waarborgen dat de verwerking van persoonsgegevens in overeenstemming met de AVG is, zijn de volgende maatregelen genomen:

  • Het aantal identificerende persoonsgegevens waar naar wordt gevraagd is beperkt. In de beheerportal vragen we alleen die gegevens die strikt noodzakelijk zijn om vragenlijsten te kunnen versturen en om de voor- en nametingen van cursisten aan elkaar te kunnen koppelen voor statistisch onderzoek, op geaggregeerd niveau (naam, telefoonnummer, e-mailadres).
  • Deze identificerende persoonsgegevens worden opgeslagen in een veilige omgeving bij DESAN Research Solutions. DESAN is zowel ISO 20252 (kwaliteit onderzoek) als ISO 27001 (databeveiliging) gecertificeerd. DESAN hanteert de richtlijnen van MOA en ESOMAR.
  • De beheeromgeving is uitsluitend toegankelijk voor bibliotheekmedewerkers van de betreffende bibliotheek die vanuit hun functie met de Impactmonitor werken, en voor bij de Impactmonitor betrokken medewerkers van DESAN.
  • De identificerende gegevens worden niet gebruikt in rapportages en worden vernietigd 12 maanden na het jaar waarin de verwerking plaatsvond.
  • Persoonsgegevens worden uitsluitend in anonieme, geaggregeerde vorm, gebruikt in rapportages en zijn dus niet herleidbaar naar individuen. De cursist is bovendien niet verplicht deze gegevens in te vullen.

 

Wat moet de bibliotheek doen om privacy te waarborgen?

Met de Impactmonitor faciliteert de KB een infrastructuur waarmee onderzoek in de bibliotheek kan worden uitgezet en gerapporteerd. Omdat de werving van respondenten voor het onderzoek binnen de bibliotheek gebeurt, ligt ook hier voor de bibliotheek een belangrijke taak rond de privacy van cursisten. Deze behelst vooral het adequaat informeren van cursisten over de verwerking van hun persoonsgegevens, bij aanvang van de cursus en vóór de start van het onderzoek. De bibliotheek kan hiertoe haar eigen privacyverklaring aanpassen of aanvullen.

Daarnaast is de bibliotheek zelf verantwoordelijk voor het nemen van organisatorische maatregelen om de persoonsgegevens van de deelnemers aan de cursus en de enquête te beschermen. Wees bijvorbeeld zorgvuldig met het registreren van gegevens en houd goed toezicht op wie er toegang heeft tot de beheerportal. Zorg ook dat er accuraat wordt omgegaan met het verspreiden en versturen van de papieren vragenlijsten.

Wat gebeurt er met de gegevens van mijn bibliotheek?

De Impactmonitor dient primair voor de uitvoering van effectmeting voor individuele bibliotheken. De onderzoeksgegevens zullen daarnaast ook centraal worden verzameld en geanalyseerd. Jaarlijks wordt een landelijke rapportage uitgebracht met de landelijke stand van zaken op basis van de gegevens van alle deelnemende bibliotheken. De gegevens worden zorgvuldig beheerd onder verantwoordelijkheid van de KB.

In de landelijke rapportage zullen geen uitspraken worden gedaan over individuele bibliotheken, maar worden - waar relevant - vergelijkingen gemaakt tussen bijvoorbeeld groepen bibliotheken van verschillende omvang, verschillende regio's en/of op basis van de invulling van de cursus die wordt gemeten.