Rocket science?

Hoe wetenschappelijk moet het zijn?

Meten is weten, dat is alleszins het credo in een wetenschappelijke omgeving. Maar hoe ‘meet’ je impact? Hoe stel je impact vast? Het gaat tenslotte om een bepaald gevolg, invloed, effect van jouw ingrijpen, jouw handeling, interventie of praktijk. En die in kaart brengen is niet zo evident.  

Zaten we in een gecontroleerde omgeving dan zouden we makkelijk onze verandering kunnen vaststellen. We creëren dan een controle groep die niet worden blootgesteld aan de interventie of praktijk (of ze krijgen een zogenaamd ‘placebo’) en een test groep waar we wel de interventies uitvoeren of deelnemen aan de praktijk. Het verschil in de resultaten zou ons dan iets kunnen leren over welke verandering er is opgetreden en welke impact de praktijk of interventie heeft gehad (losstaand of die invloed + of – is).

Voornamelijk in de menswetenschappen is er weinig eenduidige consensus over wat als wetenschappelijk bewijs kan doorgaan, net omdat er veel methodologische problemen zijn die onderzoek met zich te weeg brengt. Het ‘meten’ van effect is erg lastig door het grote aantal variabelen die het menselijk handelen beïnvloed.

Laat net de omgeving waar wij ons in bevinden – die van het jeugdwerk – een omgeving zijn die moeilijk te ‘controleren’ is. Het is moeilijk en vaak niet wenselijk om proef opstelling te maken met een controlegroep. We werken tenslotte met kinderen en jongeren en kunnen hier niet zomaar voorbijgaan aan ethische kaders, normen en waarden.

Evidence-based werken

We zouden ons wel kunnen beroepen op de ervaring in het ‘evidence-based’ werken. Een stroming die voortkomt uit de geneeskunde en paramedische beroepen. Hier probeert men het handelen van deze beroepen te rationaliseren door te bouwen op informatie uit de wetenschappen, maar ook uit de ervaring en inzichten van de beroepsuitoefenaar, de kennis van experts en de informatievoorkeuren van de gebruikers.

Maar de grootste uitdaging hier is dat al deze informatie, die moet leiden tot ‘evidence-based’ uitkomsten, resultaten zijn van een langer lopend zoekproces. En in dit zoekproces zijn we onderhevig aan allerlei (denk)fouten die gemaakt kunnen worden. In onze grote hoeveelheid informatie die er beschikbaar is kan er selectief gewinkeld worden (cherry picking) en enkel die informatie gebruikt worden die het resultaat ondersteunen (en info weggelaten die het resultaat tegenspreken). Er wordt een groot gewicht gelegd bij de inzichten van de expert of de beroepsbeoefenaar, maar deze kennen een vorm van professionele blindheid en worden op hun beurt beïnvloed door bijhorende paradigma’s en visies die ze hanteren. Denk bijvoorbeeld aan bevestigend redeneren: zie je wel-effect of het ‘magisch denken’ van oorzaak-gevolg. Ook gebruikers of deelnemers aan de praktijk zelf zijn niet altijd instaat om de juiste beoordeling te maken. Hun waardering zal dan beïnvloed worden door hun verwachtingen (vooraf) en hun relatie (afhankelijkheid) tot de beroepsbeoefenaar of praktijk.

Binnen het ‘evidence-based’ werken ook gewezen op de stelling: afwezigheid van bewijs is geen bewijs voor de niet-werkzaamheid van een methode. Een methode kan bijvoorbeeld nog te jong zijn, zich nog niet ‘wetenschappelijk bewezen’ hebben. Het gevaar bestaat dus, dat er enkel wordt gekeken naar die manieren van handelen die ‘bewezen’ zijn en we onze enkel focussen op die bepaalde impact. Bovendien zijn goede en bewezen praktijken niet altijd zonder meer overzetbaar naar ander praktijken en contexten.  Hier bestaat het gevaar dat de de weg, de ruimte voor het ‘experiment’ en voor nieuwe manieren van handelen en praktijken meteen weer dicht wordt gezet?

De jeugdwerkwetenschappen?

Laat nu net het onderzoek naar de impact van jeugdwerk nog een prille discipline zijn. Het onderzoek naar de gevolgen, invloed en effecten van jeugdwerk zijn op één hand te tellen. Als er al onderzoek is, dan is dit bovendien vaak kort, gericht op een bepaald tijdstip, zeer afgebakend. Er bestaat tot op heden geen onderzoek dat de invloed of effecten op deelnemers van het jeugdwerk op lange termijn zichtbaar maakt.  Een pleidooi voor longitudinaal onderzoek is hier dus zeker op zijn plaats. Dit kan de impact van jeugdwerk op een onderbouwde manier helpen zichtbaar maken. Tegenover de evidence based manier van werken komt op die manier een meer empirisch onderbouwde aanpak te staan die helpt om de fundamentelere outcomes van jeugdwerkpraktijken naar buiten te brengen. Laten we daarom een jeugdwerkwetenschap oprichten? Wat net zoals bij wetenschap gaat het bij impactgericht werken ook om inzicht te krijgen in de werkende mechanismen of oorzaken. Het is ook de vraag stellen: 'Wat werkt?' en 'Waarom werkt het?'

Moet elke jeugdwerker dan een impactexpert zijn?

Nee, laat een jeugdwerker vooral een jeugdwerker zijn en doen waar die goed in is, werken met kinderen en jongeren. Jeugdwerkers hebben impact, maar het onderzoeken en in kaart brengen kan de taak zijn van een collega die zich hierin verdiept en wel specifieke competenties heeft zoals het verzamelen en analyseren van gegevens of het begeleiden van een impactproces.

Die specifieke expertise moet zelfs niet persé in de eigen organisaties zitten. Je kan je laten begeleiden daar procesbegeleiders of facilitators die wel de expertise hebben met impact gericht werken. Maar we moeten ook een blijvend beroep doen op gedeelde kennis: praktijk kennis, academische en wetenschappelijke kennis en de kennis van de doelgroep zelf.

Overigens, zo werd ons uit gezegd door een jeugdonderzoeker met zelf een Doctoraat op zak: "Je moet geen doctoraat hebben, om een onderzoeker te zijn. Jeugdwerkers zijn vaak zelf de beste onderzoekers, ze kennen hun praktijk en hun doelgroep beter dan de onderzoekers".