Innovativ evaluering - meningsfuld anvendelse af evalueringsresultater | Ineva - Viden til udvikling
Home » Viden » Innovativ evaluering - meningsfuld anvendelse af evalueringsresultater
Er skrevet af Malene Skov Dinesen og Camilla Kølsen og udgivet i CEPRA-striben nr. 7
Der bliver investeret store summer i evalueringer og målinger, og mange professionelle praktikere føler, at det insisterende krav om dokumentation og vurdering er en belastning og en overvågning af deres indsats. Er dette, hvad evaluering kan og skal gøre i samfundet? Vores holdning er, at evaluering giver mening, hvis man måler fremad i stedet for at holde bogføring over fortidens gøren og laden. Vi har en innovativ tilgang til evaluering, som gør det muligt at udvikle og kvalificere den situerede, professionelle praksis gennem evaluering set som en systemisk og refleksiv aktivitet. Det er et tilbud om at se evaluering og dokumenta- tion som en integreret del af den professionelle, daglige praksis. Vi kalder denne tilgang for Innovativ evaluering, og formålet med denne artikel er at præsentere de teoretiske overvejelser bag, samt at illustrere disse med et par praktiske eksempler.
Evaluering, kvalitetssikring, benchmarking, akkre- ditering samt målinger af indsats og ydelser bliver
til stadighed mere dominerende i det nuværende samfund, i særdeleshed i den offentlige sektor. Sagen er, at alle disse krav om evaluering og evidens- basering for beslutninger og udvikling ikke kommer fra institutionerne og organisationerne selv, men fra deres bevilgende myndighed, eller de er en faktor for institutionens konkurrenceevne. De negative associa- tioner, der kobles på evaluering, og den dominerende tendens til, at evalueringsopgaven bliver stillet fra øvre myndighed, skaber evaluering, der ingen betyd- ning har for praksis, og hvor udviklingspotentialet i brugen af ressourcerne udebliver.
I denne artikel har vi fokus på, hvordan der kan ska- bes et alternativ til dette, og præsenterer Innovativ evaluering, der henter sin inspiration fra den syste- misk-konstruktionistiske teori og praksis så vel som fra realistisk evaluering (Pawson & Tilley 1997), samt fra begrebet evalueringskapacitet. Centralt i Innovativ evaluering er evalueringens anvendelse i beslutnings- og udviklingsprocesser. For at kunne tænke og bruge evalueringen på denne måde er det nødvendigt, at evalueringen er tæt koblet til praksis (Nørreklit & de Wit 2008).
Evalueringskapacitet og intern commitment
Koblingen til praksis i Innovativ evaluering er bl.a. in- spireret af evalueringskapacitet (Evaluation Capacity Building, de Wit & Wegener 2007, efter Compton m.fl. 2002), hvis formål er, at praktikerne skal trænes i selv
at kunne lave evalueringer af høj kvalitet af deres egen praksis og derefter kunne anvende evalueringerne til at innovere deres praksis med. Opbygningen af evalu- eringskapacitet understøtter en form for ledelse, der beror på involvering af medarbejderne og intern com- mitment til organisationens opgaver. Intern commit- ment er, når medarbejdere er optaget af at udvikle de- res praksis, fordi de er interesserede i at gøre deres job så godt som muligt. Modsat er ekstern commitment en holdning, hvor man udfører sit job i overensstem- melse med kriterier, som andre har bestemt (Krag & de Wit 2003, efter Argyris). Den eksterne commitment følges ofte ad med eksplicitte incitamentsstrukturer, som gør det vigtigere for praktikeren at opfylde målet end at reflektere over, hvorvidt målet overhovedet er meningsfuldt (Nørreklit & de Wit 2000).
Tanken om evalueringskapacitet er baseret på et be- greb om bæredygtig udvikling såvel som på læring i indsatsen og den omgivende organisation. Praktiker- nes anvendelse af evalueringerne fordrer på sin side igen en klar og eksplicit praksisteori for egen prak- sis: Hvordan fungerer min praksis? Hvilke antagelser har jeg om, hvordan mine handlinger påvirker andre mennesker eller det, jeg forsøger at opnå med min praksis? Hvad indeholder min praksis af begreber og virkninger? Når jeg reflekterer over min egen praksis, hvilke kategorier og mekanismer hægter jeg så mine refleksioner op på? Denne praksisteori er drevet af praktikernes eksplicitering af egne erfaringer og læ- ring om egen praksis (de Wit og Wegener 2007). Ved at koble evalueringen og dens anvendelse sammen med den fortløbende læring og refleksion over egen praksis skabes en særdeles meningsfuld ramme for evalueringer, der på alle måder er langt mere hand- lingsrettet og understøttende for den interne com- mitment. Dette har vi erfaringer for i samarbejdet med fx underviserteam, der sammen med os som evaluatorer gennemgik en proces, hvor det handlede om at lave praksisteorier for studieordnings-mål som ”inddragelse i undervisningen”, ”individuelt tilrette- lagt undervisning”, ”sammenhæng i undervisningen” og ”vejledning”. Beskrivelsen af praksisteorien inde- holdt fælles værdier, dvs. målene i praksis for hvert team og metoder til at opnå målene såvel som tegn på målopfyldelse, hvilket derefter var afsæt for eva- luering af de elementer af studieordningen. Denne måde at arbejde med evaluering gav intern commit- ment både til praksis og til evalueringen.
Dette giver mulighed for en definition af evaluerings- kultur, hvor evaluering ikke klistres sammen med kulturbegrebet for at opnå identitet og legitimitet (Dahler-Larsen 2006), men derimod opnår en egen berettigelse ved at være indlejret i en professionel praksis som praksisteori. At have en evalueringskul- tur er at have opbygget evalueringskapacitet og have en sammenhængende tilgang til evaluering og prak- sis, hvor evalueringen er en del af praksiskulturen, fx som en del af en undervisningskultur (se fx de Wit og Mayland 2006).
Organisatorisk modenhed til innovativ evaluering
Det er en væsentlig indsigt, at innovativ evaluering og evalueringskapacitet i en organisation ikke opstår, fordi man siger, at nu skal det være sådan. Innovativ evaluering hænger sammen med organisatorisk mo- denhed såvel som evalueringsfaglig modenhed. Der- for er det en forudsætning for innovativ evaluering, at en organisation forholder sig til sin egen modenhed og muligheder for at håndtere praktikernes efter- spørgsel efter viden gennem evalueringsaktivite- terne. Dette involverer en konkret selvevaluering af organisationens evne til at medvirke til forsyningen af denne viden til praktikerne, givet den konkrete ”vi- densinfrastruktur” i organisationen. Modenheden kan beskrives som organisationens motivation for opbyg- ning af evalueringskapacitet, dens konkrete kontekst,
behovet for professionel udvikling af medarbejderne, ressourcer og støttesystemer, samt organisationens evne til at lære af egne erfaringer med evaluering og anvendelse af evaluering til udvikling (de Wit & Wege- ner 2007). Følgende spørgsmål kan være eksempler på spørgsmål, som organisationen kan stille til sin egen modenhed i forbindelse med evaluering (Dine- sen og de Wit in press). Det er en pointe, at organi- sationens evne til i det hele taget at reflektere over sin evalueringsfaglige modenhed og organisering af evalueringen er tegn på modenhed, såvel som svarene på spørgsmålene kan udtrykke forskellige grader af modenhed forstået som organisationens evne til re- fleksion over evaluering:
Hvad er der af efterspørgsel på informationer fra organisationens omverden og internt i organisationen?
Kan der være interne incitamenter for at udvikle organisationens evne til evaluering?
Hvad er der af nuværende evalueringspraksis, der kan bygges på?
Er det klart, hvad evalueringerne skal bruges til, og hvilken organisatorisk/ politisk rolle, de spiller (både for den evaluerende organisation og for de omgivende aktører)?
Hvordan skal evaluator opnå indflydelse for evalueringen?
Det konkrete niveau af modenhed kan udvikles og kvalificeres gennem målrettede indsatser og en til- passet træningspædagogik, hvilket er udfoldet i den kommende bog Innovativ evaluering (Dinesen og de Wit in press).
Validitet og brugen af evaluering
Innovativ evaluering finder megen inspiration fra både teori og praksis i den systemiske og socialkonstruk- tionistiske ledelses- og organisationsudvikling. Det systemiske felt har sit ophav i familieterapien og har derfra udviklet sig til at være både en meget anvendt teori og en praktisk tilgang til ledelse og organisato- risk udvikling (Hornstrup m.fl. 2005). Dette bidrager til Innovativ evaluering med både en grundlæggende til- gang og en epistemologi, der har afgørende betydning for, hvordan evaluering betragtes, ligesom konkrete
værktøjer og redskaber skaber kvalificeret, fremad- rettet evaluering. Denne inspirationskilde er supple- ret med indsigten fra realistisk evaluering (Pawson og Tilley 1997), hvor det klart formuleres, at et resultat ikke opstår som følge af en indsats, men som følge af menneskers handlinger, beslutninger og interaktioner i et givet forløb, fx en elevs læringsresultat opnået i et undervisningsforløb. Et sådan læringsresultat er lige- ligt afhængigt af lærerens og elevens handlinger og beslutninger i undervisningssituationens kontekst, og resultatet er ikke et produkt af fx varierede under- visningsformer i sig selv. Med andre ord er det nød- vendigt at se realistisk på kompleksiteten i det, man evaluerer, og gøre en indsats for at forstå de menne- skers handlinger, som man inddrager i evalueringen.
Det offentliges styringsmekanismer stiller et massivt krav om validitet, hvilket bl.a. kommer til udtryk i di- verse resultatkontrakter mellem det offentlige og de- res myndigheder. Der er fokus på, at evalueringer skal være evidensbaserede, og der er et helt legitimt behov for, at samfundet kan regne med de resultater, evalu- eringerne bibringer. Sagen er dog, at betragtningerne om validitet ofte bygger på en forståelse, der er hentet fra et naturvidenskabeligt og positivistisk paradigme, hvor objektivitet betragtes som både en mulighed og et ideal. Validitet anskues dermed som, i hvor høj grad man kan betragte evalueringens konklusioner som gene- relt sande, og i mange sammenhænge også som, at de kan anvendes til at sammenligne med evalueringer af tilsvarende institutioner eller programmer. Problemet med denne tilgang til validitet er, at evalueringerne skaber en reduktion af kompleksiteten i den realistiske situation, der har frembragt et resultat, hvilket gør, at resultaterne bliver løsrevet fra konteksten, og dermed forsvinder muligheden for at skabe udvikling.
Den systemiske teori bygger på en anden tilgang til validitet, der er hentet fra aktionsforskningen (Barge 2006). Hvad enten der arbejdes med ledelse, orga- nisationsudvikling eller evaluering, ligger der i den systemiske tilgang en afgørende etisk forpligtelse til altid at arbejde frem imod en positiv udvikling, som af praktikerne anerkendes som en værdifuld udvikling af deres praksis (Lang, Little og Cronen 2005). Dermed er der ikke et universelt kriterium for den positive udvikling, udover at praksis styrkes og kvalificeres gen- nem anvendelsen af evalueringsaktiviteterne, koblet sammen med et stigende bevidsthedsniveau hos praktikerne selv, vedrørende hvordan de målsætter og værdisætter deres praksis. Et konkret eksempel på en positiv udvikling fra vores egen praksis: Et lærerteam i indskolingen arbejder med målsætning af deres tvær- faglige undervisning i forbindelse med et evaluerings- projekt af den tværfaglige undervisning. Herved skaber de klarhed over, hvad de forsøger at opnå med hvilke undervisningsmetoder, og skoleledelsen iscenesætter dem samtidig som ressourcepersoner i målsætning og værdisætning for de øvrige lærerteam på skolen.
Denne konstante opmærksomhed på positiv udvikling hænger sammen med det systemiske validitetskri- terium, der fokuserer på i hvor høj grad evalueringen bidrager til anvendelse i praksis (Barge 2006). Denne betragtning af evaluering gør en markant forskel for, hvordan evaluering anskues, og hvordan den gennem- føres. Det er efterhånden en fortærsket pointe både i evalueringslitteraturen og i diskussioner i praksis, at der bliver lavet mængder af evalueringer, der aldrig har reel anvendelse og indflydelse, men som blot samler støv på hylderne (fx Patton 1988). Dette kan lade sig gøre af forskellige årsager, bl.a. fordi evalueringerne ikke hænger sammen med praksis, herunder at de kriterier for kvalitet, der bruges i evalueringerne, ikke er relevante for praksis og de mål og værdier, prakti- kerne arbejder med. Det kan - ifølge ledere inden for det offentlige – føre til, at der skabes evalueringer, der ikke bidrager med ny viden, og hvis formål dermed udelukkende bliver at sikre fortsat økonomisk bistand (Dinesen 2008).
I det følgende vil særligt to afgørende elementer fra den systemiske teori blive inddraget i beskrivelsen af, hvordan man som praktiker kan starte sit arbejde frem imod at lave Innovativ evaluering og skabe øget evalue- ringskapacitet i egen organisation. Til forskel fra intern evaluering, forstået som evaluering, hvor de praktikere, hvis praksis evalueres, er med til både at målsætte og udføre evalueringen, så har Innovativ evaluering et mere skarpt fokus på anvendelsen af evalueringens processer, aktiviteter og resultater til udvikling og in- novation af praksis og på den meningsfuldhed, der lig-
ger i at blive bedre til arbejdet og professionen. Intern evaluering kan sagtens laves og bliver lavet, uden at evalueringen nødvendigvis bliver nyttig eller anvende- lig for praksis. Det er, fordi evalueringens kvalitet såvel som den organisatoriske modenhed også spiller en stor rolle for dens potentiale for anvendelse.
Socialkonstruktionisme i evaluering
En central pointe i det systemiske felt er overbevis- ningen om, at verden er socialt konstrueret igennem de relationer, vi indgår i (Gergen 2004). Altså er vi ikke noget ”i os selv”, men udelukkende i forhold til andre. Gergen og Gergen beskriver den centrale idé i social- konstruktionismen således:
http://ineva.dk/sites/default/files/styles/top_billede/public/iStock_000005419540Small.jpg?itok=3qzolX4H
”Den grundliggende idé i social konstruktion vir- ker ret enkel, men den er også dyb. Alt, hvad vi regner for virkeligt, er socialt konstrueret. Eller sagt mere dramatisk, intet er virkeligt, før folk er enige om, at det er det.” (Gergen og Gergen 2005:9)
Erkendelsen af, at alt opstår i relationer og er socialt konstrueret, betyder, at evaluering ikke kan opfat- tes som noget, der udføres af én person, nemlig af evaluatoren, men som noget, der samskabes mellem evaluator, respondenter og andre interessenter. Med afsæt i det systemiske validitetskriterium som væ- rende brugen af evalueringen, betragtes evaluering ikke som en objektiv vurdering, der ikke påvirker prak- sis, men i stedet som en proces, der skal kvalificere praktikerne til at løse deres opgave bedst muligt. Som evaluator kan man ikke ikke-påvirke, og dermed ret- tes opmærksomheden i Innovativ evaluering på, hvor- dan påvirkningen kan være mest hensigtsmæssig for at skabe størst mulig brug af evalueringen (Maturana 1987). Dét at betragte medlemmerne i en organisati- on som evaluatorer eller med-evaluatorer kan under- støtte koblingen mellem praksis og evaluering, fordi evalueringen konstant er til stede i praksis (jf. oven- stående definition af evalueringskultur) og er udtryk for en udviklet evalueringskapacitet.
En anden pointe er, at man i Innovativ evaluering al- drig vil lave endegyldige konklusioner og almengyldige sandheder (Gergen 2004), hvilket peger tilbage på etableringen af praksisteori og den proces, der ligger her. Evalueringens konklusioner er lokale og må be- tragtes i sammenhæng med den praksis og kontekst, de er skabt i. De kan således ikke generaliseres til an- dre mere eller mindre lignende organisationer. Inno- vativ evaluering vil dermed ikke være genstand for, at man evaluerer effekten af en indsats i én organisati- on, eksempelvis en skole, og med udgangspunkt i dét uden videre anbefaler andre skoler at ”adoptere” det, der her har vist sig som velfungerende. Denne type overførsel af praksis er løsrevet fra konteksten. Derfor skaber adoptionen i bedste fald ikke de samme gode resultater som i værtsorganisationen og i værste fald frustration og mangel på mening hos medarbejderne. Det kan være absolut værdifuldt og udviklende at lade sig inspirere af resultater fra andre organisationer, men det skal ”oversættes” til egen sammenhæng og kontekst frem for en direkte adoption. Dermed bliver det evalueringspraktikerne sammen med de relevante aktører i og omkring den enkelte organisations opga- ve at vurdere, hvilke elementer af en praksis der giver mening i mere eller mindre tilrettet form, herunder hvordan krav og kriterier, som bestemmes udefra, kan bruges til at operationalisere relevante dele af prak- sis i organisationens praksis. Dette er en forhandling, som i høj grad hænger sammen med, hvordan man som evaluator planlægger evalueringens indflydelse i organisationen og dens kontekst.
I forlængelse af betragtningerne om, at der ikke kan laves globalt sande konklusioner, er det værd at be- mærke, at man i Innovativ evaluering ikke betragter kvantitet som grundlag for en konklusions vægtning. Et perspektiv er altså ikke mere rigtigt eller vigtigt, udelukkende fordi mange respondenter har sagt det, da der kan være et helt afgørende forhold i program- met eller indsatsen, som kun en enkelt respondent kan se. Vigtigheden af et perspektiv afgøres af, om det beskriver en del af praksis, der er kritisk for kva- liteten i organisationens praksis, og som samtidig er svært at udføre, hvilket også nogen gange benævnes som ”kritiske hændelser” i praksis (de Wit 2000). Der- med vil konklusionerne og anbefalingerne i Innovativ evaluering være en uprioriteret, men ofte kategorise- ret beskrivelse af de forhold og sammenhænge, som
valueringen har vist. Et afgørende skridt er derefter at omsætte evalueringens resultater til udvikling i praksis, og derfor er dialogen og processen et vigtigt element af evalueringsarbejdet.
Anerkendelse og forstyrrelser
I systemisk perspektiv er en afgørende pointe, at ud- vikling bedst sker i et positivt defineret miljø (Cooper- rider og Srivastva 1987). Dermed ikke være sagt, at det ikke er muligt eller hensigtsmæssigt at tale om det, der kan være vanskeligt, men det er vigtigt at holde fokus på at gøre det på en fremadrettet og anerken- dende måde. Humberto Maturana skriver, at uden an- erkendelse er positiv udvikling ikke en mulighed (Ma- turana og Poerksen 2004). Desuden beskriver han, at mennesker udelukkende udvikler sig igennem tilpasse forstyrrelser fra den omgivende verden og mennesker (Maturana 1987). Tilpas forstyrrelse opstår, når evalu- eringen bidrager med ny viden, der igangsætter ud- vikling og refleksion hos praktikerne, samtidig med at der opleves anerkendelse og kobling med det allerede eksisterende. Når evalueringen bidrager til, at prakti- kerne tager kvalificerede, nye, fremadrettede valg, er den tilpasse forstyrrelse opnået.
En forudsætning for at skabe den tilpasse forstyrrelse er anerkendelse, som kommer i spil i forskellige sam- menhænge i Innovativ evaluering. En måske umid- delbart banal pointe er, at det er afgørende at være tydelig omkring, hvorfor og hvordan evalueringen skal gennemføres, herunder betydningen af inddragelse i evalueringen. Det opleves alt for ofte, at man bliver bedt om at deltage i en evaluering, som man ikke ved, hvad skal bruges til, og hvilken betydning resultaterne skal eller kan få. Det skaber frustration og dårlige eva- lueringer, fordi det både kan resultere i utryghed og ligegyldighed i forhold til deltagelsen og besvarelsen.
Et andet element i anerkendelsen og de tilpasse for- styrrelser er, hvordan anbefalinger og resultater af evalueringer skabes. I 2003 gennemførte Rigsrevisio- nen en undersøgelse af brugen af evalueringer i det offentlige, der påviste, at anbefalingerne i evaluerin- gerne meget ofte er sammenfaldende – uafhængigt af, hvilken indsats, forvaltningsområde eller organisa- tion, der evalueres i (Rigsrevisionen 2003). Listen over
anbefalinger indbefatter ting som ”at efteruddanne medarbejderne” og ”at gennemføre supplerende un- dersøgelser”. Den slags generaliserede anbefalinger er ikke en tilpas forstyrrelse og igangsætter ingen udvikling i praksis. I Innovativ evaluering er validitets- kriteriet, som beskrevet, brug i praksis, og dermed er dét kravet til anbefalinger og resultater. Samtidig er det afgørende, at anbefalingerne bliver kvalificeret af praktikerne, fordi de igennem inddragelse og med- bestemmelse på eksempelvis prioriteringen af ind- satserne vil føle sig anerkendte og være åbne for de forstyrrelser, som evalueringen bringer.
Evaluering er et element af organisationernes liv, der er kommet for at blive. Enten kan det skabe frustra- tion og spild af ressourcer, eller også kan det skabe udvikling og innovation i organisationerne. Det afgø- rende er den tilgang, man tager afsæt i, og de evalu- eringsdesign, man laver og gennemfører. Evaluering kan være et stærkt værktøj til at drive virksomheden eller organisationen frem og skabe den bedst mulige opgaveløsning for kunder eller brugere.
En del af succesen i brugen af Innovativ evaluering handler om at skabe et andet udgangspunkt for eva- lueringer. De gængse forestillinger om og modstand mod evalueringer skal udfordres og ændres til en op- fattelse af, at evaluering er en vigtig del af den fort- løbende organisationsudvikling og et afgørende ledel- sesredskab til at motivere og styrke medarbejdere og organisation. Der er dermed ikke et metodisk ”quick fix” til Innovativ evaluering, idet Innovativ evaluering er en tilgang og en metodologi og ikke en step-by-step løsning på, hvordan evaluering gøres meningsfuldt.
Første skridt mod en innovativ evalueringspraksis handler om at styrke organisationens modenhed og evalueringskapacitet. Evalueringen skal være en na- turlig del af den daglige refleksion over praksis, og med inspiration fra tilgangene og opmærksomhe- derne fra det systemiske felt og realistisk evaluering er der et solidt fundament at bygge sin evaluerings- praksis på.
Pawson & Tilley (1997): Realistic Evaluation. London: Sage.
Nørreklit, H & de Wit, C. K (2001): ”Økonomistyringsretorik – fra radiatorstyring til sokratisk styring”. I: Jönsson, S. og B. Larsen (red.): Teori og Praksis – Skandinaviske perspektiver på ledelse og økonomistyring. København: Jurist- og Økonomforbundets Forlag.
de Wit, C. K. og Wegener, C: Opbygning af evalueringskapacitet i praktikuddannelser. MDC-rapport nr. 30, Center for Undervisningsmidler, JCVU.
lokaliseret på: http://www.konsulenter.acu-aarhus.dk/pt/MDC/ Håndbog%20%20praktik.pdf
Dinesen, M.S. og de Wit, C. K. (2010): Innovativ Evaluering. Dansk Psykologisk Forlag (in press).
Krag, L. & de Wit, C. K (2003): ”Ledelse af videnmedarbejdere - et spørgsmål om commitment?” I: Bukh, Christensen og Mouritsen (red.): Videnledelse – et praksisfelt under etablering. København: Jurist- og Økonomforbundets Forlag: 173-200.
Dahler-Larsen, P. (2006): Evalueringskultur – et begreb bliver til. Odense: Syddansk Universitetsforlag.
de Wit, C. K. og Mayland, L(2006): ”Evalueringsdidaktik – sammenhængen mellem mål og evaluering”. I: Lund, J.H. og Rasmussen, T.N. (red.): Almen didaktik – kendetegn og temaer i professionsrettede fag. Forlaget KvaN.
Barge, J. K. (2006): “Living Systemic Constructionist Management Research”. I: Human Systems nr. 17: 257-280.
Hornstrup, C. m.fl. (2005): Systemisk Ledelse – Den refleksive praktiker. Gylling: Dansk Psykologisk Forlag.
Lang, P.; Cronen, V.; Little, M. (2005): ”Den systemisk professionelle – handlingsdomæner og spørgsmålet om neutralitet”. I: Erhvervspsykologi Vol. 3, nr. 2: 36-53.
Patton, M. Q. (1988): “The Evaluator”s Responsibility for Utilization”. I: Evaluation Vol. 9, nr. 2: 5-24.
Dinesen, M. (2008): Systemisk evaluering. (Ikke udgivet).
Gergen, K. (2004): Virkelighed og relationer. Gylling: Dansk Psykologisk Forlag.
Gergen, K. og Gergen, M. (2005): Social konstruktion – ind i samtalen. Gylling: Dansk Psykologisk Forlag.
de Wit, C. K. (2000): Kritiske succesfaktorer i innovative IS projekter. Ph.d.-afhandling fra Handelshøjskolen i Århus, Århus Universitet.
Cooperrider, D. L. and Srivastva, S. (1987): “Appreciative Inquiry in Organisational Life”. I: Research in Organizational Change and Development Vol.1: 129-169. JAI Press Inc.
Maturana, H. R. og Poerksen, B. (2004): From Being to Doing – The origins of the Biology of Cognition. Heidelberg: Carl-Auer.
Maturana, H. R. og Varela, F. (1987): Kundskabens træ – den menneskelig erkendelses biologiske rødder. ASK
Luhmann, N. (1995): Sociale systemer. Gyldendal (elektronisk version).
Rigsrevisionenen (2003): Beretning om statens anvendelse af evalueringer. Lokaliseret på: http://www.folketinget.dk/doc. aspx?/Samling/20042/MENU/00976044.htm