Til startsiden
  • Personvern
  • Arkiv
  • Nettstedskart
  • Kontakt oss
  • Skriv ut
  • Skriv ut
  • Endre tekststørrelse
English

UDI internmeldinger

IM 2015-006
Dokument-ID : IM 2015-006
Saksnummer : 15/06852-12
Dokumentdato : 17.08.2015
Mottakere :

Utlendingsdirektoratet

Arbeidet med evaluering i UDI


1. Innledning

1.1 Hva er evaluering?

1.2 Formål med evaluering i UDI

2. Når kan eller skal det evalueres i UDI?

3. Ansvar og roller

3.1 Direktøren og direktørgruppen

3.2 Analyse og utviklingsavdelingen (AUA)

3.3 Avdelingenes ansvar

4. Forslag til evalueringer og beslutning om gjennomføring

4.1 Evalueringsvirksomheten og FoU-arbeidet

4.2. Årsplan for evalueringer

4.3 Forslag til evalueringer og beslutning om gjennomføring

5. Planlegging og gjennomføring av evalueringer

5.1 Mandat

5.2 Planlegging

5.3 Gjennomføring av evalueringen

5.4 Oppfølging av evalueringen

6. Rapportering til departementet

1. Innledning

Retningslinjene beskriver hvilke mål, prinsipper og grunnleggende krav som gjelder for Utlendingsdirektoratets (UDI) evalueringer når slike inngår i etatens beslutnings- og styringssystem. Dette omfatter både evalueringer som UDI utfører selv og evalueringer som settes ut til eksterne oppdragstakere. Denne internmeldingen må ses i sammenheng med Internmelding om arbeidet med forsknings- og utviklingsprosjekter (FoU) i UDI (IM 2014-011).1

1.1 Hva er evaluering?

Det stilles formelle krav til hva som er en evaluering. UDI legger til grunn følgende definisjon av evaluering:

"Evaluering er en systematisk datainnsamling, analyse og vurdering av en planlagt, pågående eller avsluttet aktivitet, virksomhet, et virkemiddel eller en sektor. Evalueringer kan gjennomføres før et tiltak iverksettes, underveis i gjennomføringen, eller etter at tiltaket er avsluttet. Evalueringer kan utføres av interne eller eksterne fagmiljøer." (DFØ)

Evalueringer skiller seg fra andre analytiske metoder ved at de:

  • både beskriver og vurderer verdien av noe
  • krever systematikk og metode som må kunne redegjøres for
  • innebærer at noen betrakter og stiller seg utenfor det som skal evalueres, med større eller mindre avstand
  • forutsetter at det finnes et faktagrunnlag, eventuelt annen tilstrekkelig konkret informasjon som definerer hva som skal måles og hva som er godt eller ikke godt.

Evalueringer varierer fra enkle evalueringer som kan gjennomføres på kort tid og med lite ressursinnsats, til store forskningsprosjekter (se vedlegg for ulike typer evalueringer).

1.2 Formål med evaluering i UDI

Det følger av Statens økonomireglement (av 2003) at

«Alle virksomheter skal sørge for at det gjennomføres evalueringer for å få informasjon om effektivitet, måloppnåelse og resultater innenfor hele eller deler av virksomhetens ansvarsområde og aktiviteter. Evalueringene skal belyse hensiktsmessighet av eksempelvis eierskap, organisering og virkemidler, herunder tilskuddsordninger. Frekvens og omfang av evalueringene skal bestemmes ut fra virksomhetens egenart, risiko og vesentlighet» (§ 16).

Formålet med evalueringsvirksomheten i UDI er å gi grunnlag for kontroll og styring ved å:

  • gi informasjon om måloppnåelse, resultater og effekter, samt årsaker og virkninger
  • bidra til læring
  • bidra til et langsiktig perspektiv i styringen

Evaluering skal være en integrert del av virksomhetsstyringen, av planlegging, endrings- og prosjektarbeid. Resultater fra eksterne og interne evalueringer inngår i UDIs samlede styringsinformasjon, i tillegg til blant annet løpende måling, budsjett og økonomi, risikostyring, internkontroll og internrevisjon, samt annen FoU-virksomhet.

2. Når kan eller skal det evalueres i UDI?

UDI kan selv sette i gang evalueringer, eller overordnet departement kan gi det som et oppdrag, blant annet i tildelingsbrevet. Overordnet departement vil ofte ha ansvaret for evalueringer av for eksempel UDI som virksomhet, større deler av UDIs virksomhet eller av etatsstyringen.

UDI skal benytte evaluering når det er behov for informasjon om:

  • årsak-virkningsforhold (for eksempel årsak til hva som fremmer eller hemmer måloppnåelse)
  • hvilke virkemidler som er mest hensiktsmessige
  • bredde- eller dybdekunnskap
  • effekter (finne endringer i en tilstand som kan tilskrives et tiltak, tilskudd etc., eventuelt uønskede endringer eller uheldige vridningseffekter)

Ifølge § 16 i Statens økonomireglement skal frekvens og omfang av evalueringer bestemmes ut fra virksomhetens egenart og risiko, og ut fra vesentlighet. Det vil si at vi skal gjennomføre evalueringer når det i UDI er styringsmessige behov for den informasjonen en evaluering kan gi, for eksempel i planlegging og prioritering.

Alle deler av virksomheten kan ikke evalueres. Når det gjelder evalueringer som UDI selv setter i gang skal prioriteringen av hva som skal evalueres blant annet være basert på en vurdering av risiko og vesentlighet:

  • Områder med høy risiko: UDI skal prioritere evalueringer på områder der vi ser det er en betydelig risiko (forhold som kan hindre måloppnåelse) eller hvor vi ser at det er stor usikkerhet. Eksempler på dette kan være første gang vi setter i gang en type tiltak, gjennomføring av en pilot, der vi er usikre på resultat og effekt, områder hvor vi antar at prosesser og virkemidler ikke er effektive etc.
  • Områder med høy vesentlighet bør prioriteres: Høy vesentlighet vil si at det er forhold som har eller kan få stor betydning for virksomheten. Eksempler er dersom det involverer stor ressursinnsats, det er høy politisk oppmerksomhet, eller at det berører mange personer.
  • Kost/nytte vurdering: Før vi gjennomfører evalueringer, skal det foretas en vurdering av ulike type kostnader og nytte av evalueringen. Behovet for og nytten av å gjennomføre en evaluering må overstige kostnadene.
  • Det bør kun gjennomføres evalueringer av forhold som virksomheten selv kan påvirke i større eller mindre grad.

UDI skal alltid vurdere om vi skal evaluere (punktene er delvis overlappende):

  • større organisasjonsutviklingsprosjekter
    • for eksempel omorganisering, innføring av nye systemer og prosesser
  • andre større prosjekter
    • for eksempel samarbeidsprosjekter med andre virksomheter og større omlegginger av saksbehandlingen
  • nye virkemidler og tiltak
    • for eksempel dersom vi setter i gang nye tiltak for å gi informasjon til søkerne, tiltak for å motivere personer til å returnere assistert etc.
  • piloter som gjennomføres
    • for eksempel dersom vi prøver ut nye virkemidler på enkelte grupper eller i et begrenset omfang
  • tilskuddsordninger
    • både forvaltningen og resultatene av ordningene
  • større regelverks- og praksisendringer, jf. IM 2009-017 UDIs rutiner for effektrapportering og evaluering av regelverks- og praksisendringer

I planleggingen av alle prosjekter, tiltak, initiativ, piloter etc. skal ansvarlig avdeling ta stilling til hvordan resultatene av det som gjøres/gjennomføres skal vurderes:2 Vil det være behov for en ekstern evaluering, en intern evaluering, en følgeevaluering, en selvevaluering gjennomført av arbeidsgruppen, en enkel resultatmåling eller annen oppfølging? Det må også legges til rette for i prosjektet at gjennomføring og resultater kan evalueres.

3. Ansvar og roller

3.1 Direktøren og direktørgruppen

UDIs ledelse har ansvar for å sikre at evaluering brukes i virksomhetens interne styring.

Årsplanen for evaluering i UDI (se punkt 4.2) behandles i direktørmøtet og besluttes av direktøren. Direktøren beslutter gjennom dette evalueringer som skal gjennomføres. Hvorvidt evalueringer som identifiseres, besluttes og igangsettes gjennom året skal besluttes av direktøren, avhenger av evalueringens omfang og størrelse. Momenter som tilsier at direktøren skal beslutte en evaluering er om det er en omfattende evaluering, om det er på et virksomhetskritisk område og om evalueringen omfatter flere avdelinger.

3.2 Analyse og utviklingsavdelingen (AUA)

AUA har hovedansvaret for UDIs evalueringsvirksomhet:

  • koordinere evalueringsarbeidet
  • holde oversikt over pågående evalueringer
  • sikre at UDIs evalueringsvirksomhet samlet dekker UDIs behov for styringsinformasjon og at vi oppfyller forpliktelsene vi har til å evaluere egen virksomhet
  • utvikle UDIs evalueringsmetodikk
  • gi råd og veiledning i planlegging og gjennomføring av evalueringer

AUA har ansvaret for å utarbeide og følge opp årsplanen for evaluering.

AUA skal fremme forslag for direktøren til evalueringer på virksomhetskritiske områder, større evalueringer og evalueringer som omfatter flere avdelinger.

I en del tilfeller bør AUA ha ansvaret for gjennomføring av evalueringer. Momenter som tilsier at AUA skal gjennomføre en evaluering er at den berører flere avdelinger, at det er nødvendig med avstand mellom de som evaluerer og evalueringsobjektet, og/eller at kompetanse- og ressursbehov gjør dette mest hensiktsmessig. Evalueringer som AUA har ansvaret for vil som oftest gjennomføres i samarbeid med andre avdelinger.

Evalueringer som utføres av eksterne oppdragstakere, gjennomføres som FoU-prosjekter (se punkt 4.1 nedenfor). AUA har i utgangspunktet prosjektansvaret for disse evalueringene, jf. IM 2014-011.

3.3 Avdelingenes ansvar

Alle avdelinger har ansvar for at det gjennomføres nødvendige evalueringer på deres områder.

Hvorvidt en evaluering skal gjennomføres av den avdelingen som er ansvarlig for det som evalueres eller av AUA, avhenger om omtalt ovenfor av blant annet om den berører flere avdelinger, om det er behov for avstand og evalueringens omfang.

Uavhengig av hvem som gjennomfører evalueringen skal den følge prosess og metodikk gitt i denne internmeldingen. AUA skal informeres om arbeidet, og evalueringene skal inngå i UDIs årsplan.

4. Forslag til evalueringer og beslutning om gjennomføring

4.1 Evalueringsvirksomheten og FoU-arbeidet

Prosessene for å identifisere, beslutte og gjennomføre evalueringer som settes ut til eksterne oppdragstakere, følger i stor grad det samme løpet som FoU-prosjekter, jf. IM 2014-011.

4.2. Årsplan for evalueringer

UDI skal utarbeide en årlig plan for evalueringsarbeidet. Planen skal inneholde planlagte, besluttede og pågående evalueringer, samt evalueringer som er gjennomført de siste 12 månedene.


4.3 Forslag til evalueringer og beslutning om gjennomføring

I forbindelse med arbeidet med virksomhetsplanen på høsten, innhenter AUA innspill fra organisasjonen til hvilke evalueringer og andre FoUprosjekter UDI bør gjennomføre det kommende året, jf. IM 2014-011, punkt 3.1. Dette omfatter både interne og eksterne evalueringer.

AUA gjør deretter en første vurdering og prioritering av forslagene til evalueringer i samråd med avdelingene og utarbeider årsplanen for evaluering. Direktørmøtet gjennomgår årsplanen, og den besluttes av direktøren. AUA oppdaterer årsplanen løpende gjennom året.

Gjennom året vil direktøren kunne beslutte og departementet bestille evalueringer. Avdelingene vil også løpende kunne se behov for å initiere, beslutte og gjennomføre evalueringer.

Alle evalueringsprosjekter skal, uavhengig av hvor og når de besluttes, inngå i årsplanen for evaluering. Årsplanen skal gi en oversikt over den samlede evalueringsvirksomheten i UDI.

5. Planlegging og gjennomføring av evalueringer

Evalueringer som gjennomføres i UDI skal følge prosessen som beskrives nedenfor, uavhengig av hvilken organisatorisk enhet som har ansvaret, og uavhengig av evalueringens omfang. Gjennomføringen må likevel tilpasses evalueringens innhold og størrelse.

Dersom evalueringen gjennomføres av andre enn den organisatoriske enheten som er ansvarlig for det som evalueres, må det sikres god forankring med og involvering av denne i alle faser.

5.1 Mandat

Den som er ansvarlig for at en evaluering gjennomføres, prosjekteier, utformer et mandat som skisserer:

  • formålet med evalueringen
  • overordnet tids- og ressursramme
  • hvem som skal gjennomføre evalueringsprosjektet

5.2 Planlegging

Den eller de som skal gjennomføre evalueringen, utarbeider en plan for arbeidet. Planen bør som hovedregel godkjennes av prosjekteier. I planen inngår (utdypes i vedlegg):

  • arbeidsplan med frister
  • nærmere beskrivelse av formål/bakgrunn for evalueringen
  • evalueringens problemstillinger
  • evalueringskriterier
  • databehov
  • hvilke metoder som skal benyttes
  • forventede funn
  • vurdering av gjennomførbarhet

5.3 Gjennomføring av evalueringen

Ved oppstart er det viktig å:

  • få en helhetlig oversikt over oppgaven (problemstillinger, faglige krav etc.), herunder snakke med nøkkelpersoner og representanter for berørte parter,
  • klargjøre roller, ansvar og fordele oppgavene mellom de som skal gjennomføre evalueringen.

Selve gjennomføringen består av:

  • etablere metode for datainnsamling
  • datainnsamling
  • analysere og fortolke dataene
  • utarbeide rapport
  • følge opp underveis og kvalitetssikre (kontrollere fremdrift, sikre åpenhet etc)

5.4 Oppfølging av evalueringen

Ferdigstilte evalueringsrapporter skal gjøres nyttig for styring i UDI. Oppfølgingen av ferdigstilt rapport følger følgende prosess (hvem som vanligvis har ansvaret, står i parentes):

  1. Gjennomgå evalueringen, informere og lage beslutningsnotat som beskriver hva som skal følges opp (prosjekteier). I en del tilfeller vil det være prosjekteier som også tar beslutning om videre oppfølging, mens i andre tilfeller bør beslutning tas av ledelsesnivået over.
  2. Utarbeide oppfølgingsplan (den organisatoriske enhet som er ansvarlig for det som har blitt evaluert).
  3. Gjennomføre oppfølgingsplanen (den organisatoriske enhet som er ansvarlig for det som har blitt evaluert).
  4. Rapportere om gjennomføring (den organisatoriske enhet som er ansvarlig for det området som har blitt evaluert).

6. Rapportering til departementet

Gjennom virksomhetsrapporteringen skal UDI rapportere om besluttede og påbegynte evalueringer. Relevante funn fra evalueringene og oppfølgingen av disse skal rapporteres løpende i virksomhetsrapportene.

 

Stephan Mo
avdelingsdirektør

Kontakt: Enhet for statistikk og analyse (ESA), Analyse- og utviklingsavdelingen (AUA)

Siste endringer
  • Ny: IM 2015-006 Arbeidet med evaluering i UDI (17.08.2015)

    Ny internmelding som beskriver mål, prinsipper og grunnleggende krav som gjelder for UDIs evalueringer. Formålet med internmeldingen er å bidra til mer systematisk og strategisk bruk av evaluering i UDI.

Utlendingsdirektoratet
Postboks 2098 Vika
0125 Oslo

Ansvarlig redaktør: Stephan Mo