LUMA2020-ohjelman vaikuttavuus LUMA-keskusten toimijoiden näkökulmasta

Tutkijatohtori Tiina Mäkelä, Koulutuksen tutkimuslaitos, Jyväskylän yliopisto (LUMA2020-ohjelman arviointitiimi)

Tiivistelmä

Tässä raportissa tarkastellaan LUMA2020-ohjelman vaikuttavuutta ohjelmaan osallistuville LUMA-keskusten toimijoille tehtyjen haastattelujen pohjalta. Haastatteluja tehtiin yhteensä seitsemän kappaletta ja niihin  osallistui 14 henkilöä seitsemästä LUMA-keskuksesta eri puolilta Suomea. Osallistujat koostuivat ohjelman teema-alueiden vastuuhenkilöistä sekä ohjelmaan aktiivisesti osallistuvista LUMA-keskusten henkilöstön edustajista. Haastattelurunko muodostettiin ohjelmalle esitettyjen tavoitteiden pohjalta keskittyen ohjelman kolmeen osa-alueeseen: (1) lasten ja nuorten formaalin opetuksen kehittäminen varhaiskasvatuksesta toiselle asteelle, (2) kasvatus- ja opetushenkilöstön osaamisen tukeminen varhaiskasvatuksesta korkeakouluihin, ja (3) lasten, nuorten ja perheiden vapaa-ajan non-formaalin tiede ja teknologiakasvatuksen kehittäminen. Haastatteluissa kiinnitettiin huomiota ohjelman konkreettisten toimenpiteiden vaikuttavuuteen, ohjelmassa muodostettuihin alueellisiin, valtakunnallisiin ja kansainvälisiin  verkostoihin samoin kuin ohjelman mahdollisuuksiin ja haasteisiin. Haastatteluaineisto analysoitiin aineistolähtöisellä temaattisella menetelmällä

Haastatteluaineiston pohjalta voidaan todeta, että ohjelmassa onnistuttiin vastaamaan sen päätavoitteisiin: Tuettiin 3–19-vuotiaiden lasten ja nuorten innostusta ja opiskelumotivaatiota matematiikkaa, luonnontieteitä ja teknologiaa kohtaan ja kehitettiin matematiikan, luonnontieteiden ja teknologian opetuksen ja oppimisen laatua aina varhaiskasvatuksesta korkeakouluihin. Vahvistettiin erityisesti henkilökohtaisen, ammatillisen ja yhteiskunnallisen relevanttiuden kokemuksia LUMA-aineita ja LUMA-aineita ja niihin liittyviä opiskelu- ja ammattivalintoja kohtaan. Haastateltavat kokivat, että ohjelmassa oli onnistuttu, (1) lasten- ja nuorten formaalin opetuksen kehittämisessä varhaiskasvatuksesta toiselle asteelle. Tuettiin esimerkiksi laaja-alaisempaa ja aktiivisempaa tapaa hahmottaa luonnontieteitä, matematiikkaa, kestävää kehitystä ja teknologiaa. Luotiin yhteyksiä näiden teema-alueiden ja oppijoiden jokapäiväisen elämän välille.  Haastateltavat kuvasivat, että (2) eri oppiasteiden kasvatus- ja opetushenkilöstön osaamista kehitettiin tarjoamalla runsaasti täydennyskoulutuksia ja räätälöityä tukea opettajille, sekä tukemalla opettajien välistä yhteistyötä. Haastatteluaineiston perusteella voidaan todeta, että parhaiten onnistuttiin lisäämään yhteistyötä varhaiskasvatuksen oppimisyhteisöjen kanssa. Ammatillisten oppilaitosten ja ammatillisen opettajankoulutuksen kanssa yhteistyö jäi sen sijaan vähäisemmäksi. Haastateltavat toivat esille, että (3) lasten, nuorten ja perheiden vapaa-ajan non-formaalia tiede- ja teknologiakasvatusta kehitettiin etenkin tuottamalla erilaisia sekä fyysisiä että virtuaalisia kerhoja ja leirejä. Formaaliin opetukseen yhdistyvää toimintaa oli kuitenkin huomattavasti enemmän kuin non-formaalia toimintaa. Huoltajien ja muiden perheenjäsenten osallistamisessa onnistuttiin parhaiten varhaiskasvatuksen parissa.

Haastateltavat näkivät, että  ohjelmassa onnistuttiin alueellisten, valtakunnallisten ja kansainvälisten verkostojen kehittämisessä: Ohjelma tarjosi mahdollisuuksia verkostoitua sekä muiden kehittämisyhteisöjen että korkeakoulun ja työelämän asiantuntijoiden kanssa. Koettiin, että parhaiten onnistuttiin alueellisessa verkostoitumisessa. Haastateltavien mukaan yksi parhaista vakiinnutettavissa olevista hyvistä käytänteistä ja toimintamalleista oli kasvatus- ja opetushenkilöstölle tarjottu pitkäkestoinen ja räätälöity tuki. Pidettiin myös tärkeänä, että LUMA-toimintaa hahmotettiin jatkumona varhaiskasvatuksesta aikuisoppimiseen ja että yksittäiset ohjelmat liittyivät mielekkäästi toisiinsa. Haastattelujen perusteella merkittävin ohjelman tavoitteiden toteutumiseen vaikuttanut haaste oli ohjelman lyhytkestoisuus ja niukat resurssit sille asetettuihin tavoitteisiin nähden. Lopuksi, haastateltavat kokivat, että toimintaa voitaisiin kehittää tulevaisuudessa esimerkiksi varaamalla enemmän aikaa toiminnan valtakunnalliseen suunnitteluun, oppimisyhteisöjen osallistamiseen ja yhteistyön laajentamiseen.

JOHDANTO

Tässä raportissa arvioidaan opetus- ja kulttuuriministeriön rahoittaman (2019-20) LUMA2020-ohjelman vaikuttavuutta ohjelmaan osallistuville LUMA-keskusten toimijoille tehtyjen haastattelujen pohjalta. Vaikuttavuutta tarkastellaan etenkin siitä näkökulmasta, kuinka hyvin ohjelmaan osallistuneet LUMA-keskusten toimijat kokivat, että ohjelmalle asetetut tavoitteet olivat toteutuneet (odotetut vaikutukset), mutta huomioon otetaan myös ohjelman odottamattomat ja ennakoimattomat vaikutukset (ks. Gertler et al., 2016; Kuitunen & Hyytinen, 2005). Toisin sanoen, tavoitteena on ymmärtää, kuinka ohjelman nähtiin johtavan sekä tavoiteltuihin että tavoittelemattomiin muutoksiin (ks. Kuitunen & Hyytinen, 2005; Räkköläinen & Meriläinen, 2014). Tavoitellaan myös tulosten yleistettävyyttä eli sitä, kuinka tunnistettuja vaikuttavuutta lisääviä toimintamalleja (hyvät käytänteet) voitaisiin hyödyntää ja sitä heikentäviä toimintamalleja (haasteet) voitaisiin välttää jatkossa (Gertler et al., 2016; Kreber, Brook & Policy, 2001; Räkköläinen & Meriläinen, 2014). 

Oppilaitoksissa, opetuksessa tai oppimisessa tapahtuvat muutokset ovat laaja-alaisia, vaikeasti rajattavia ja epäjatkuvia (ks. Engeström, Kerosuo & Kajamaa, 2008). Lisäksi tavanomaisissa olosuhteissa vaikuttavuutta arvioitaessa vaikuttavuus saattaa olla useiden toisiinsa liittyvien, myös ohjelman ulkopuolisten tekijöiden summa. Näistä syistä tämä arviointi ei pyri osoittamaan suoria syy-seuraussuhteita ja vaikuttavuutta siinä merkityksessä, että voitaisiiin osoittaa, mitkä muutokset ovat suoraan ohjelmasta johtuvia. Sen sijaan pyritään kuvaamaan ohjelman toimintaa ja prosesseja sekä sitä, kuinka tavoitteiden nähtiin toteutuvan. (ks. Gertler et al., 2016.)

LUMA2020-ohjelman päätavoitteena on tukea lasten ja nuorten innostusta ja opiskelumotivaatiota matematiikkaa, luonnontieteitä ja teknologiaa kohtaan sekä kehittää näiden aineiden opetuksen ja oppimisen laatua aina varhaiskasvatuksesta korkeakouluihin. Tavoitteena on erityisesti vahvistaa henkilökohtaisen, ammatillisen ja yhteiskunnallisen relevanttiuden kokemuksia LUMA-aineita ja LUMA-aineita ja niihin liittyviä opiskelu- ja ammattivalintoja kohtaan.

 Päätavoite on jaettu kolmeen eri osa-alueeseen:

1. 1. Lasten ja nuorten formaalin opetuksen kehittäminen varhaiskasvatuksesta toiselle asteelle.
   2. Kasvatus- ja opetushenkilöstön osaamisen tukeminen varhaiskasvatuksesta korkeakouluihin.
   3. Lasten, nuorten ja perheiden vapaa-ajan non-formaalin tiede ja teknologiakasvatuksen kehittäminen.

Ohjelmaan osallistuvat oppimisyhteisöt kehittävät valitsemaansa oppiainerajojen ylittävään teemaan (Kestävä kehitys, Matematiikka ympärillämme, Teknologia ympärillämme ja Minun LUMAni) liittyen. Opetusta ja oppimista kehitetään tutkimustietoon ja suomalaisiin innovaatioihin pohjautuen. Ohjelmassa luodaan uusia toimintatapoja, malleja, materiaaleja ja yhteisöllistä täsmäkoulutusta opetussuunnitelmien tueksi. Ohjelma tarjoaa mahdollisuuden verkostoitua ja saada näkyvyyttä alueellisesti, kansallisesti ja kansainvälisesti sekä muiden kehittämisyhteisöjen (ts. eri oppiasteita edustavat oppimisyhteisöt) että korkeakoulujen ja työelämän asiantuntijoiden kanssa. Ohjelma yhdistyy myös valtakunnallisiin LUMA-päiviin ja StarT-festareihin. (Ks. https://2020.luma.fi/ajankohtaista/.)

Haastatteluaineiston pohjalta tehdyn analyysin tutkimuskysymykset ovat

1. 1. Kuinka LUMA2020-ohjelmassa kehitettiin sen tavoitteiden mukaisesti
      1. lasten ja nuorten formaalia opetusta varhaiskasvatuksesta toiselle asteelle,
      2. eri oppiasteilla toimivien kasvatus-/opetushenkilöstön osaamista ja
      3. lasten, nuorten ja perheiden vapaa-ajan non-formaalia/informaalia tiede- ja teknologiakasvatustoimintaa?
   2. Kuinka LUMA2020-ohjelmassa edistettiiin alueellisten, valtakunnallisten ja kansainvälisten verkostojen muodostumista?
   3. Millaisia vakiinnutettavissa olevia hyviä käytänteitä ja toimintamalleja hyödynnettiin ohjelman aikana? 
   4. Millaisia ohjelman tavoitteiden toteutumiseen vaikuttavia haasteita ilmeni?
   5. Miten toimintaa voitaisiin kehittää tulevaisuudessa? 

Vastauksia näihin kysymyksiin tarkastellaan etenkin LUMA2020 päätavoitteiden näkökulmasta. 

MENETELMÄ

Analyysi pohjautuu aineistoon, joka kerättiin seitsemässä ryhmähaastattelussa. Osallistujat (yhteensä n = 14) edustivat seitsemää LUMA-keskusta eri puolilta Suomea (LUMA-keskuksia yhteensä 13), mukaan lukien myös ruotsin- ja saamenkielistä oppimisyhteisöistä vastaavat LUMA-keskukset. Osallistujat koostuivat ohjelman teema-alueiden vastuuhenkilöistä ja  ohjelmaan aktiivisesti osallistuvista LUMA-keskusten henkilökunnan edustajista. Haastattelurunko luotiin LUMA2020-ohjelmalle esitettyjen tavoitteiden pohjalta. Se lähetettiin haastateltaville etukäteen tutustuttavaksi. Puolistrukturoidut haastattelut toteutettiin 20.3.-23.4.2020 välisenä aikana. Oppimisyhteisöt olivat juuri siirtyneet etäopiskeluun COVID-19 pandemian aiheuttaman poikkeustilan vuoksi. Vaikka päähuomio oli siinä, miten tavoitteet olivat toteutuneen ennen siirtymistä poikkeustilaan, huomioon otettiin myös sen aiheuttamat muutokset ohjelman toteutuksessa. Haastatteluaineisto analysoitiin aineistolähtöisen temaattisen analyysin keinoin (Braun & Clarke, 2006; Vaismoradi, Jones, Turunen, & Snelgrove, 2016). Tavoitteena oli tunnistaa haastatteluaineistosta LUMA2020-ohjelman vaikuttavuuden kannalta merkityksellisiä teemoja. Haastattelut litteroitiin, jonka jälkeen tekstit luettiin ja niihin merkittiin alustavia huomioita. Tämän jälkeen aineistosta tunnistettiin alustavia merkittäviä ja/tai toistuvia teemoja ja alateemoja. Seuraavaksi alateemoja ryhmiteltiin ja uudelleenryhmiteltiin laajemmiksi temaattisiksi kokonaisuuksiksi. 

TULOKSET

Tässä luvussa esitellään tuloksia tutkimuskysymyksittäin. 

1.1. Kuinka LUMA2020-ohjelmassa kehitettiin lasten ja nuorten formaalia opetusta varhaiskasvatuksesta toiselle asteelle?

LUMA2020-ohjelmassa kehitettiin monipuolisesti erilaisia projekteja, opetusjaksoja/kursseja ja materiaaleja formaaliin opetukseen varhaiskasvatuksesta toiselle asteelle. Haastateltavat nostivat esille erityisesti seuraavanlaisia kehittämistyössä tuettuja lähestymis- ja työskentelytapoja: 

Oppijalähtöisyys ja oppijoiden aktiivinen toimijuus Monialaiset opintokokonaisuudet (MOK) Projektioppiminen Kokemuksellisuus Ilmiöpohjainen oppiminen Tutkiva oppiminen/tutkimuksellinen lähestymistapa

Havainnointi Laboratoriotyöskentely Toiminnallisuus STEAM-lähestymistapa Monimediaisuus Koulun ulkopuolisissa ympäristöissä tapahtuva oppiminen

Luonnontieteitä, matematiikkaa, kestävää kehitystä ja teknologiaa hahmotettiin aiempaa laaja-alaisemmin ja oppijoiden jokapäiväiseen elämään yhteyksiä luoden. Haastateltavat kokivat, että ohjelman toimenpiteet tukivat sen tavoitteiden mukaisesti lasten ja nuorten innostusta ja opiskelumotivaatiota matematiikkaa, luonnontieteitä ja teknologiaa kohtaan. Ohjelmassa onnistuttiin tekemään aiempaa aktiivisempaa kehittämistyötä etenkin varhaiskasvatusyksiköiden kanssa. 

1.2. Kuinka LUMA2020-ohjelmassa kehitettiin eri oppiasteilla toimivien kasvatus- ja opetushenkilöstön osaamista?

Haastateltavat kuvailivat, että LUMA2020-ohjelmassa kehitettiin kasvatus- ja opetushenkilöstön osaamista eri asteilla seuraavilla tavoilla:

• • Annettiin räätälöityä, oikea-aikaista ja henkilökohtaista tukea opettajille heidän valitsemansa projektin toteuttamiseen. 
  • Tarjottiin täydennyskoulutuksia, työpajoja, (verkko)materiaaleja ja esimerkkisessioita oppijoille. 
  • Tuettiin yhteistyötä opettajien välillä järjestämällä vertaistuen mahdollistavia säännöllisiä alueellisia lähi- ja verkkotapaamisia ja luomalla foorumeita (mm. sosiaalinen media) kokemusten ja ideoiden jakamiseen.

Kasvatus- ja opetushenkilöstön osaamisen kehittymistä eri asteilla tuettiin sekä etä- että lähitapaamisissa. Haastateltavat pitivät vierailuja oppimisyhteisöihin erityisen tärkeänä tukimuotona. Näiden vierailujen merkitys korostui erityisesti alueilla, joissa opettajien liikkuvuus on pitkien välimatkojen takia haasteellisempaa. 

Haastateltavat kuvasivat, että niissä LUMA-keskuksissa, jotka ovat kiinteässä yhteydessä opettajankoulutuslaitokseen: 

• • opettajaopiskelijoita osallistui ohjelmaan suorittamalla opintojen käytännönosioita (mm. oppilasryhmien vierailut yliopistolla, vierailut kehittämisyhteisöihin ja opiskelijoille vakiintuneita tehtäviä kuten “StarT-palvelus”) LUMA2020-ohjelman yhteydessä ja
  • jotkin opiskelijoiden opinnäytetyöt yhdistyivät ohjelman toimintaan.

Opettajille tarjottiin myös täydennyskoulutusmahdollisuuksia osana LUMA2020-ohjelmaa. Lisäksi ohjelman koettiiin auttavan tunnistamaan 

• • opettajien täydennyskoulutustarpeita tulevaisuuden täydennyskoulutusten suunnittelua ajatellen ja
  • asiantuntevia opettajia ja tiedekasvattajia, jotka osallistuivat täydennyskouluttamiseen LUMA2020-ohjelman yhteydessä, ja joiden osaamista toivotaan voivan hyödyntää myös jatkossa. 

Yliopistohenkilöstön kouluttautumista tuettiin epäsuorasti työssäoppimisen muodossa. Haastateltavat kuvasivat esimerkiksi

• • saaneensa kokemusta oppimisyhteisöjen ja tiedekasvatuksen todellisuudesta ja erilaisista lainalaisuuksista ja dynamiikasta eri toimijoiden kesken, ja
  • työskentelyn eri asteiden kanssa auttaneen hahmottamaan LUMA-opintojen jatkumoa varhaiskasvatuksesta jatko-opintoihin.

1.3. Kuinka LUMA2020-ohjelmassa kehitettiin lasten, nuorten ja perheiden vapaa-ajan non-formaalia tiede- ja teknologiakasvatustoimintaa?

Haastateltavat toivat esille seuraavanlaisia ohjelmassa toteutettuja konkreettisia vapaa-ajan non-formaalia tiede- ja teknologiakasvatusta kehittäviä toimenpiteitä:

• • tiedeleirien ja ohjelmointileirien kehittäminen;
  • sekä LUMA-keskuksissa että oppimisyhteisöissä järjestettävän kerhotoiminnan kehittäminen (mm. tiedekerhot, (tyttöjen)teknologiakerhot, ohjelmointikerhot, robotiikkakerhot, virtuaalinen rakettikerho);
  • lasten ja nuorten kuvataidekoulun luonnontieteitä ja taidetta yhdistävät projektit;
  • opettajien tutustumiskäyntejä luonto- ja tiedekeskuksiin yhteyksien luomiseksi; ja
  • päiväkodin tiloissa hoitopäivän jälkeen toimiva tiedekahvila lapsille ja heidän vanhemmilleen.

Perheet (erityisesti lasten huoltajat) olivat aktiivisesti mukana etenkin varhaiskasvatuksen projekteissa.

2. Kuinka LUMA2020-ohjelma edisti alueellisten, valtakunnallisten ja kansainvälisten verkostojen muodostumista?

Haastatteluissa tuli esille seuraavanlaisia LUMA2020-ohjelmassa edistettyjä alueellisten ja valtakunnallisen verkostojen muotoja:

• • Kehittämisyhteisöiden ja LUMA-keskusten välinen yhteistyö, mm
    • uusien oppimisyhteisöjen tavoittaminen,
    • molemminpuoliset vierailut
    • materiaalien jakaminen
    • varuste/välinelainaukset, ja
    • olemassa olevien verkkokurssien ja materiaalien esittely ja suosittelu.

• • Kehittämisyhteisöiden ja korkeakoulujen välinen yhteistyö, mm.
    • yliopistoluentosarjojen kehittäminen lukiolaisille,
    • opettaja- ja teekkariopiskelijoiden osallistuminen kehittämisyhteisöjen toimintaan,
    • yliopiston asiantuntijavieraat opettajille ja oppijoille
    • vierailut yliopistolle ja yliopistojen kenttäasemille, 
    • LUMA-keskuksen, ammattikorkeakoulun ja lukion välinen kehittämisyhteistyö, ja
    • ohjelmaan ja kehittämisyhteisöiden projekteihin liittyvä tutkimustyö (opinnäytetyöt ja väitökset).

• • Kehittämisyhteisöiden välinen yhteistyö, mm. 
    •  alueelliset lähi- ja verkkotapaamisia sekä valtakunnalliset etätapaamiset,
    • yhteydenpito sosiaalisessa mediassa, ja
    • kehittämisyhteisöiden väliset yhteistyöprojektit.

• • Varhaiskasvatuksen, peruskoulujen, lukioiden ja ammatillisten oppilaitosten välinen yhteistyö, mm.
    • esikoululaisryhmän ja ensimmäisen luokan välinen yhteistyö, 
    • ammattikoululaisten ja lukiolaisten päiväkotivierailut ja yhteistyö päiväkotien kanssa,
    • ala- ja yläkoululaisten yhteiset oppimiskokonaisuudet, yhteiset opetustuokiot ja yhteispäivät,
    • alakoulun ja lukion välinen yhteistyö, ja
    • lukion ja ammatillisen oppilaitoksen yhteistyöprojekti.

• • Kehittämisyhteisöiden ja elinkeinoelämän/työelämän/yritysten välinen yhteistyö, mm.
    • etsittiin aktiivisesti yhteyshenkilöitä oppimisyhteisöjen ulkopuolisten tahojen kanssa yhteistyön mahdollistamiseksi,
    • järjestettiin kehittämisyhteisöjen vierailuja elinkeinoelämän kohteisiin,
    • tehtiin asiantuntijavierailuja kehittämisyhteisöihin, ja
    • luotiin elinkeinoelämään ja yritystoimintaan yhdistyviä projekteja.

• • LUMA-keskusten välinen yhteistyö LUMA-yhteyshenkilöiden kesken, mm.
    • saatiin lisäresursseja useampien LUMA-keskuksen edustajien valtakunnalliseen yhteistyöhön osallistumiseen, ja
    • välitettiiin tietoa ja tehtiin yhteistyötä kansallisesti lähitapaamisissa ja verkossa.

• • Opettajankoulutuslaitoksen, ainetiedekuntien, harjoittelukoulujen, ammattikorkeakoulujen ja ammatillisen opettajankoulutuksen välinen kehitysyhteistyö, mm.
    • yliopiston ja ammattikorkeakoulun luonnontieteellisten aineiden opettajien väliset “ajatustenvaihtopäivät”, ja
    • LUMA-keskuksen, ammattikorkeakoulun ja lukion välinen kurssin kehittämisyhteistyö.

• • Kansainvälisten verkostojen muodostumista tuettiin esimerkiksi 
    • tekemällä kansainvälistä yhteistyötä oppimisyhteisöjen projektien kehittämisessä (mm. ruotsin- ja saamenkielinen maiden rajat ylittävä yhteistyö, ystävyyskoulutoiminta),
    • kääntämällä tuotettuja materiaaleja englanniksi ja saamen kielille, ja
    • tarjoamalla kehittämisyhteisölle mahdollisuus osallistua kansainväliseen StarT-kilpailuun.

Haastateltavat kokivat, että parhaiten oltiin onnistuttu alueellisten verkostojen luomisessa ja alueellisen toiminnan järjestämisessä.

3. Millaisia vakiinnutettavissa olevia hyviä käytänteitä ja toimintamalleja hyödynnettiin ohjelman aikana? 

Haastateltavat nimesivät seuraavanlaisia ohjelmassa hyödynnettyjä, vakiinnutettavissa olevia hyviä käytänteitä ja toimintamalleja:

• • Pitkäkestoisen ja räätälöidyn tuen tarjoaminen opettajille mahdollisti opettajien tarpeisiin vastaamisen, kehittämisyhteisöjen ja opettajien ehdoilla etenemisen sekä tiiviin yhteistyön opettajien kanssa. 
  • Korkeakouluopiskelijoiden osallistaminen toimintaan esimerkiksi tarjoamalla heille mahdollisuutta harjoitteluun, opinnäytetyön tekoon, opintopisteisiin tai palkkaan/palkkioon. 
  • Kehittämisyhteisöjen toiminnan kustannustehokkuuden lisääminen vierailemalla kehittämisyhteisöissä ja pitämällä verkkotapaamisia sen sijaan, että kehittämisyhteisöjen edustajien pitäisi liikkua. 
  • Joustavuus ohjelman tavoitteissa: Osallistujat saivat itse määritellä, kuinka pitkälle he vievät kehittämistyötään. 
  • Kehittämisyhteisöjen johdon sitoutumisen merkitys ohjelman tavoitteiden toteutumiseksi: On tärkeää, että opettajille vapautetaan työaikaa ohjelmaan osallistumiseen. Parhaimmillaan johdon edustajia on myös aktiivisesti mukana ohjelmassa.
  • Opettajien välisen vertaistuen mahdollistaminen koettiin ylhäältä alas suunnatun tuen tarjoamista tehokkaammaksi.
  • Panostaminen varhaiskasvatukseen ja peruskoulun ensimmäisten vuosiluokkien toimintaan LUMA-aineiden oppimiseen innostamiseksi ja motivoimiseksi ja varhain kehittyvien kielteisten LUMA-käsitysten ja tasoerojen kitkemiseksi.
  • LUMA-toiminnan hahmottaminen jatkumona varhaiskasvatuksesta aikuisoppimiseen esimerkiksi järjestämällä yhteisiä tapaamisia eri asteiden edustajien välillä pitkän linjan suunnitelmien laatimiseksi. 
  • Jatkumon vaaliminen LUMA-keskusten henkilöstön eri työtehtävien ja eri projektien välillä esimerkiksi varmistamalla, että yksittäiset työtehtävät ja projektit liittyvät mielekkäästi toisiinsa. 
  • Eri teema-alueittain työskentely tiettyyn teemaan keskittymisen ja syventymisen mahdollistajana. 
  • Toiminnan kansainvälisyyden kehittäminen esimerkiksi kääntämällä tuotettuja materiaaleja englanniksi ja liittämällä kansainvälinen StarT-kilpailu osaksi LUMA2020-ohjelmaa. 
  • Toiminnan vaikuttavuuden sekä määrällinen että laadullinen arviointi toiminnan kehittämisen apuvälineenä.

Haastateltavat nimesivät lisäksi seuraavanlaisia vakiinnutettavissa olevia toimintamalleja, joita (edelleen)kehitettiin LUMA2020-ohjelman aikana

Malli projektien kehittämiseen, raportointiin ja jakamiseen Materiaalit ja ohjeet opettajille sisältävä “itsepalvelutiedeluokka” Välinelainat yliopistolta oppimisyhteisöille  Tutkiva oppiminen lukioissa (“Öppna laborationer”) Malli toiminnallisten työohjeiden laatimiseksi Virtuaalikerhomalli Tutkijakoulumalli LUMA-vuosikello

Lukioiden ja yliopistojen välinen yhteistyö yliopistoluentojen järjestämiseksi lukiolaisille Tiedekerho, jossa vanhemmat oppijat ohjaavat nuorempia oppijoita Luonnontieteiden työelämäyhteyksiä esittelevä “science café” Tiedemessut Oppimisyhteisön LUMA-päivät/viikko Vapaasti käytettävissä olevat, luokka-asteittain jäsennetyt, korkeatasoiset ja opettajille mielekkäät verkkokurssit

4. Millaisia ohjelman tavoitteiden toteutumiseen vaikuttavia haasteita ilmeni?

Haastateltavat olivat yksimielisiä siinä, että LUMA2020-ohjelman haasteellisin aspekti oli ohjelman lyhytkestoisuus ja niukat resurssit. Kuvattiin seuraavanlaisia aikataulu- ja resurssihaasteita ohjelman suunnitteluun ja toteutukseen liittyen:

• • Vähäinen suunnitteluaika: Olisi tarvittu enemmän aikaa yhteiseen toiminnan suunnitteluun sekä LUMA-keskusten että kehittämisyhteisöjen kanssa.
  • Paljon tavoitteita ohjelman kestoon ja resursseihin nähden: Lyhyessä ajassa oli haastavaa edetä projektien suunnittelusta ja toteutuksesta niiden jakamiseen ja levittämiseen verkossa. Lisäksi pienempien LUMA-keskusten oli haastava osallistua neljän erillisen teema-alueen toimintaan.
  • LUMA-keskusten välisen yhteisen ajan vähäisyys: Oli haasteellista sovittaa aikataulut ja löytää aikaa valtakunnalliseen yhteistyöhön LUMA-keskusten välillä.
  • Tasapainottelu eri työtehtävien välillä: Koettiin haasteellisena työskennellä yhtäaikaisesti eri tehtävissä ja projekteissa. Tämä vaikeutti myös sen hahmottamista, mikä voidaan lukea LUMA2020-ohjelman vaikuttavuudeksi ja mikä on yleisemmin LUMA-keskuksen vaikuttavuutta. 
  • Yhteistyö opettajankoulutuksen kanssa: Tarvittaisiin lisää resursseja syvempien yhteyksien luomiseen opettajankoulutukseen ja vielä erityisemmin ammatilliseen opettajankoulutukseen.
  • Täydennyskoulutusmahdollisuudet: Etenkin niissä LUMA-keskuksissa, joilla ei ole kiinteää yhteyttä opettajankoulutukseen, on haastavaa tarjota virallista täydennyskoulutusta. Koettiin myös, että varhaiskasvatuksen henkilökunnalla on muihin oppiasteisiin verraten vähemmän mahdollisuuksia valita vapaasti täydennyskoulutusta. 
  • Lukuvuoden rytmin huomioiminen: Ohjelman käynnistyessä useat kehittämisyhteisöt olivat jo suunnitelleet tulevan lukuvuotensa. Myös syys- ja talvilomien eriaikaisuus eri alueilla vaikeutti valtakunnallisen toiminnan aikatauluttamista.
  • Kasvatus- ja opetushenkilöstön tiukat aikataulut: Koulun ulkopuoliseen yhteistyöhön ei jää usein riittävästi aikaa kiireisessä arjessa.
  • Kehittämisyhteisöjen niukat resurssit: Kasvatus- ja opetushenkilöstöllä ei ollut aina tarvittavia teknologioita. Ryhmäkoot olivat paikoin suuria kokeellisten töiden tekemiseen.
  • Jatkuvuuden varmistaminen: Haasteena on se, millä resursseilla saavutettuja toimintoja ja laajentuneita verkostoja ylläpidetään ohjelman päätyttyä.

Aikatauluihin ja resursseihin liittyvien haasteiden lisäksi mainittiin seuraavanlaisia ohjelman tavoitteiden toteutumiseen vaikuttaneita haasteita:

• • Vähemmän aktiivisten oppimisyhteisöjen tavoittaminen: Vaikka ohjelman aikana onnistuttiin tavoittamaan uusia oppimisyhteisöjä, koettiin, että resurssit suunnattiin edelleen suhteellisen rajalliselle määrälle aktiivisia osallistujia. Erityisesti yhteistyö ammatillisten oppilaitosten kanssa jäi vähäiseksi.
  • Sidosryhmien osallistaminen: Erityisesti kaupallisten toimijoiden motivointi ja sitouttaminen yhteistyöhön oli haasteellista. Samoin asiantuntijoiden kontaktoinnissa ja asiantuntijavierailujen järjestämisessä kehittämisyhteisöihin oli vaikeuksia.
  • Kielimuurit: Yhteistyö ja verkoston vahvistaminen etenkin suomen- ja ruotsinkielisten opettajien välillä koettiin haasteellisena.

5. Miten toimintaa voitaisiin kehittää tulevaisuudessa? 

Haastatteluissa tuli esiin useita ehdotuksia projektisuunnittelun kehittämiseksi. Näitä ovat:

• • Ajan varaaminen valtakunnalliseen yhteissuunnitteluun ohjelman tavoitteiden ja toiminnan konkretisoimiseksi ja alueellisten erojen huomioimiseksi.
  • Ruohonjuuritason toimijoiden kuuleminen: Koettiin, että on tärkeää, että paikalliset LUMA-toimijat kuulevat alueensa oppimisyhteisöjä ja että paikallisia LUMA-toimijoita kuunnellaan valtakunnallisesti.
  • Tavoitteiden asettelu suhteessa ohjelman kestoon: Olisi tärkeä rajata tavoitteet realistisesti ohjelman kestoa ajatellen ja keskittyä muutaman tavoitteen toteuttamiseen syvällisesti sen sijaan että yritetään tehdä paljon nopealla aikataululla.
  • Pidemmät rahoituskaudet vaikuttavuuden takaamiseksi: Esimerkiksi laadukkaiden tuotosten kehittäminen ja jakaminen vaatii useita iteraatioita.

Seuraavanlaiset kehittämistarpeet koettiin tärkeiksi ohjelman vaikuttavuuden varmistamiseksi pitkällä aikavälillä:

• • Tuki projektien ylläpitoon ja jakamiseen sekä oman kehittämisyhteisön että muiden kehittämisyhteisöjen välillä. 
  • Tuki kehitettyjen verkkomateriaalien käyttöönottoon ja käyttöön.
  • Jatkuvuuden varmistaminen eri ohjelmien ja toimenpiteiden välillä edelleen kehittämällä toimintoja ja rakentamalla uutta toimintaa aikaisempien toimintojen pohjalle.

Haastatteluissa korostettiin seuraavia kehittämistarpeita oppimisyhteisöjen osallistumisen ja yhteistyön tukemiseksi:

• • Resurssien varaaminen osallistujien rekrytointiin: Tulisi panostaa etenkin vähemmän aktiivisten oppimisyhteisöjen ja opettajien osallistumiseen innostamiseen. 
  • Valtakunnallisen yhteistyön laajentaminen  esimerkiksi ottamalla käyttöön matalan kynnyksen tutustumisalustoja (mm. somekeskusteluryhmiä).
  • Opettajien osallistumisen tukeminen varmistamalla, että toiminta on integroitu osaksi heidän työtään/täydennyskouluttautumista ja että oppimisyhteisön johto tukee kehittäjäopettajien työtä mm. huolehtimalla sijaisjärjestelyistä ja mahdollisista kilometrikorvauksista. 
  • Kehittämisyhteisöjen resurssointi: Olisi tärkeä hankkia oppimisyhteisöille lisäresursseja toimintaan, esimerkiksi omaa rahoitusta LUMA-ohjelmiin osallistumisen tueksi. 

Erityisesti seuraavissa yhteistyömuodoissa nähtiin vielä kehitettävää:

• • eri oppiasteiden välinen yhteistyö,
  • yhteistyö ammatillisten oppilaitosten ja ammatillisen opettajankoulutuksen kanssa,
  • huoltajien ja muiden perheenjäsenten osallistamisen vahvistaminen etenkin muualla kuin varhaiskasvatuksessa,
  • yhteistyö kaupallisten tahojen kanssa,
  • kehitysyhteistyö eri korkeakoulujen ja korkeakouluyksiköiden kesken (mm. opettajankoulutuslaitokset, ainetiedekunnat, harjoittelukoulut, ammattikorkeakoulut ja ammatillinen opettajankoulutus), 
  • eri kieliryhmien  (suomen, ruotsin ja saamen kielet) välinen yhteistyö, ja
  • kansainvälinen yhteistyö.

Koettiin, että LUMA2020-ohjelmassa tuotettuja materiaaleja voisi kehittää edelleen esimerkiksi seuraavilla tavoilla:

• • Ohjeistuksen laatiminen kehitettyjen materiaalien käyttöön erityisesti opettajille, joilla ei ole aiempaa kokemusta vastaavista projekteista. 
  • Eri kieliversioiden tuottaminen kotimaisille kielille (suomi, ruotsi, saamen kielet) sekä muille kielille.
  • Laajempien materiaalikokonaisuuksien luominen: Opettajien tuottamia ja testaamia materiaaleja voitaisiin yhdistää vielä laajemmiksi kokonaisuuksiksi.

Lisäksi haastatteluissa ehdotettiin, että LUMA-keskusten tulevassa toiminnassa kehitettäisiin seuraavanlaisia yksittäisiä seikkoja:

• • Opettajien täydennykoulutusmahdollisuuksien lisääminen niiden LUMA-keskusten alueilla, joilla ei ole yliopistollisista opettajakoulutusta.
  • Tutoropettajamallin soveltaminen LUMA-toimintaan: Tietyille opettajille varattaisiin enemmän aikaa suunnittelu- ja kehittämistyöhön, muiden opettajien tukemiseen ja eri oppimisyhteisöjen tutor-opettajien väliseen yhteistyöhön.
  • Asiantuntijoiden yhteystietopankin (edelleen)kehittäminen oppimisyhteisöjen kanssa yhteistyöstä kiinnostuneiden asiantuntijoiden, luennoitsijoiden ja organisaatioiden kokoamiseksi. Myös esimerkiksi oppijoiden LUMA-aloilla työskenteleviä vanhempia voitaisiin osallistaa toimintaan elinkeinoelämäyhteistyön lisäämiseksi. 
  • Tiedeluokkatoiminnan käynnistäminen niissä LUMA-keskuksissa, joissa toimintaa ei vielä ole (vaihtoehtona myös eräänlainen virtuaalitiedeluokka/laboratorio etenkin alueilla, joilla etäisyydet LUMA-keskuksiin ovat pitkiä).
  • Opettajien teknologiakasvatuksen osaamisen kehittäminen ja sitä kautta oppijoiden osaamisen varmistaminen (tärkeää etenkin korkeakouluille, joilla on tekniikan alan koulutusta).
  • StarT-toiminnan kehittäminen entistä kiinnostavammaksi matalan kynnyksen ohjelmaksi opettajille. StarT-tapahtumien ja muiden tiedetapahtumien välisen synergian löytäminen sen sijaan, että toiminta koetaan päällekkäisenä.

COVID-19 -poikkeustilan aiheuttamia muutoksia ohjelman toteutuksessa

Vaikka haastattelujen fokus oli siinä, mitä LUMA2020-ohjelmassa oltiin saavutettu ennen COVID-19 pandemian aiheuttamaa poikkeustilaa ja etäopetukseen siirtymistä, haastateltava kuvasivat seuraavanlaisia tästä ulkoisesta tekijästä johtuvia odottamattomia muutoksia toiminnassa:

• • Joitakin aktiviteetteja (mm. lähitapaamisia, vierailuja, tapahtumia) jouduttiin perumaan.
  • Useat oppimisyhteisöt olivat jo ehtineet suunnitella tai toteuttaa projektinsa tätä ennen, mutta joissakin tapauksissa työ keskeytyi.
  • Yliopisto-opiskelijoiden osallistaminen ohjelmaan jäi vähemmälle poikkeustilanteesta johtuen. 
  • Kansainvälinen yhteistyö jäi vähäisemmäksi.
  • Opettajat nähtiin työllistettyinä ja uupuneina tilanteen vuoksi. Tästä syystä huolehdittiin myös siitä, että heitä ei rasitettaisi ylimääräisellä työllä.

Poikkeustilan seurauksena syntyi myös vaihtoehtoisia toimintamuotoja:

• • Ohjelmaan liittyvää toimintaa (mm. StarT-aluefestarit, LUMA-päivät, kansainvälinen StarT gaala) järjestettiin virtuaalisina. 
  • Opettajia aktivoitui keskustelemaan sosiaalisessa mediassa siitä, miten työskennellä LUMA-ohjelman tavoitteiden toteutumiseksi pienemmissä ryhmissä tai kotoa käsin. 

LOPUKSI

Haastattelujen perusteella voidaan todeta, että LUMA2020-ohjelmassa onnistuttiin kehittämään (1.1.) lasten ja nuorten formaalia opetusta varhaiskasvatuksesta toiselle asteelle ja (1.2.) eri asteita edustavien kasvatus- ja opetushenkilöstön osaamista. Ohjelmassa luotiin sen tavoitteiden mukaisesti uusia toimintatapoja, malleja, materiaaleja ja yhteisöllistä täsmäkoulutusta opetussuunnitelmien tueksi. Parhaiten onnistuttiin lisäämään yhteistyötä varhaiskasvatuksen oppimisyhteisöjen kanssa. Ammatillisten oppilaitosten ja ammatillisen opettajankoulutuksen kanssa yhteistyö jäi sen sijaan vähäisimmäksi. Ohjelmassa myös kehitettiiin sen tavoitteiden mukaisesti (1.3.) lasten, nuorten ja perheiden vapaa-ajan non-formaalia tiede- ja teknologiatoimintaa, kuten kerhoja ja leirejä. Formaalin opetukseen yhdistyvää toimintaa oli kuitenkin huomattavasti enemmän kuin non-formaalia toimintaa. Huoltajien ja muiden perheenjäsenten osallistamisessa onnistuttiin parhaiten varhaiskasvatuksen parissa.

Ohjelmassa onnistuttiin (2) alueellisten, valtakunnallisten ja kansainvälisten verkostojen kehittämisessä. Ohjelma tarjosi sen tavoitteiden mukaisesti mahdollisuuksia verkostoitua ja saada näkyvyyttä alueellisesti, kansallisesti ja kansainvälisesti sekä muiden kehittämisyhteisöjen että korkeakoulujen ja työelämän asiantuntijoiden kanssa. Haastatteluaineiston pohjalta parhaiten onnistuttiin alueellisessa kehittämisessä. Ohjelma yhdistyi myös valtakunnallisiin LUMA-päiviin ja alueelliseen, kansalliseen ja kansainväliseen StarT-toimintaan. Yksi parhaita (3) vakiinnutettavissa olevia hyviä käytänteitä ja toimintamalleja oli kasvatus- ja opetushenkilöstölle tarjottu pitkäkestoinen ja räätälöity tuki. Pidettiin myös tärkeänä, että LUMA-toimintaa hahmotetaan jatkumona varhaiskasvatuksesta aikuisoppimiseen ja että yksittäiset ohjelmat liittyvät mielekkäästi toisiinsa. Merkittävin (4) ohjelman tavoitteiden toteuttamiseen vaikuttanut haaste oli ohjelman lyhytkestoisuus ja niukat resurssit sen tavoitteisiin nähden. Koettiin, että (5) toimintaa voitaisiin kehittää tulevaisuudessa esimerkiksi varaamalla enemmän aikaa toiminnan valtakunnalliseen suunnitteluun ja oppimisyhteisöjen osallistamisen ja yhteistyön laajentamiseen.

Kuinka haastetteluaineiston perusteella LUMA2020-ohjelman voidaan nähdä vastanneen sen päätavoitteisiin eli 3–19-vuotiaiden lasten ja nuorten innostuksen ja opiskelumotivaation tukemiseen matematiikkaa, luonnontieteitä ja teknologiaa kohtaan ja matematiikan, luonnontieteiden ja teknologian opetuksen ja oppimisen laadun kehittämiseen aina varhaiskasvatuksesta korkeakouluihin? Onko pystytty vahvistamaan erityisesti henkilökohtaisen, ammatillisen ja yhteiskunnallisen relevanttiuden kokemuksia LUMA-aineita ja LUMA-aineita ja niihin liittyviä opiskelu- ja ammattivalintoja kohtaan?

Aiemman tutkimuksen perusteella (ks. Murphy, MacDonald, Wang & Danaia, 2019; Osborne, Simons & Collins, 2003; Potvin & Hasni, 2014; Tseng, Chang, Lou & Chen, 2013; ks. myös Ryan & Deci, 2000) lasten ja nuorten matemaattisia, tieteellisiä ja teknologisia aineita ja uravalintoja kohtaan kokemaa kiinnostusta, motivaatiota, myönteistä asennetta ja sitoutumista voidaan edistää 

• • tarjoamalla korkealaatuista opetusta, 
  • vahvistamalla oppimisen omaehtoisuutta ja itseohjautuvuutta,
  • tukemalla oppijoiden minäpystyvyyttä, myönteistä minäkäsitystä, kyvykkyyden kokemuksia ja kasvun ajattelutapaa,
  • lisäämällä kokemuksia opitun merkityksellisyydestä ja arvosta henkilökohtaisten tarpeiden tai tavoitteiden täyttämiseksi, 
  • kerryttämällä positiivisia ja uudenlaisia kokemuksia sekä koulussa että sen ulkopuolella (esim. leirit), 
  • vähentämällä oppimisen ahdistavuutta,
  • suosimalla yhteisöllisen, tutkivan ja  projektioppimisen malleja, 
  • tarjoamalla mahdollisuuksia käytännöntyöskentelyyn, 
  • linkittämällä oppiminen tosielämän esimerkkeihin, ja
  • tekemällä yhteistyötä koulun ulkopuolisten asiantuntijoiden kanssa .

LUMA2020-ohjelman tuotosten voidaan nähdä edistävän tämänkaltaisia opettamisen ja oppimisen lähestymistapoja ja siten kontribuoivan kiinnostuksen, motivaation, myönteisen asenteen ja sitoutumisen kehittymiseen LUMA-aineita ja niihin liittyviä opiskelu- ja ammattivalintoja kohtaan (henkilökohtainen, ammatillinen ja yhteiskunnallinen relevanssi). On kuitenkin tärkeää, että LUMA2020-ohjelman tuotoksia jatkokehitetään edelleen kaikilla oppiasteilla tämänkaltaiset tavoitteet silmämääränä.

Haastatteluaineiston analyysin perusteella LUMA2020-ohjelmassa on lisäksi onnistuttu vastaamaan kansainvälisissä tutkimuksissa kuten 4. ja 8. luokan oppilaiden matematiikan ja luonnontieteiden osaamista arvioivassa “Trends in International Mathematics and Science Study” eli TIMSS-tutkimuksissa Suomessa tunnistettuihin haasteisiin (Kupari, Vettenranta & Nissinen, 2012; Kupari, Sulkunen, Vettenranta & Nissinen, 2012; Vettenranta, Hiltunen, Nissinen, Puhakka & Rautopuro, 2016). On esimerkiksi,

• • luotu uudenlaisia täydennyskoulutusmahdollisuuksia opettajille,
  • kehitetty ja monipuolistettu matematiikan ja luonnontieteiden opetusta ja näin lisätty sen kiinnostavuutta ja sitouttavuutta, ja
  • lisätty opitun soveltamista oppijoiden omaan maailmaan luomalla yhteyksiä koulujen ulkopuolisiin tahoihin.

Tulevaisuudessa voitaisiiin kiinnittää lisäksi vielä enemmän huomiota erityisesti poikien osaamisen tukemiseen, vanhempien roolin kasvattamiseen varhaisten oppimiskokemusten luomisessa (myös varhaiskasvatuksen ulkopuolella) ja omaan oppimiseen luottamisen kasvattamiseen (ks. Kupari et al., 2012a, 2012b; Vettenranta et al., 2016).

Haastatteluaineiston pohjalta voidaan todeta, että LUMA2020-ohjelma on myös vahvistanut korkeakoulujen matemaattis-luonnontieteellisen opetuksen ja oppimisen sisältöjä ja menetelmiä opettajankoulutuksessa (varhaiskasvatus, luokanopetus, erityisopetus, aineenopetus, yliopistojen antama opettajankoulutus), mutta opettajankoulutusyhteistyötä olisi hyvä vielä syventää jatkossa. Samoin kehittämistyötä yliopistojen matemaattis-luonnontieteellisten/teknillisten ainetiedekuntien, opettajankoulutuslaitosten ja harjoittelukoulujen sekä ammattikorkeakoulujen ja ammatillisen opettajankoulutuksen kesken kuten myös yliopistojen henkilöstön omaa kouluttautumista ja osaamista tulisi vielä systemaattisemmin kehittää. Lisäksi erityisesti ammatillisen opettajankoulutuksen kanssa tulisi luoda enemmän yhteistyötä. Tulevissa ohjelmissa voitaisiin myös edelleen kehittää kasvatus- ja opetusalan henkilöstön koulutuksellista jatkumoa, jossa peruskoulutuksesta edetään noviisivaiheen kautta jatkuvaan oman osaamisen kehittämiseen koko työuran ajan. 

Tämä raportti pyrkii kontribuoimaan LUMA-keskus Suomen toiminnan tuloksellisuuden ja vaikuttavuuden kasvattamiseen esimerkiksi auttamalla tunnistamaan vaikuttavia toimintaprosesseja, tunnistamalla toisaalta hyviä käytänteitä ja vakiinnutettavia toimintatapoja ja toisaalta haasteita ja kehittämiskohteita vaikuttavuuden lisäämiseksi. On kuitenkin haasteellista tunnistaa lyhytkestoisen ohjelman yhteyksiä lasten ja nuorten sekä toisaalta eri asteiden kasvatus- ja opetushenkilöstön matemaattis-luonnontieteellisen osaamiseen ja opiskeluun/kouluttautumiseen. Myöskään suoraa yhteyttä oppimisen taustatekijöiden, kuten arvojen, asenteiden ja motivaation kehittymiseen ei ole helppo osoittaa. Haastatteluaineiston pohjalta voidaan kuitenkin todeta, että LUMA2020-ohjelman toimenpiteet on suunnattu tukemaan juuri näitä tavoitteita. Tulevaisuudessa olisi tärkeää arvioida monimenetelmäisesti, eri kohderyhmien näkökulmista (kasvatus- ja opetushenkilöstö, oppijat, huoltajat) ja pidemmällä aikavälillä LUMA-keskus Suomen ja sen eri ohjelmien vaikuttavuutta näistä näkökulmista. 

Lähteet

Braun, V. & Clarke, V. 2006. Using thematic analysis in psychology. Qualitative Research in Psychology, 3 (2), 77—101. 

Engeström, Y., Kerosuo, H. & Kajamaa, A. (2008). Vaikuttavuuden arvioinnista seuraamusten tutkimukseen. Teoksessa Mäkitalo J., Turunen J. & Vilkkumaa I. (2008). Vaikuttavuus muutoksessa, s. 19-44, Verve. Kalevaprint Oy 2008.

Gertler, P. J., Martinez, S., Premand, P., Rawlings, L. B., & Vermeersch, C. M. (2016). Impact evaluation in practice. The World Bank.

Kreber, C., Brook, P., & Policy, E. (2001). Impact evaluation of educational development programmes. International Journal for Academic Development, 6(2), 96-108.

Kuitunen, S. & Hyytinen, K. (2004). Julkisten tutkimuslaitosten vaikutusten arviointi. Käytäntöjä, kokemuksia ja haasteita. VTT Tiedotteita 2230.

Kupari, P., Vettenranta, J., & Nissinen, K. (2012). Oppijalähtöistä pedagogiikkaa etsimään: kahdeksannen luokan oppilaiden matematiikan ja luonnontieteiden osaaminen: kansainvälinen TIMSS-tutkimus Suomessa.

Kupari, P., Sulkunen, S., Vettenranta, J., & Nissinen, K. (2012). Enemmän iloa oppimiseen: neljännen luokan oppilaiden lukutaito sekä matematiikan ja luonnontieteiden osaaminen: kansainväliset PIRLS- ja TIMSS-tutkimukset Suomessa.

Murphy, S., MacDonald, A., Wang, C. A., & Danaia, L. (2019). Towards an understanding of STEM engagement: A review of the literature on motivation and academic emotions. Canadian Journal of Science, Mathematics and Technology Education, 19(3), 304-320.

Osborne, J., Simon, S., & Collins, S. (2003). Attitudes towards science: A review of the literature and its implications. International journal of science education, 25(9), 1049-1079.

Potvin, P., & Hasni, A. (2014). Interest, motivation and attitude towards science and technology at K-12 levels: a systematic review of 12 years of educational research. Studies in science education, 50(1), 85-129.

Ryan, R. M., & Deci, E. L. (2000). Self-determination theory and the facilitation of intrinsic motivation, social development, and well-being. American psychologist, 55(1), 68.

Räkköläinen, M., & Meriläinen, R. (2014). Koulutuksen vaikuttavuus–mitä se oikein on. Ammattikasvatuksen aikakausikirja, 16(2), 4-11.

Tseng, K. H., Chang, C. C., Lou, S. J., & Chen, W. P. (2013). Attitudes towards science, technology, engineering and mathematics (STEM) in a project-based learning (PjBL) environment. International Journal of Technology and Design Education, 23(1), 87-102.

Vaismoradi, M., Jones, J., Turunen, H., & Snelgrove, S. (2016). Theme development in qualitative content analysis and thematic analysis.

Vettenranta, J., Hiltunen, J., Nissinen, K., Puhakka, E., & Rautopuro, J. (2016). Lapsuudesta eväät oppimiseen: neljännen luokan oppilaiden matematiikan ja luonnontieteiden osaaminen: kansainvälinen TIMSS-tutkimus Suomessa.