Does teacher effort respond to evaluation??: Evidence from a policy allowing low-scoring students to be re-tested (2017-2019)
Jacobs Foundation
Tutkimuksemme painopiste on siinä, vaikuttavatko arviointi- ja tilivelvollisuusohjelmien kannustimet opettajien työpäätöksiin ja siten oppilaiden oppimiseen ja miten ne vaikuttavat. Ehdotetussa hankkeessa ensisijainen tavoitteemme on empiirinen: arvioimme yhden tilivelvollisuuspolitiikan muutoksen, joka sallii koulujen testata uudelleen oppilaat, jotka alun perin eivät läpäise koetta, kausaalivaikutusta kaikkien oppilaiden koetulosten kasvuun. Uudelleentestaus vaikuttaa kahteen opettajien tekemään päätökseen, jotka ovat kriittisiä oppilaiden oppimisen kannalta: (i) miten opettajat jakavat aikansa, ponnistelunsa ja huomionsa eri oppilaiden kesken ja (ii) valitsevatko opettajat testiin soveltuvia opetusstrategioita, jotka lisäävät koetuloksia ilman, että oppiminen lisääntyy yhtä paljon. Ehdotamme, että tutkimme yli kymmenen vuoden ajan kerättyjä tietoja Pohjois-Carolinasta, jossa opettajat ja koulut ovat vastuussa siitä, kuinka suuri osa oppilaista läpäisee loppuvuoden kokeet. Vuosina 2009-2012 koulut testasivat uudelleen oppilaat, jotka eivät alun perin läpäisseet kokeita, ja sen jälkeen vastuullisuusmittauksessa käytettiin vain alkuperäisen kokeen ja uusintakokeen tuloksista korkeampaa tulosta. Arvioimme uusintakokeiden vaikutuksen kaikkiin oppilaisiin suoritusten jakaumassa, emme vain uusintakokeiden kohteena oleviin oppilaisiin kohdistuvaa vaikutusta. Yksi hypoteesi on esimerkiksi se, että uusintakokeet vähentävät painetta keskittää opetustyötä kohtuuttomasti marginaalisiin oppilaisiin, jotka saattavat läpäistä tai olla läpäisemättä alkuperäistä koetta edeltävien kuukausien aikana, ja näin ollen opettajat voivat ponnistella suhteellisesti enemmän marginaalisten oppilaiden hyväksi, mukaan luettuina ne hyvin menestyvät oppilaat, joilla on vain pieni riski reputtamisesta.
Opettajien arviointia koskevien tietojen käyttäminen opetuksen parantamiseen: Evidence from the Evaluation Partnership Program in Tennessee (2015-2020)
IES
The Evaluation Partnership Program (EPP), jota Tennesseen opetusministeriö (TDOE) parhaillaan laajentaa koko osavaltion laajuiseksi, on suunniteltu parantamaan pysyvästi opettajien työsuoritusta yhdistämällä opettajat vuoden mittaisiin työparityöskentelykumppanuuksiin, joissa keskitytään käsittelemään suorituspalautetta, jota he saavat muodollisesta, luokkahuonehavaintoihin perustuvasta arvioinnista. Lyhyesti sanottuna opettaja, jolla on heikot arviointipisteet tietyllä opetuskäytännön osa-alueella (esim. kysymysten esittäminen tai oppitunnin rakenne ja tahdistaminen), yhdistetään samassa koulussa toimivaan kumppanuusopettajaan, jolla on korkeat arviointipisteet samoilla käytännön osa-alueilla. Yhteistyökumppaneita kannustetaan keskustelemaan arviointituloksista, tarkkailemaan toistensa opetusta, jakamaan strategioita ja taktiikoita sekä seuraamaan toistensa toimintaa. EPP suunniteltiin TDOE:n ja tutkijoiden (John Papay ja John Tyler Brownin yliopistosta sekä Eric Taylor HGSE:stä) yhteistyönä. EPP:n pilottitestin tulokset ovat rohkaisevia. Satunnaisesti EPP:hen valituissa kouluissa oppilaiden koetulokset paranivat (0,08 oppilaan keskihajonta lukemisessa ja matematiikassa), opettajien havaitsemat käytännöt paranivat ja opettajien asenteet suoritusten arviointia kohtaan paranivat. Nykyisessä avustusehdotuksessa laajennetaan EPP:n kokeellista arviointia, tutkitaan ohjelman vaikutuksia koko osavaltion laajuisesti ja testataan mekanismeja koskevia hypoteeseja. Satunnaisotantaan perustuva arviointi laajennetaan koskemaan kaikkia Tennesseen noin 1 800 koulua (joista puolet osallistuu EPP-ohjelman toteuttamiseen ja puolet tavanomaiseen tapaan). Hankkeen tarkoituksena on myös antaa tietoa laajemmista kysymyksistä, jotka koskevat lupaavien käytäntöjen laajentamista osavaltion laajuisiksi ohjelmiksi, mukaan lukien kysymykset siitä, miksi koulut päättävät osallistua tai eivät päätä osallistua. Avustusehdotukseen sisältyy myös TDOE:n ja Brownin, HGSE:n ja Vanderbiltin tutkijoiden välisten kumppanuuksien jatkaminen ja laajentaminen osittain TDOE:n tutkimus- ja arviointivalmiuksien kehittämiseksi.