Proces nauczania jest procesem ciągłym i wielotorowym i nie sposób zastosować w nim, w sposób łatwy i niebudzący wątpliwości, kryteriów oceny efektywności, zwłaszcza takiej, która miałaby być sprawdzana w krótkim okresie po zakończeniu nauczania, i miałaby ocenić efektywność wydzielonego kanału kształcenia, w oderwaniu od innych. Pamiętać należy, że nowy model nauczania zdalnego był testowany na godzinach dodatkowych i nie zastępował obowiązkowych godzin nauczania, przysługujących każdemu uczniowi. Dlatego niemożliwa była autorytarna ocena skuteczności modelu w oderwaniu od nauczania obowiązkowego: oba sposoby kształcenia uzupełniały się i przeplatały. Model testowany był przez dziesięć miesięcy; nie wszyscy uczniowie uczestniczyli w nim przez cały czas. Trudno więc było spodziewać się natychmiastowej poprawy wyników uczniów. W tym przypadku możemy mówić raczej o efektach długofalowych, ocenianych w perspektywie miesięcy, czasem lat. Za najlepszy sposób oceny efektywności i funkcjonowania innowacji uznano więc subiektywne opinie uczestników i odbiorców projektu, zbierane na bieżąco oraz po zakończeniu udziału w projekcie.

Ewaluacja wewnętrzna

Prowadzona była ewaluacja ex-ante, on going i ex-post. Proces testowania był cały czas monitorowany, co umożliwiło bieżące wprowadzanie zmian (analizę pierwszych efektów interwencji, wprowadzenie modyfikacji i powtórne przetestowanie elementów produktu). Otrzymane wyniki posłużyły również do analizy rzeczywistych efektów testowanego produktu.
 
Obszary i narzędzia ewaluacji
Ewaluacja dotyczyła obszarów wskazanych w Strategii i została przeprowadzona na podstawie informacji pochodzących z wielu źródeł. Informacje pozyskiwane były od uczniów, nauczycieli, rodziców i kadrę Centrum Nauczania na Odległość.

Dane zgromadzone w źródłach dotyczyły wielu czynników wpływających na skuteczność procesu dydaktycznego, do których m.in. należą: stosowane przez nauczycieli metody i formy pracy, dostosowanie programów edukacyjnych do indywidualnych potrzeb uczniów, stopień motywacji uczniów do pracy, regularność uczestniczenia w zajęciach, umiejętność korzystania z technologii komputerowej, warunki techniczne oraz współpraca z rodzicami.

Przebieg ewaluacji
Sposób ewaluacji testowania  przebiegu i wyników testowania pozwolił na bieżącą korektę prowadzonych działań oraz dokonanie, w sposób możliwie obiektywny, oceny zakończonego testu i wypracowanie odpowiednich wniosków, które przełożyły się na przygotowanie ostatecznej wersji produktu finalnego.

Na podstawie analizy ilościowej i jakościowej zebranych danych opracowane zostały wnioski z ewaluacji, które zostały zebrane w Raporcie z ewaluacji wewnętrznej

Ewaluacja zewnętrzna

Wykonawcą badania była spółka BioStat, która została wybrana w ogłoszonym przez Fundację konkursie. Zakres badania objął zebranie niezależnych opinii uczestników procesu testowania ewaluowanego produktu, przeprowadzono również analizę dokumentów dotyczących modelu, w tym wyniki ewaluacji wewnętrznej, które zostały zestawione z wynikami ewaluacji zewnętrznej.

Kryteria zastosowane w badaniu:

  • Trafność - Czy i w jakim stopniu produkt odpowiada na realne potrzeby grup użytkowników/ odbiorców?
  • Efektywność - Czy wypracowany produkt jest bardziej efektywny niż stosowane dotychczas rozwiązania? Czy proponowane podejście jest rozwiązaniem bardziej wydajnym finansowo od metod stosowanych wcześniej?
  • Skuteczność - Czy produkt jest skuteczny? Co wpływa na jego skuteczność czy są to metody pracy, dobór grup docelowych, organizacja procesu wsparcia, czy inne czynniki? Czy możliwe jest zwiększenie skuteczności proponowanych metod i pod jakimi warunkami?
  • Użyteczność - Czy wypracowany produkt jest zgodny z potrzebami grup użytkowników/ odbiorców? Czy wypracowany produkt prowadzi do uproszczenia logistyki działań?
  • Trwałość - Czy i w jakim stopniu prawdopodobne jest funkcjonowanie produktu po zakończeniu finansowania projektu?

Pod uwagę wzięto również kryterium multiplikowalności związane z możliwością upowszechnienia modelu, jak również dostępność oraz jakość.

Metody
W ramach realizacji badania ewaluacyjnego zastosowano zróżnicowane metody pozyskiwania i analizy danych. Wykorzystano zarówno dane o charakterze pierwotnym jak i wtórnym, co pozwoliło na dokonanie oceny produktu finalnego z szerszej perspektywy.
Zastosowano następujące metody badawcze:

  • analiza dokumentów (desk research),
  • indywidualny wywiad pogłębiony realizowany drogą telefoniczną (TDI – ang. Telephone In - depth Interview),
  • grupowy wywiad zogniskowany (FGI – Focus Group Interview),
  • benchmark.

Wyniki badania przedstawia Raport z ewaluacji zewnętrznej