Przeprowadzenie sprawdzianu testowego wymaga przygotowania odpowiedniej liczby pytań testowych, a następnie sprawdzenia odpowiedzi i wyciągnięcia wniosków dydaktycznych. Przy pomocy systemu "Testy" można sprawdzić karty odpowiedzi, przeprowadzić wszelkie niezbędne analizy dydaktyczne, wystawić oceny i wydrukować wyniki. Dla grupy 350 prac po 100 pytań każda, wszystko to może trwać nie dłużej niż 2 godziny.

Przykładowa karta testowa:
» Karta do 100 pytań

Opinie użytkowników:
» Sprawdziany testowe | » Egzaminy | » Egzaminy wstępne Uniwersytetu Gdańskiego | » Egzaminy językowe

» Ogólnie o programie
» Możliwości dostosowania programu do indywidualnych potrzeb
» Analiza zadań testowych
» Wygodne, szybkie i bezbłędne sprawdzanie kart odpowiedzi
» Wynik testu jest natychmiast automatycznie wpisywany do bazy danych
» Wyniki testu gotowe są zaraz po zakończeniu sprawdzania prac
» Po wystawieniu ocen można skorygować skalę
» Wszystkie wyniki mogą być szybko i estetycznie wydrukowane
» Historia zmian w kolejnych wersjach programu TESTY

» Pracownia Badania Efektów Edukacyjnych AMG

Ogólnie o programie

• Program "Testy" pozwala szybko i bezbłędnie sprawdzić duże ilości kart testowych. (350 na godzinę)
• Karty testowe może tanio (poniżej kosztu kserokopii) wydrukować każdy zakład poligraficzny.
• Wprowadzone mechanizmy kontrolne eliminują do minimum możliwość pomyłek często popełnianych przez osoby odpowiedzialne za przeprowadzenie testu.
• Dzięki wszechstronnej analizie jakości zastosowanych pytań, można wykryć błędnie wskazane wzorcowe odpowiedzi oraz większość błędów zawartych w pytaniach. Wspomniana analiza pozwala również oceniać wyniki dydaktyczne, wskazywać gorzej opanowane przez uczestników testu partie materiału, weryfikować różne metody nauczania.
• Przy zapotrzebowaniu na pogłębioną analizę wyniki testu można w prosty sposób przesłać do specjalistycznego programu lub dowolnego arkusza kalkulacyjnego.(Opracowywana jest nowa wersja obliczająca wszystkie parametry statystyczne testu)
• Wyniki wskazywane przez komputer mogą być w każdej chwili weryfikowane bez użycia komputera przy pomocy tradycyjnych szablonów.
• Wyniki testu można szybko i estetycznie wydrukować na dowolnej drukarce zainstalowanej w systemie.

Współpraca oprogramowania i sprzętu.
W czasie sprawdzania kart odpowiedzi (testów) kamera TV przekazuje obraz karty testowej do komputera. W komputerze z obrazu wyodrębniane są wszystkie informacje potrzebne do oceny testu oraz rozpoznania imienia, nazwiska, grupy i wydziału osoby piszącej test. Wszystkie te dane zostaną automatycznie przekazane do odpowiednich rubryk bazy danych. W przypadku sytuacji awaryjnych lub konieczności późniejszej weryfikacji możliwe jest ręczne sprawdzenie testów przy pomocy szablonów. Szablony mogą być wykonane ręcznie poprzez wycięcie na typowej karcie testowej otworów w miejscach prawidłowych odpowiedzi. Przy użyciu drukarki laserowej szablony można wydrukować na przeźroczystej folii. Wyniki testu, w których mogą być uwzględnione punkty uzyskane w teście, punkty dodatkowe oraz automatycznie wystawione oceny według wcześniej ustalonej skali ocen można wydrukować na drukarce.

Możliwości dostosowania programu do indywidualnych potrzeb

Program może być konfigurowany przez użytkownika w następujących zakresach:

• Test może składać się z 10 do max 100 pytań.
• Zadania są typu wielokrotnego wyboru, - prawidłowy jest tylko jeden z pięciu wariantów (A B C D E). Oznacza to dyskwalifikację odpowiedzi z zaznaczonymi wieloma wariantami. Możliwe jest jednak odstępstwo od tej reguły. Zdarza się to najczęściej po analizie wyników, gdy zauważamy, że oprócz wskazanego prawidłowego wariantu (np. C) należy również uznać odpowiedź E. W takim przypadku, niezależnie, czy został zaznaczony wariant C, E, czy łącznie CE, zostanie uznany jeden punkt za to pytanie.
• Dodatkowa opcja pozwala na sprawdzenie testów, w których prawidłowa jest jedna lub kilka odpowiedzi. Pytanie z odpowiedziami identycznymi z kluczem otrzymuje jeden punkt. Zero punktów otrzyma pytanie w przypadku jakiejkolwiek niezgodności z kluczem lub gdy klucz nie ma podanej prawidłowej odpowiedzi na to pytanie.
• Program umożliwia stosowanie od jednej do sześciu wersji tego samego zestawu pytań. Większa niż jeden liczba wersji pozwala zmniejszyć odległości między piszącymi, bez ryzyka prostego 'podpatrywania odpowiedzi testu od sąsiada.
• W teście może brać udział do 9999 osób z jednego z możliwych wydziałów (A, B, C, E, F, G, H, I, J, L, P, S, U, Y) - czyli łącznie 139986 uczestników.
• Niezależnie od wydziału każdy uczestnik może mieć przypisaną grupę (do3 znaków) np. Gr1.

Analiza zadań testowych

Zastosowanie analizy pytań na podstawie wyników testu pozwala na głębszą ocenę efektów nauczania, a także oceniać same zadania testowe.

• Analiza statystyczna testu

Po otwarciu okna analizy testu zostaną obliczone następujące parametry statystyczne całego testu:

• wariancja . odchylenie standardowe
• średnia punktów . rzetelność testu
• moc różnicująca zadań
• błąd standardowy pomiaru
  

Na wykresie pokazane zostaną frakcje wyboru poszczególnych wariantów odpowiedzi dla grupy 27% najlepszych wyników testu a obok obliczenia parametrów statystycznych tego zadania:

• łatwość zadania
• moc różnicująca zadania
• frakcja opuszczeń

Domyślnie kolejność zadań pokazywanych na wykresie wynika z porównania mocy różnicującej i frakcji wyboru odpowiedzi tak, aby możliwie jak najlepiej wskazać zadania, w których warto przeanalizować zarówno wskazanie klucza jak i treść samego zadania. Można również wybrać kolejność zadań od pierwszego do ostatniego. W polu opisanym: Statyst. Alternatywna zadania umieszczone są obliczenia frakcji wyboru wszyst-kich wariantów odpowiedzi dla kolejno: wszystkich testowanych uczniów, grupy 27% najgorszych wyni-ków, grupy 27% najlepszych wyników testu a na końcu moc różnicująca.

• Analiza dystraktorów

Służy do wnikliwej diagnozy efektów nauczania oraz do ewentualnej weryfikacji poprawności zadania testowego - również zmiany wcześniej ustalonego klucza. Domyślnie wykres pokazuje wyniki podzbioru 27% najlepszych wyników w tym teście - Podzbiór W (Prop. Endorsing High). Można także wybrać analizę uwzględniającą Wszystkich uczestników testu (Prop. Endorsing Total) lub analizę na podstawie wyników podzbioru 27% najgorszych wyników - Podzbiór N (Prop. Endorsing Low).

• Pytania zostaną uporządkowane tak, aby jako pierwsze pokazywały się te budzące największe wątpliwości
• ułatwienie weryfikacji klucza punktowania.
• Pytania zostaną uporządkowane według kolejnych numerów

Dla każdego pytania pokazywane są frakcje wyboru poszczególnych wariantów odpowiedzi (dystraktorów) dla wybranych grup. W ten sposób otrzymujemy informację jak często wybierany był dany wariant odpowiedzi. Przykładowy wygląd ekranu z danymi dotyczącymi jednego z pytań przedstawiono na rysunku 5.8.1. Na rysunku tym kolor zielony oznacza, że ten wariant był wskazany przez autora pytań jako prawidłowa odpowiedź (klucz). Kolory żółty i szary dotyczą błędnych wyborów (niezgodnych z kluczem!), przy czym kolor żółty dodatkowo zwraca uwagę na wariant, który może lepiej funkcjonować jako klucz. Warto porównać moc różnicującą dla wariantów B (0.18) i E (-0.06). Dla tego przykładu widać, że grupa najlepszych uczniów wybierała wariant B, dodatkowo B jako klucz funkcjonuje lepiej w tym zadaniu niż E. Wnioski wynikające z takiego wyniku mogą być różne.

• omyłkowo wskazana wzorcowa odpowiedź E podczas gdy powinna być B. W takim przypadku łatwo można wyeliminować proste (mechaniczne) pomyłki osoby układającej pytania.

Po naniesieniu na wzorcu poprawek wszystkie testy mogą być ponownie automatycznie ocenione już według nowego klucza.

• pytanie "podchwytliwe" - piszący zasugerowali się błędną wskazówką zawartą w pytaniu.
• merytoryczny błąd w źródle, z którego czerpano wiadomości.

Słupki reprezentują frakcje wyboru poszczególnych wariantów odpowiedzi.

• Zestawienia

Jeżeli jesteśmy w stanie pogrupować pytania według tematyki, to można również szybko ocenić wybiórczo stan wiedzy dotyczącej określonego tematu dla danej grupy. Przedstawia to kolejny rysunek:

W grupie Fiz udzielono średnio 71% prawidłowych odpowiedzi na zaznaczone pytania.

Wygodne, szybkie i bezbłędne sprawdzanie kart odpowiedzi

Program pozwala szybko sprawdzać duże liczby kart testowych (do 400 na godzinę) przy zaangażowaniu do tego celu jednej lub najlepiej dwóch osób. Zastosowane mechanizmy kontrolne eliminują praktycznie do zera możliwość popełnienia błędu. Dotyczy to pomyłek osób uczestniczących w przygotowaniu, przeprowadzaniu, a także sprawdzaniu testów. Po sprawdzeniu przy pomocy tego programu ok. 30000 prac nie zdarzyła się ani jedna uzasadniona reklamacja. Na rysunku przedstawiono wygląd ekranu komputera podczas sprawdzania kart testowych. Program może sygnalizować na bieżąco odpowiedzi podwójne (podlegające dyskwalifikacji), a także fakt braku jakiejkolwiek odpowiedzi na dane pytanie. W przypadku reklamacji lub, gdy ostrożny użytkownik chciałby skontrolować poprawność działania sprzętu, zawsze możliwe jest ręczne sprawdzenie wybranych kart testowych. Służą do tego celu szablony kontrolne drukowane na folii przeźroczystej.

Wynik sprawdzania jest natychmiast automatycznie wpisywany do bazy danych

W skład programu wchodzi prosta w obsłudze baza danych (kartoteka osób biorących udział w teście). Jeżeli wszyscy uczestnicy testu zostaną wpisani do tej bazy, to podczas sprawdzania testów komputer dokona automatycznie identyfikacji osoby i po obliczeniu liczby uzyskanych punktów wynik przypisze tej osobie. Przykładowy wygląd ekranu komputera z bazą danych przedstawiono poniżej.

Wyniki testu gotowe są zaraz po zakończeniu sprawdzania prac

Jeżeli istnieje potrzeba wystawienia ocen, komputer wykona to w ciągu kilku sekund. Skala ocen może być wcześniej przygotowana a w razie potrzeby dostosowana do bieżących potrzeb. Przykładową skalę ocen przedstawiono na rysunku:

Po wystawieniu ocen można skorygować skalę,

jeżeli na przykład okaże się, że test był zbyt trudny. Pomocna może okazać się statystyka wystawionych ocen - patrz rysunek:

Istnieje również możliwość uwzględniania punktów dodatkowych -będą one automatycznie dodane do wyniku testu i uwzględnione w ocenie końcowej.

Wszystkie wyniki mogą być szybko i estetycznie wydrukowane

Podłączenie do komputera dowolnej drukarki pozwoli wydrukować listę uczestników testu wraz z ocenami i uzyskanymi punktami. Wydruk statystyki poprawnych odpowiedzi na poszczególne pytania umożliwi merytoryczną ocenę pytań. Poniżej przedstawiono fragmenty wydruku statystyki odpowiedzi na poszczególne pytania. Na pierwszym rysunku pytania uporządkowane są kolejno według numerów, a na drugim - według liczby poprawnych odpowiedzi.

Rysunek poniżej przedstawia fragment wydruku wyniku testu w jednej z wielu możliwych konfiguracji.

Każda nowa wersja to wiele poprawek i nowych udogodnień. Dla użytkowników wersji poprzednich - bezpłatna aktualizacja.

Zmiany w wersji 4.13.1

1. Procentowa skala ocen - również uwzględniająca zadania anulowane.

Zmiany w wersji 4.13

1. Program współpracuje ze specjalną kamerą USB. Teraz można używać notebooka - system staje się bardziej mobilny!

Zmiany w wersji 4.12

1. Program dostosowano do współpracy z Bankiem Zadań Testowych - odczyt identyfikatora zadania i dołączanie tego identyfikatora do wydruków i plików wyjściowych.
2. Bezpośrednie łączenie z programem "Bank Zadań Testowych" - wyświetlanie treści omawianych zadań.

Zmiany w wersji 4.11

1. Automatyczna konfiguracja baz danych - podczas pierwszego uruchomienia programu.
2. Zapisywanie statystyki zadań (łatwość i moc różnicująca) do pliku.
3. Możliwość samodzielnego drukowania uniwersalnych kart odpowiedzi
4. Możliwość wystawiania ocen według standaryzowanej skali
5. Wykrywanie błędnego opracowania przeplotu i możliwość jego automatycznej naprawy

Zmiany w wersji 4.10

1. Poprawiono współpracę programu z systemami Windows200, XP. W niektórych komputerach pracujących z tymi systemami operacyjnymi program potrafił "znikać" w trakcie pracy.
2. Ulepszone przetwarzanie obrazu
3. Obsługa nowego typu karty (4) przetwarzania obrazu
4. Brak ograniczenia długości (teraz do 255 znaków) ścieżki katalogu, w którym są zapisane pliki ankiety. (dotyczy tylko nowych plików bazy danych wyższego poziomu - utworzonych w tej wersji programu)
5. Dowolne sortowanie widoku bazy danych 6. Program zapamiętuje położenie okien

Zmiany w wersji 4.9

1. Obsługa karty przetwarzania obrazu w trybie P&P
2. Współpraca z czytnikiem kodów kreskowych
3. Ocena testów, w których poprawne odpowiedzi mogą być kombinacją kilku wariantów, na przykład: prawidłowe rozwiązanie zadania to jednoczesne zaznaczenie ACDE i tylko za taką odpowiedź jest przyznawany jeden punkt.

Zmiany w wersji 4.8

1. Nowa, lepsza statystyka testu
2. Przystosowanie do współpracy z Windows XP

Zmiany w wersji 4.7

1. Przystosowanie do współpracy z kartą ze złączem PCI.
2. Praca w systemach WIN 9x, ME, 2000
3. Poprawiona obsługa różnych typów drukarek.

Zmiany w wersji 4.6

1. Wbudowana opcja drukowania indywidualnych kart ankietowych.
2. Wczytywanie i zapisywanie danych tekstowych (lista, przeplot itd.) z możliwością wyboru separatora.

Zmiany w wersji 4.5

1. Analiza porównawcza dystraktorów zastąpiona możliwością obliczania analizy dystraktorów dla: podzbioru N, podzbioru W, wszystkich uczestników testu.
2. Okno formatowania wydruku (lub listy z wynikami) - rozdzielono pole imienia i nazwiska. Dzięki temu można w razie potrzeby imię i nazwisko zapisać w jednym wspólnym polu bazy danych, a drugie przeznaczyć na np. numer albumu.
3. Lista z wynikami może zostać zapisana na dysku w formacie ustalonym w oknie wydruku. Wykorzystanie - np. protokół egzaminu dla dziekanatu.
4. Poprawiona pewność odczytu czytnika optycznego.
5. Rozbudowana procedura drukowania imiennych kart odpowiedzi.
6. Dodana w opcjach możliwość ustalenia liczby dystraktorów (wariantów odpowiedzi) od 1 do 5. Dotyczy to odczytywania kart odpowiedzi i drukowania imiennych kart odpowiedzi.
7. W oknie szablonu dodano możliwość zaznaczenia opcji wydruku: Druk kliszy. Pozwala to wydrukować własny wzór kliszy do drukowania kart uniwersalnych (kolor niebieski - cyjan) Zakres zmian wydruku taki jak w opcjach testu.
8. W opcjach sprawdzania kart odpowiedzi (optyczny czytnik) można zaznaczyć odczyt starych kart z trzy-cyfrowym numerem lub nowych z cztero-cyfrowym numerem ident.
9. Poprawiona statystyka wystawionych ocen - uwzględnia wszystkie nazwy pojawiające się w bazie danych w polu oceny, nawet te dopisane ręcznie.
10. Dodana do okna statystyki ocen, statystyka punktów uzyskanych w teście - rozkład punktów.