Schlagwort: assessment

Veröffentlicht am

[publication] Impact Assessment of a MOOC Platform Considerations, Development, and Results #imoox #emoocs

Our contribution on “Impact Assessment of a MOOC Platform Considerations, Development, and Results” was published at EMOOCs 2023 conference.

Abstract:
In 2020, the project “iMooX-The MOOC Platform as a Service for all Austrian Universities” was launched. It is co-financed by the Austrian Ministry of Education, Science and Research. After half of the funding period, the project management wants to assess and share results and outcomes but also address (potential) additional “impacts” of the MOOC platform. Building upon work on OER impact assessment, this contribution describes in detail how the specific iMooX.at approach of impact measurement was developed. Literature review, stakeholder analysis, and problem-based interviews were the base for developing a questionnaire addressing the defined key stakeholder “MOOC creators”. The article also presents the survey results in English for the first time but focuses more on the development, strengths, and weaknesses of the selected methods. The article is seen as a contribution to the further development of impact assessment for MOOC platforms.

[full article @ ResearchGate]

Reference: Ebner, M., Edelsbrunner, S., Hohla-Sejkora, K., Mair, B., Schön. S., Lipp, S., Steinkellner, I., Stojcevic, I. & Zwiauer, C. (2023) Impact Assessment of a MOOC Platform Considerations, Development, and Results. EMOOCs 2023, 171-186 [.pdf]

Veröffentlicht am

[publication] Learning with Videos and Quiz Attempts: Explorative Insights into Behavior and Patterns of MOOC Participants #imoox #video #hcii

Our publication about “Learning with Videos and Quiz Attempts: Explorative Insights into Behavior and Patterns of MOOC Participants” for the HCII 2023 conference got published:

Abstract:
Many MOOCs use units with videos and quizzes, where a successful attempt after several tries is the basis for a MOOC certificate. A first in-depth analysis of quiz behavior within a MOOC at the Austrian MOOC platform iMooX.at had shown several quiz attempts patterns (Mair et al. 2022). As a next step, the researchers now collected details on video watching within a new edition of the same MOOC and therefore could combine data on quiz and video behavior. This analysis shows similar distribution of the quiz attempt patterns as in our first analysis. Additionally, the analysis indicates that learners who completed more quiz attempts than needed for full point results or passing have a higher average video watching time than learners who only made attempts until reaching a full score or passing.KeywordsMOOC; quiz behaviorVideo behaviorLearningLearning analytics

[full paper @ publisher’s homepage]
[draft @ ResearchGate]

Reference: Mair, B., Schön, S., Ebner, M., Edelsbrunner, S., Leitner, P. (2023). Learning with Videos and Quiz Attempts: Explorative Insights into Behavior and Patterns of MOOC Participants. In: Zaphiris, P., Ioannou, A. (eds) Learning and Collaboration Technologies. HCII 2023. Lecture Notes in Computer Science, vol 14040. Springer, Cham. https://doi.org/10.1007/978-3-031-34411-4_22

Veröffentlicht am

[mooc] E-Assessment auf Kurs gebracht #imoox #eassessment #tugraz

Es freut uns, dass wir heute den MOOC zu “E-Assessment auf Kurs gebracht” starten können. Der MOOC ist nicht nur aufgrund seines Inhaltes spannend, sondern wir haben erstmals ein Erstellungs-Verfahrung mit einer Qualitäts-Schleife durch Expert:innen zur Anwendung gebracht, d.h alle Drehbücher wurden entsprechend begutachtet bevor es in die Videoproduktion ging. Hier aber nun der Inhalt:

Sei es die Absolvierung eines MOOCs, die Theorieprüfung zur Erlangung des Führerscheins, eine Zertifizierungsprüfung als berufliche Qualifikation oder die Aufnahmeprüfung für ein Studium: Elektronische Prüfungen kommen in unzähligen kritischen Bereichen zum Einsatz, um Kenntnisse, Fähigkeiten oder Leistungen festzustellen. Es ist daher von entscheidender Bedeutung, dass bei der Erstellung von elektronischen Prüfungen (auch E-Assessments genannt) verschiedenste Richtlinien und Qualitätskriterien berücksichtigt werden. In diesem MOOC erlangen Sie die wesentlichen Kompetenzen, um …

  • elektronische Prüfungen strukturiert zu planen und adäquat einzusetzen.
  • gute Praktiken für die Erstellung von Fragen, Problemstellungen sowie Antworten anzuwenden.
  • elektronische Prüfungen in unterschiedlichen Settings abzuwickeln.
  • die Qualität von E-Assessments durch statistische Analysen sicherzustellen

Die Anmeldung zum MOOC ist natürlich kostenlos und richtet sich an Lehrende und Interessierte die E-Assessment in der Praxis erstellen wollen: [Link zur kostenlosen Anmeldung]

Veröffentlicht am

[seminar] AK Technology Enhanced Learning – Prüfen mit dem Internet #aktel17 #tugraz

Mein Seminar zu “Ausgewählte Kapitel aus Technology Enhanced Learning” an der TU Graz beschäftigt sich in der zweiten Einheit mit dem Thema “Prüfen mit dem Internet” und einer globalen Übersicht überhaupt zu Prüfungsformen. Hier gibt es die Folien dazu:

Klicken Sie auf den unteren Button, um den Inhalt von www.slideshare.net zu laden.

Inhalt laden

Veröffentlicht am

[thesis] Providing User-Centered Information in the Personal Learning Environment

Im Rahmen der Entwicklungen rund um unsere Personal Learning Environment an der TU Graz wurde ein weiteres Widget erstellt. Damit kann man Prüfungstermine schnell finden, gegenüberstellen und entsprechend organisieren. In einem kurzen Video hatten wir bereits gezeigt um wieviel einfacher das Suchen und Planen von bevorstehenden Prüfungen wird [Video]. Hier die schriftliche Ausarbeitung:

Providing User-Centered Information in the Personal Learning Environment

Klicken Sie auf den unteren Button, um den Inhalt von www.scribd.com zu laden.

Inhalt laden

Veröffentlicht am

[video] Personal Learning Environment – TU Graz

Es gibt ein weiteres Video von unserer Personal Learning Environment an der TU Graz, die ja nun schon seit 1,5 Jahren in Betrieb ist [Link zum Start der PLE].
Diesesmal zeigen wir ganz kurz, wie man schnell und einfach Prüfungstermine finden, koordinieren und planen kann. Darüberhinaus ermöglicht das Prüfungsplanerwidget auch, Prüfungen zu bewerten, sodass dies auch bei der Planung berücksichtigt werden kann.

Veröffentlicht am

[publication] Can Confidence Assessment Enhance Traditional Multiple-Choice Testing?

Zusammen mit meinen Kollegen haben wir für die heurige ICL Konferenz einen Artikel über die Verwendung eines zusätzlichen Parameters bei einem Multiple-Choice Test (Feldstudie) geschrieben. Der Artikel ist hier online verfügbar.
Abstract:

This paper presents the results of an experiment with multiple-choice testing including confidence assessment. In a course at Graz University of Technology (TU Graz) 432 students did a multiple-choice test (MCT) on the university’s online learning management system. For 172 students the test had been added a confidence parameter for each question, which allowed the students to state their confidence in their answers. The remaining 260 students doing a traditional MCT served as a control group. The results show that there is a relationship between the confidence parameter and the percentage of incorrect answers. Moreover the findings detail that the use of the confidence parameter leads to slightly poorer results.

Referenz:Kolbitsch, J., Ebner, M., Nagler, W., Scerbakov, N. (2008) Can Confidence Assessment Enhance Traditional Multiple-Choice Testing?, In: Interactive Computer Aided Learning, ICL 2008, Villach