13 Measure the impact of your Interactive and Accessible OER in your teaching Environment ( మీ బోధనా కార్యకలాపాల్లో ఇంటరాక్టివ్ మరియు యాక్సె సిబుల్ OER ప్రభావాన్ని అంచనా వేయడం)

After completing this module, you will be able to:

 ఈ మాడ్యూల్ ని పూర్తిచేసిన తరువాత, మీరు ఈ లక్ష్యాలను సాధించ గలుగుతారు

• Utilize H5P activities to create an engaging, interactive learning activity tailored for STEM subjects  STEM విద్యా విషయాల(సబ్జెక్ట్ )కి  అనుగుణంగా ఆకర్షణీయమైన, H5P ఇంటరాక్టివ్స్  రూపొందించగలుగుతారు
• Identify key metrics and evaluation strategies to ensure the quality of H5P-based OER
• H5P ఆధారిత ఓపెన్ ఎడ్యుకేషనల్ రిసోర్సె స్ (OER) నాణ్యతను నిర్ధారించేందుకు కీలక ప్రమాణాలు మరియు మూల్యాంకన ప్రణాళికలను రూపొందించగలుగుతారు.
• Explore a strategy to measure the impact of created H5P OER on student engagement, comprehension, and learning outcomes
• మీరు రూపొందించిన H5P ఆధారిత OER ప్రభావాన్ని, (విద్యార్థులలో ఆసక్తి, విషయాన్ని  అర్థం చేసుకునే సామర్థ్యం మరియు అభ్యాస ఫలితాలను) అంచనా వేయగలుగుతారు.

Evaluating OER

While educating about the concepts of Open Education, OER, Open Licenses, it is equally important to focus on the impact of OER developed/created. Creating or adapting OER is one step and second important step is exploring how these OER influence teaching and learning process.

Globally institutions across the globe are utilising various methods, tools and strategies to measure the pedagogical effectiveness of OER. Like tracking the analytics like number of visitors and downloads of the web resources. And conducting surveys to assess the level of benefit teachers or students gained with the OER developed and identify areas for improvement.

ఓపెన్ ఎడ్యుకేషన్, OER (ఓపెన్ ఎడ్యుకేషనల్ రిసోర్సెస్), మరియు ఓపెన్ లైసెన్సుల వంటి అంశాలను బోధించే సమయంలో, రూపొందించిన లేదా అభివృద్ధి చేసిన OER ప్రభావాన్ని కూడా పరిగణనలోకి తీసుకోవాల్సిన అవసరంపై అవగాహన కల్పించడం అత్యంత కీలకం.

OER తయారీ లేదా అనుకూలీకరణ చేయడం మొదటి మెట్టు అయితే, తదుపరి ముఖ్యమైన మెట్టు – ఈ వనరులు బోధన మరియు అభ్యాస ప్రక్రియపై ఎలా ప్రభావం చూపుతున్నాయో విశ్లేషించడం.

ప్రపంచవ్యాప్తంగా అనేక విద్యాసంస్థలు, OER యొక్క బోధనా ప్రభావాన్ని అంచనా వేయడానికి విభిన్న పద్ధతులు, సాధనాలు మరియు వ్యూహాలను ఉపయోగిస్తున్నాయి. ఉదాహరణకు: OER వనరులకు వచ్చిన సందర్శకుల సంఖ్య, డౌన్‌లోడ్‌లు వంటి అనలిటిక్స్‌ను ట్రాక్ చేయడం; ఉపాధ్యాయులు మరియు విద్యార్థులు పొందిన లాభాల స్థాయిని అంచనా వేయడానికి సర్వేలు నిర్వహించడం; ఇంకా మెరుగుదల అవసరాల్ని గుర్తించడంలో ఈ పద్ధతులు సహాయపడుతున్నాయి.

Rubrics and evaluation checklists are widely used to assess the quality, accessibility, and reusability of OER.

OER వనరుల నాణ్యత, లభ్యత (ప్రత్యేక అవసరాలున్న విద్యార్థులకు సహా), మరియు పునర్వినియోగయోగ్యతను అంచనా వేయడానికి రూబ్రిక్స్ మరియు చెక్‌లిస్టుల వంటి మూల్యాంకన సాధనాలు ప్రపంచవ్యాప్తంగా విస్తృతంగా వినియోగించబడుతున్నాయి.

Some examples of these are:

ఈ క్రింది ఉదాహరణలు కొన్ని:

• OER Evaluation Checklist [pdf]

• Achieve.org has developed eight OER rubrics as well as an evaluation tool to help users determine the degree of alignment of OER to the Common Core State Standards, and aspects of quality of OER.

• iRubric: Evaluating OER rubric This rubric is developed by Sarah Morehouse with help from Mark McBride, Kathleen Stone, and Beth Burns is licensed under a Creative Commons Attribution 3.0 Unported License.

• Achieve Open Educational Resources Evaluation Tool Handbook

  This handbook will guide a user through the process of evaluating an online resources using Achieve OER Evaluation Tool, which is hosted on OERCommons.org.
• IFP-OER Curation Rubric-v1

All these are examples for measuring the quality of OER. Now, the question is do we need to assess the impact of OER created and used with students?

ఇవి అన్నీ   OER నాణ్య తను అంచనా వేసే ఉదాహరణలే. కానీ అసలు ప్రశ్న ఏమిటంటే – మనం విద్యా ర్థులతో తయారుచేసిన మరియు వినియోగించిన  OER ప్రభావాన్ని   తప్పనిసరిగా అంచనా వేయాలా?

The answer is yes, to understand how the OER is helping students to engage and learn about the topic.

దీనికి సమాధానం అవును అనే చెప్పాలి. ఎందుకంటే OER విద్యార్థులు ఒక విషయం పట్ల ఎంతగా ఆసక్తి చూపుతున్నారో, మరియు ఆ విషయాన్ని ఎలా నేర్చుకుంటున్నారో అర్థం చేసుకోవడానికి ఇది సహాయపడుతుంది.

Assessing the impact of OER created and used with students

రూపొందించిన మరియు వినియోగించిన OER ప్రభావాన్ని అంచనా వేయడం.

The impact of OER can be assessed through several key indicators. While assessing the impact of OER, particularly those enhanced with AI or H5P interactivity, consider both quantitative and qualitative indicators:

OER (ఓపెన్ ఎడ్యు కేషనల్ రిసోర్సెస్) ప్రభావాన్ని కొన్ని ప్రధాన సూచికల ద్వా రా అంచనా వేయవచ్చు.   ప్రత్యేకంగా AI లేదా H5P ఇంటరాక్టివిటీతో అభివృద్ధి చేసిన OER ప్రభావాన్ని  అంచనా వేసేటప్పుడు, పరిమాణాత్మ క (quantitative) మరియు గుణాత్మ క (qualitative) రెండు పరికరాల  సూచికల్నీ పరిగణలోకి తీసుకోవాలి:

• Accessibility Compliance (OER వనరులు ప్రత్యేక అవసరాలున్న విద్యార్థులకు కూడా సులభంగా వినియోగించగలిగేలా ఉండటం)
• Engagement Metrics (e.g., time spent on activities, completion rates). నిమగ్నత సూచికలు ( ఉదా : కార్యకలాపాలపై గడిపిన సమయం,పూర్తిచేసిన పాఠ్య భాగాల శాతం)

• Learning Outcomes (e.g., pre-post assessments, formative quiz scores). (అభ్యాసన ఫలితాలు (ఉదా : పూర్వ – పర అంచనా పరీక్షలు, అభ్యాస దశ మధ్యలో క్విజ్ స్కోర్లు (formative quiz scores))
• Learner Feedback (e.g., surveys, reflective journals). (విద్యార్దుల అభిప్రాయ సేకరణ (ఉదా : సర్వేలు ,ఆలోచనాత్మక పత్రికలు))

You might have an option to view the analytics of the student/learner activity or you can test with your class participants directly to measure the effectiveness of your H5P activity.

For this purpose we have provided a small tool under the optional final activity: Reflection on your H5P Activity Effectiveness. It’s not only to measure the effectivess of the activity but also gives an option to express your views and action plan to mobilise collegues to adopt and adapt your OER.

Effective evaluation goes beyond usage statistics and explores how learners interact with and benefit from the resource (de los Arcos et al., 2016).

మీరు విద్యార్థులు/విద్యార్థుల కార్యకలాపాలను విశ్లేషించడానికి అనలిటిక్స్‌ చూడే అవకాశం పొందవచ్చు లేదా మీ తరగతి పాల్గొనేవారితో నేరుగా పరీక్షించి, మీరు రూపొందించిన H5P కంటెంట్ ప్రభావాన్ని అంచనా వేయవచ్చు.

ఈ ఉద్దేశ్యంతో, ఐచ్ఛిక చివరి కార్యకలాపం “Reflection on your H5P Activity Effectiveness.“ అనే పేరుతో ఒక చిన్న టూల్‌ను అందించాము. ఇది కేవలం ఆ కంటెంట్ ప్రభావాన్ని కొలవడానికే కాదు, మీరు మీ అభిప్రాయాలు మరియు మీ OER‌ను సహోధ్యాపకులు కూడా స్వీకరించి, అనుకూలించేందుకు రూపొందించే కార్యాచరణ ప్రణాళికను తెలియజేసే అవకాశం కూడా ఇస్తుంది.

ప్రభావవంతమైన మూల్యాంకనం అనేది వినియోగ గణాంకాలకే పరిమితంగా ఉండకూడదు; బదులుగా, విద్యార్థులు వనరులను ఎలా వినియోగిస్తున్నారో, వాటి ద్వారా ఎలా లాభపడుతున్నారో విశ్లేషించాలి (de los Arcos et al., 2016).

Below is a video on H5P Attempts Report in Moodle LMS_Grade book

క్రింద ఇచ్చిన వీడియోలో Moodle LMS లోని Grade Bookలో H5P ప్రయత్నాల నివేదిక (Attempts Report) గురించి వివరణ ఇవ్వబడింది.

In Moodle LMS, activity completion settings will definitely help to track learners progress. Here is a small video on Activity completion settings in Moodle for H5P

Moodle LMSలో Activity Completion సెట్టింగ్స్ విద్యార్థుల అభ్యాస పురోగతిని గమనించడానికి ఉపయోగపడతాయి. H5P కార్యకలాపాల కోసం ఈ సెట్టింగ్స్‌ను ఎలా ఉపయోగించాలో చూపించే చిన్న వీడియోను క్రింద అందించాం.

How to Analyze and Act on the Results

ఫలితాలపై విశ్లేషణ చేసి, తగిన చర్యలు తీసుకునే విధానం

Especially considering the course activity to measure the effectiveness of your H5P activity in your teaching environment, you can tools such as H5P activity reports, or built-in analytics from the LMS where the activity is deployed, or conducting survey and even AI-based dashboards (example: Julius) to interpret learning data.

Evaluate trends over time and gather student feedback to identify strengths and areas for revision.

Reflection on this data helps ensure the OER developed is inclusive, relevant, and pedagogically sound activity.

మీరు బోధనా కార్యకలాపాల్లో H5P యాక్టివిటీ ప్రభావాన్ని కొలవడానికి రూపొందించిన కోర్సు కార్యకలాపాన్ని పరిగణనలోకి తీసుకుంటే, H5P activity reports, లేదా మీరు ఉపయోగిస్తున్న LMS (Learning Management System) లోని అనలిటిక్స్ టూల్స్, సర్వేలు నిర్వహించడం, లేదా AI ఆధారిత డాష్‌బోర్డ్‌లు (ఉదాహరణకు: Julius) వంటి సాధనాలను ఉపయోగించవచ్చు.

ఈ డేటాను విశ్లేషించడం ద్వారా విద్యార్థుల ఫీడ్‌బ్యాక్‌ను సేకరించి, కాలానుగుణంగా అభ్యాస ధోరణులను అంచనా వేసి, బలాలును మరియు మెరుగుదల అవసరాలనూ గుర్తించవచ్చు.

ఈ విధంగా పొందిన విశ్లేషణపై ఆలోచనాత్మక పరిశీలన చేయడం ద్వారా మీరు అభివృద్ధి చేసిన OER అనేది సమగ్రంగా, సంబంధితంగా, మరియు బోధనా పరంగా ధృఢంగా ఉండేలా నిర్ధారించుకోవచ్చు.