Интерпретация результатов экспериментальной проверки эффективности мультимедийного учебно-методического комплекса

С целью определения степени полезности МУМК формирования ПЯК студентов технического вуза в реальном процессе профессиональ­но-ориентированного обучения английскому языку нами были сопос­тавлены прогнозные данные, установленные на первом этапе ее разра­ботки, с результатами, полученными в ходе опытно-эксперименталь­ной работы.

Констатирующий эксперимент

Для определения исходного уровня языковых знаний и речевых умений в двух группах мы провели контрольную работу с элементами тестирования, результаты которой представлены в § 2.1. Полученные данные позволили сделать вывод о целесообразности разработки МУМК.

Затем мы провели стартовую контрольную работу с целью подбора экспериментальной и контрольной групп. Ее результаты представлены в табл. 22. Данные показывают, что две группы однородны и могут участвовать в эксперименте. Первая группа впоследствии стала экспе­риментальной и обучалась с применением разработанных нами МУМК. педагогической технологии, критериальным аппаратом и выявленных педагогических условий.

Для проверки предположения о взаимосвязанности компонентов ПЯК в экспериментальной группе мы определили коэффициент корре­ляции г для следующих переменных:

когнитивно-операциональный компонент- КОК (хД; мотивационно-целевой компонент - МЦК (х₂); рефлексивно-прогностический компонент - РПК (х₃).

КОК (хД - МЦК (х₂); КОК (хД - РПК (хД.

В качестве примера мы взяли индивидуальные значения названных пар компонентов ПЯК в экспериментальной группе на данном этапе работы. Результаты индивидуальных значений компонентов ПЯК при­ведены в табл. 23. Для вычисления коэффициента корреляции г мы использовали формулу расчета коэффициента корреляции Пирсона [215]:

Результаты стартовой контрольной работы (констатирующий эксперимент, 2007/09 г.)

Таблица 22

Таблица 23

Индивидуальные значения компонентов ПЯК в экспериментальной группе студентов

108

где п - число обучающихся в экспериментальной группе; ги ь - индивидуальные значения компонентов ПЯК. Аналогичным образом формула используется при расчете коэффициента корреляции для пе­ременных Xj—Х₃ (г ).

В результате мы получили следующие данные :Ц_Л = 0,92; = 0,85,- которые говорят о высокой степени позитивной взаимозависимости переменных, т.е. чем больше значение когнитивно-операционального компонента, тем больше значение мотивационно-целевого компонен­та и т.д. Таким образом, подтвердилось предположение о том, что уровень сформированности ПЯК обучающихся зависит от уровня сфор­мированности ее компонентов.

В экспериментальной группе контроль сформированности когни­тивно-операционального компонента ПЯК проводился с помощью раз­работанных авторами исследования контрольных работ с элементами тестирования. Цифры распределились следующим образом: 12 % сту­дентов находятся на недопустимом уровне когнитивно-операциональ­ного компонента формирования ПЯК, 45 %-на критическом, 35 %-на допустимом и всего 8 % - на оптимальном уровне. Контроль сформи­рованности мотивационно-целевого компонента формирования ПЯК осуществлялся с помощью анкетирования, беседы, наблюдения и опро­са. Анкетирование включало вопросы, связанные с определением отно­шения студентов к применению иностранного языка в их будущей профессиональной деятельности и его потенциального изучения с по­мощью МУМК. Уровень сформированности мотивационно-целевого компонента ПЯК распределился так: 4 % студентов находятся на недо­пустимом уровне, 40 %-на критическом, 48 %-на допустимом уровне сформированности данного компонента ПЯК и 8 % - на оптимальном уровне. Что касается уровня сформированности рефлексивно-прогно­стического компонента формирования ПЯК, то 8 % студентов находят­ся на недопустимом уровне, 34 %-на критическом, 46 %-на допусти­мом и 12 %-на оптимальном уровне. Данный компонент выявлялся на основе тестирования и самоотчетов студентов с целью прослеживания динамики формирования ПЯК студентов.

Анализ полученных в ходе констатирующего эксперимента данных позволил сделать вывод о том, что в экспериментальной группе всего 9 % студентов находятся на оптимальном уровне сформированности ПЯК. Эти студенты обладают высокой готовностью к профессиональ­но-ориентированному иноязычному взаимодействию, владеют терми­нологией достаточно, чтобы понять, интерпретировать и перефразиро­

вать аутентичный текст, обладают высокой учебной мотивацией, ответ­ственно подходят кучебной деятельности и понимают степень саморе­ализации в будущей профессиональной деятельности. 40 % студентов были выявлены на допустимом уровне сформированности ПЯК, что характеризует их владение профессиональной терминологией на рус­ском и иностранном языках в пределах необходимого лексического минимума, предложенного программой обучения, они имеют доста­точный словарный запас, но не всегда полно и точно осмысливают услышанное, имеют средний объем слуховой памяти, обладают хоро­шей учебной мотивацией, могут решать задачи самостоятельно и осоз­нают возможность собственной реализации в будущем. Большинство студентов в экспериментальной группе (43 %) находятся на критичес­ком уровне сформированности ПЯК. Это означает, что такие студенты имеют низкий запас русскоязычных и англоязычных терминов, не вла­деют методами семантического анализа, не могут строить лаконичные, четкие ответы на вопросы, скорость иноязычной речевой реакции у них низкая, отсутствует легкость и непроизвольность вариантов выражения мысли. Соответственно у них присутствует низкая учебная мотивация и неспособность самостоятельно оценить результаты своей учебной деятельности. 8 % студентов относятся к категории с недопустимым уровнем сформированности ПЯК, что отражается в отсутствии готов­ности к профессионально-ориентированному иноязычному взаимо­действию, мотивации к учебной деятельности, осознания и понимания самореализации в будущей профессиональной деятельности в связи с чем не будет достигнут положительный результат в совместной с другими студентами учебной и будущей профессиональной дея­тельности.

В контрольной группе результаты сформированности ПЯК распре­делились следующим образом: 16 % испытуемых оказались на недопу­стимом уровне, 45 % - на критическом, 32 % - на допустимом и 7 % - на оптимальном уровне. Вышеприведенные данные эксперименталь­ной и контрольной групп констатирующего эксперимента можно пред­ставить наглядно в виде рис. 18.

Результаты обработки данных всех компонентов, входящих в состав ПЯК студентов экспериментальной и контрольной групп технического вуза, определили целесообразность разработки МУМК, с целью чего нами были опрошены студенты и преподаватели машиностроительно­го профиля (табл. 24-25).

----- 1C ,-------------- --- ,-------------- --- ,----------

о д к н

? экспериментальная группа

? контрольная группа

Рис. 18. Результаты сформированности ПЯК студентов экспериментальной и контрольной групп констатирующего эксперимента

Таблица 24

Результаты анкетирования студентов (выборка по 100 анкетам), %

Данные табл. 24-25 свидетельствуют о том. что студенты (91%) и педагоги (94 %) видят пользу в создании МУМК с целью изучения специальных дисциплин и английского языка для формирования ПЯК студентов технических вузов.

Результаты анкетирования подтвердили, что существование раз­дельных учебников и учебных пособий по дисциплинам машиностро­ительного цикла и английскому языку создает определенные трудности в формировании ПЯК студентов машиностроительного профиля. Это

связано с тем, что нечетко сформулирована методика обучения про­фессионально-ориентированному языку в учебных заведениях; педа­гоги не располагают списками специальных терминов, над которыми необходимо работать при изучении конкретных специальных дисцип­лин; недостаточно разработаны материалы для проверки понимания языковых знаний и речевых умений. Все эти трудности, как показывают наши наблюдения, не позволяют формировать у студентов системные знания и приводят кузкофункциональной и технократической направ­ленности подготовки будущих специалистов машиностроительного профиля, снижают уровень готовности специалиста к будущей профес­сиональной деятельности.

Таблица 25

Результаты анкетирования преподавателей, % (выборка по 24 анкетам)

Кроме того, студенты (94 %) и преподаватели (96 %) высказались в пользу интеграции дисциплин машиностроительного цикла и английс­кого языка, а также целесообразности разработки МУМК. Это опреде­лило место и значение последнего в процессе подготовки студентов к профессиональной деятельности (структура и содержание МУМК под­робно описаны в § 1.3).

На каждом этапе опытно-экспериментальной работы мы выясняли темы по специальной дисциплине и английскому языку, которые сту­денты усваивают с трудом. С этой целью было проведено еще одно анкетирование. В нем принимали участие педагоги (24 чел.) и студенты (300 чел.). Результаты эксперимента показали, что студенты и препода­

ватели в основном называют одни и те же темы, изучение которых вызывает наибольшие трудности. Это означает, что выбранные темы действительно сложны для усвоения. Анкета включала в себя темы специальности «Подъемно-транспортные, строительные и дорожные машины и оборудование» и английского языка, входящие в Федераль­ный государственный образовательный стандарт. Из предложенного перечня тем студентам и педагогам предлагалось отметить наиболее трудные темы для усвоения. Результаты анкетирования представлены в табл. 26-27.

Таблица 26

Результаты анкетирования студентов в 2007—2010 гг.

(выборка по 300 анкетам), %

Итак, наиболее трудные темы для усвоения: типы вопросов; сопро­тивление материалов; теория механизмов и машин; строительная меха­ника; материаловедение; автомобили; автоматизация технологических процессов; описание графиков и диаграмм.

Высокий процент отбора этих тем как самых сложных позволил разработать содержание и структуру МУМК по специальности «Подъем­но-транспортные, строительные и дорожные машины и оборудование» и английскому языку для формирования ПЯК студентов технического вуза. При его построении мы учитывали уровень подготовки студентов и их образовательную потребность.

Таблица 27

Результаты анкетирования преподавателей (выборка по 24 анкетам), %

Также выявлялись педагогические условия формирования ПЯК, без которых сформированность ПЯК будет не результативна; проводились опрос и анкетирование студентов и преподавателей на предмет работы с МП, готовности к использованию МП, обеспечения технического вуза современными техническими средствами информатизации и возмож­ности работы с МУМК. Осуществлялось обучение преподавателей в рамках индивидуальных программ повышения квалификации в области мультимедиа-технологий.

На этом же этапе исследования нами разрабатывалась педагогичес­кая технология, компонентами которой были выявлены: мотивацион­но-целевой, предметно-содержательный, когнитивно-операциональ­ный, контрольно-коррекционный и рефлексивно-прогностический.

Здесь же нами разрабатывались критерии оценки эффективности формирования ПЯК студентов технического вуза. Критерии, которых мы придерживались вслед за И. К. Шалаевым на всем протяжении изыс­кания, следующие: оптимальный, допустимый, критический, недопус­тимый.

Таким образом, результаты констатирующего эксперимента позво­лили установить целесообразность разработки МУМК и педагогичес­кой технологии, которые бы гарантированно влияли на результатив­

ность формирования ПЯК студентов при профессионально-ориенти­рованном обучении иностранному языку в техническом вузе.

Формирующий эксперимент

На втором этапе экспериментальной работы мы ставили перед со­бой задачу оценить педагогическую эффективность МУМК формиро­вания ПЯК студентов технического вуза.

Эффективность МУМК определяется в первую очередь индивидуаль­ной адресностью, т.е. его способностью к повышению и укреплению индивидуальной обучаемости, что позволит сформировать ПЯК сту­дентов.

Под обучаемостью в психологии понимается индивидуальный показатель скорости и качества усвоения в процессе обучения знаний, умений и навыков. В основе обучаемости лежат:

-уровень развития познавательных процессов (восприятие, вообра­жение, память, мышление, внимание, речь);

- уровень развития мотивационной и эмоционально-волевой сфер личности обучающегося:

- развитие производных от МУМК учебной деятельности (усвоение содержательной учебной информации из прямых и косвенных объяс­нений и овладение учебным материалом до степени активного приме­нения).

Максимальный уровень обучаемости определяется возможностя­ми самостоятельного познания, который, в свою очередь, зависит от того, насколько прочно сохранились в памяти способы решения позна­вательных задач.

В связи с этим мы предположили, что скорость выполнения одной контрольной работы на формирующем этапе опытно-эксперименталь­ной работы экспериментальной группы будет выше по сравнению со скоростью выполнения эквивалентной контрольной работы на конста­тирующем этапе. Для этого мы применили формулу расчета /-критерия Стьюдента [36].

Вычисление значений временной корреляции /-критерия /_эмп осу­ществляется по формуле

t.

ЭМП

Итак,

ТА £(^Х,~Л)

где с/, = х, - v, - разность между соответствующими значениями пере­менной х и переменной у; d - среднее этих разностей; п - количество студентов.

В свою очередь окончательный /-критерий Стьюдента ^принимает следующую форму:

IX-

i(n -1)

(4)

Для проверки гипотезы у 25 испытуемых экспериментальной груп­пы в конце учебных годов констатирующего и формирующего этапов сравнивалось время решения пятой контрольной работы (мин). Резуль­таты представлены в табл. 28 ина рис. 19.

Таблица 28

Результаты пятой контрольной работы

Рис. 19. Расчет скорости выполнения одной контрольной работы на формирующем и констатирующем этапах работы экспериментальной группы

Таким образом, на 4-процентном уровне значимости первоначаль­ное предположение подтвердилось. Действительно, среднее время ре­шения контрольной работы на формирующем этапе существенно мень­ше, чем на констатирующем этапе работы экспериментальной группы.

Квалиметрическая оценка профессиональных качеств преподавате­ля, разработанная И. К. Шалаевым [194]. рассчитывается по формуле интегрального коэффициента У_и, которая приведена в работе Е.Т. Ки­товой [66]:

_П-_[+П₂ + //₃ н

(5)

где У_и - интегральный коэффициент формирования ПЯК группы; (//, + //₂ + П_ъ) - итоговые уровни по отдельным параметрам достиже­ния нормы, образца; Н - норма, образец.

Исходя из полученного интегрального коэффициента устанавлива­ется тот или иной уровень формирования ПЯК.

Для примера приведем расчет интегрального коэффициента уровня сформированности ПЯК экспериментальной и контрольной групп на формирующем этапе.

Итоговые уровни по отдельным параметрам формирования ПЯК, выведенные при контроле учебной деятельности студентов экспери­ментальной группы, следующие:

К] = 7,54; К₂ = 7,18; К₃ = 6,81.

Согласно вышеприведенной формуле выполним расчет интеграль­ного коэффициента

У = ^{7,54 + 7,18 + 6,81} =7,17. ^и 3

Данные показывают, что экспериментальная группа находится на допустимом уровне сформированности ПЯК. Это означает, что студен­ты группы могут выполнять профессиональные задачи с учетом норма­тивных требований к профессиональной коммуникации, но могут до­пускать и незначительные нарушения. Они хорошо владеют професси­ональной терминологией на русском и иностранном языках в пределах лексического минимума, предложенного программой обучения. Уста­навливают и уточняют цель и содержание коммуникации с помощью простых речевых моделей и связующих элементов языка: передают информацию, идеи; сохраняют последовательность разговора, исполь­зуя разнообразные лингвистические средства; применяют адекватные стратегии. Произносят слова и различные типы предложений с правиль­ным ударением, ритмом и интонацией, соблюдая деление на смысло­вые группы. Используют краткие и редуцированные формы естествен­ной связной речи. Владеют достаточным словарным запасом, однако не всегда полно иточно осмысливаютуслышанное, имеют средний объем слу ховой памяти. Имеют общительный характер. Знают особенности между народной профессиональной коммуникации. Почти всегда мо­гут лаконично, точно и быстро ответить на вопрос, но при этом у них нет легкости и непроизвольности вариантов выражения мысли. Скорость речевой реакции достаточно высокая. Студенты могут осуществлять осознанную самооценку процессов учения без вмешательства препо­давателя, проявляют готовность ксаморефлексии. Имеют представле­ние о возможности самореализации в конкретной профессиональной области знаний и в обществе.

Аналогично расчет проводится в контрольной группе.

Результаты сформированности ПЯК студентов экспериментальной и контрольной групп формирующего эксперимента представлены в табл. 29 и прил. Р. Как мы видим, уровень сформированности ПЯК у студентов экспериментальной группы значительно возрос, что говорит о высокой эффективности разработанного нами МУМК.

Таблица 29

Результаты сформированности ПЯК студентов экспериментальной и контрольной групп формирующего эксперимента на основе

квалиметрической оценки профессиональных качеств

Педагогам, использующим в своей обучающей деятельности МУМК. было предложено отметить его положительные и отрицательные сторо­ны. К положительным сторонам МУМК они отнесли: удобство управ­ления учебно-познавательной деятельностью студентов, высокую ак­тивность сту дентов на занятиях, их повышенный интерес и постоянную мотивацию при учебной работе с МУМК. наглядность и доступность представления учебного материала. Вместе с тем преподаватели отме­тили, что необходимо внести определенные коррективы в предметно­содержательный компонент МУМК (теоретический материал и практи­ческие задания), уточнить инструктивные материалы по использова­нию системы тестирования, усовершенствовать критериальный аппа­рат результатов учебной деятельности студентов и научно-методичес­кое обеспечение МУМК.

С целью выяснения эффективности применения МУМК мы попро­сили студентов ответить на вопрос: «Какой из видов изложения теоре­тического и практического материала вы считаете наиболее удобным для учебной работы и на каких видах занятий?» Результаты опроса представлены в табл. 30.

Таблица ЗО

Результаты анкетирования студентов (выборка по 100 анкетам), %

Данные анкетирования студентов (41 %) показали, что МУМК удо­бен для усвоения учебного материала, его можно использовать на любом виде занятий.

Кроме того, в ходе экспериментального апробирования МУМК выявлено, что качество подбора и структурирования дидактического материала по специальной дисциплине и английском}’ языку оказывает значительное влияние на усвоение учебного материала на любом виде занятий. МУМК позволяет студентам быстрее усваивать теоретический и практический материал, применять его на практике, классифициро­вать допущенные ошибки и осознанно их исправлять и объяснять, развивать внимание, память и мышление, быстрее и качественнее запо­минать лексику и речевые конструкции. Все это способствует форми­рованию ПЯК студентов технического вуза.

Во время формирующего эксперимента мы провели анкетирование с целью выяснения трудностей усвоения учебного материала, пред­ставленного в МУМК. Например, на вопрос: «Почему, по вашему мнению, вы лучше усвоили учебный материал, используя МУМК?» большинство студентов ответили, что в МУМК учебный материал пред­ставлен структурно (80 %) и наглядно (97 %), более доступно (79 %) и более интересно, так как он связан с будущей профессиональной дея­тельностью (89 %). Однако содержание было одинаковым в МУМК и в традиционной программе обучения. Очевидно, здесь играет особую роль скрытый педагогический фактор. Таким фактором нам представ­ляется обратная связь, так какМУМК и традиционная учебная програм­ма отличаются друг от друга не только характером, но и организацией обратной связи.

Индивидуальный показатель качества усвоения рассчитывался нами по формуле

'К'усв =-f^Ll°⁰ % , (6)

где 7