Компьютерные тренажеры как инструмент моделирования операторской деятельности в психологическом эксперименте

Внимание к психологическим исследованиям профессионально значимых характеристик операторов сложных технологических процессов (ТП) в течение последних десятилетий представляется абсолютно закономерным в свете все повышающейся «цены» человеческого фактора в промышленности. Крупнейшие аварии последних сорока лет, вызванные некачественным операторским управлением, приводят к миллиардным потерям (в долларовых ценах) и огромным ущербам для экологии, жизни и здоровья людей (Duguid, 2001; The 100 Largest Property Losses, 2011).

Специфика работы оператора, управляющего масштабным, сложным, дорогостоящим и взрывоопасным объектом, исключает проведение исследований непосредственно на рабочем месте. Это объясняет появление подходов, основанных на изучении вербальных протоколов операторских действий (Bainbridge, 1974), со временем трансформировавшихся в так называемый исторический метод (process tracing) (Patrick et al., 2006). Вместе с тем всегда предпринимались попытки имитировать в эксперименте фрагменты объектов управления и операторских интерфейсов: от щитовых (Duncan, 1974) до электронных (Billman et al., 2005). Однако такая имитация исключительно в целях психологического эксперимента, естественно, рассматривалась как чрезмерно затратная. А именно недоступность достаточно точной и полной имитации работы ТП объясняет относительный застой в экспериментальных исследованиях операторской деятельности после всплеска интереса 1970-1980-х годов.

В то же время, казалось бы, вне всякой связи с обозначенной тематикой, те же три-четыре последних десятилетия продемонстрировали настоящую революцию в технологии создания и методоло гии использования компьютерных тренажеров (КТ) для обучения операторов технологических процессов (Дозорцев, 2009). Основная мотивация развития КТ - та же: высочайшая цена операторских ошибок, усугубленная кадровыми проблемами. Во всем промышленно развитом мире операторская профессия крайне «горяча» (так, по имеющимся оценкам, половина всех опытных операторов в европейской нефтепереработке уйдет на пенсию в течение пяти ближайших лет). В России при практически разрушенной системе профессиональной подготовки операторов нехватка кадров особенно опасна. Неудивительно, что в такой ситуации компьютерные тренажеры остаются, возможно, единственным эффективным средством передачи операторских навыков. Неслучайно, что мировой рынок КТ переживает бурный рост. Преодолев временный спад, вызванный мировым экономическим кризисом, рынок тренажеров показывает годовой рост в 12% и готов к 2014 г. достичь оборота в 1 млрд долл. (Real-time Process, 2011).

Актуальность тренажеростроения особенно возрастает на фоне все шире распространяющихся систем автоматизации ТП. В начале 1980-х годов британская исследовательница Л. Бэйнбридж находила иронию автоматизации в том, что чем более автоматизирован объект, тем сложнее задача управляющего им оператора (Bainbridge, 1983). Сейчас ситуация стало куда драматичней. Чем сложней современная автоматизация, тем сложнее совокупный объект управления (ТП плюс система управления), следовательно, тем больше у оператора возможность ошибиться и тем более сложная автоматика нужна, чтобы избежать ошибок. Представляется, что вырваться из этой порочной спирали можно только за счет качественного прорыва в подготовке операторов на базе современных КТ.

Цель настоящей работы - проанализировать возможность использования КТ в качестве платформы психологических экспериментов в исследовании операторской деятельности. В первом разделе дана краткая характеристика современных КТ, позволяющая оценить их инструментальные возможности в эксперименте, обсуждается проблема обеспечения мотивационного подобия деятельности оператора в тренинге и на реальном технологическом объекте. Во втором разделе обсуждаются особенности обеспечения валидности в тренажерном эксперименте. В заключительном разделе описывается и анализируется несколько пилотных психологических экспериментов, проведенных с использованием КТ.

1. Краткая характеристика

современных компьютерных тренажеров

Принципиальная структура КТ представлена на рисунке 1. Идея компьютерного тренинга - подменить реальный мир производства его виртуальным аналогом: математической моделью ТП (модель объекта) и имитированной средой управления (информационная модель). Необходима также модель обучения, реализуемая в процессе обучения инструктором. Хотя КТ предусматривает некоторые элементы самообучения, инструктор - ключевой элемент тренинга. С точки зрения собственно обучения, тренажер - всего лишь техническая система, позволяющая более опытному специалисту (инструктору) передавать знания операторам, используя не декларативную, а процедурную форму их представления.

Уместно отметить множественное присутствие человеческого фактора в разработке и использовании КТ. Тренажеры создаются для обучения операторов, верифицируются опытными специалистами (автоматических процедур верификации не существует), используются инструкторами. Более того, окончательное суждение о правильности действий оператора в тренинге может вынести только инструктор (автоматическое оценивание операторских действий в произвольной ситуации невозможно). Наконец, обоснование раз-

Реальный мир

Завод

Заводская система управления

Динамические модели установок

Рис. 1. Принципиальная структура компьютерного тренажера для обучения операторов

Виртуальный мир

нообразных инжиниринговых решений, касающихся ТП, системы управления и собственно тренажера, может быть проведено только в эксперименте с участием операторов.

Точность реализации каждого компонента КТ, конечно, очень важна. Недостаточно точная модель ТП или неверная информационная модель приводят к появлению «ложного» навыка, а недостаточно развитая модель обучения снижает эффективность обучения. В то же время качество тренажера как системы обучения не сводится к качеству исполнения отдельных составляющих, а определяется общим подобием деятельности оператора в КТ его реальной деятельности на объекте. В когнитивном смысле указанное подобие означает, прежде всего, высокую точность воспроизведения в тренинге процесса получения и переработки информации (во времени, объеме, последовательности и взаимосвязи).

Все три составляющие компьютерных тренажеров революционно развиваются. Во-первых, успехи современного математического моделирования позволяют создавать высокоточные динамические модели физико-химических феноменов ТП. Эти модели полны (по управляющим воздействиям и наблюдаемым выходным параметрам), связны (по отдельным участкам технологической схемы), адекватны (в статических режимах и в динамических переходных процессах). Во-вторых, в современных КТ практически точно воспроизводится операторская среда управления (в рассматриваемом классе ТП повсеместно компьютерная). В-третьих, активно нарабатывается методическая база компьютерного обучения, включая дистанционные (невидимые оператором) вмешательства в ход моделируемого ТП, воспроизведение любого динамического состояния процесса, детальное протоколирование всех событий тренажерной сессии. При этом эффективные методики компьютерного тренинга базируются на когнитивных механизмах формирования и закрепления операторских навыков, специфичных для разных ее стадий и различных по участвующим в ней психическим процессам (Дозорцев, 2009).

Создатели современных КТ осознают также необходимость так называемой «предтренажерной» подготовки, в частности, развития навыков прогнозирования и диагностирования нештатных ситуаций. Без этих навыков обучение на КТ может быть так же неэффективно, хоть и менее опасно, как и работа на реальной установке. В качестве примера систем обучения, решающих эту задачу, укажем на автоматизированные системы обучения АФОН и Диагност (Назин, 2006), описание которых приводится в экспериментальной части настоящей работы.

Упомянутый выше принцип подобия также применим и к мотивационному аспекту операторской деятельности, учитываемому в современных тренажерах за счет имитации основных стрессовых факторов работы оператора (Дозорцев, 2007). Можно говорить о трех основных источниках стресса, испытываемого оператором в реальной деятельности:

• - стресс оперирования в зоне опасных значений параметров ТП, на наш взгляд, не может быть смоделирован, поскольку связан, прежде всего, с переживаниями опасности и ее последствий для жизни и здоровья оператора;
• - стресс ожидания возможных потерь вследствие неисправной работы ТП может быть смоделирован за счет вычисления и предоставления обучаемому общей «цены игры», зависящей от качества управления (надо, чтоб оператору «было что терять» в тренинге»);
• - стресс ограниченного времени на принятие решений представляет собой частный случай информационного стресса (Бодров, 2010). В тренинге этот стресс активирует поиск более совершенных способов решения, основанных на эффективных информационных запросах о состоянии ТП. Моделирование этого типа стресса будет рассмотрено подробно в описании третьего пилотного эксперимента.

Нормативные (Общие правила, 2003) и практические требования к тренажерам чрезвычайно строги, что, в свою очередь, работает на КТ как на потенциальную платформу психологического экспериментирования.

2. Обеспечение валидности в тренажерном эксперименте

Идея использовать тренажеры в качестве платформы экспериментально-психологических исследований характеристик человека-оператора требует анализа компьютерного тренинга с позиций психологического эксперимента, а точнее - с позиций обеспечения его валидности с учетом специфики операторской деятельности.

Внешняя валидность, как известно, определяет возможность переноса результатов эксперимента на другое время, место, на другие условия и группы людей. Она тем выше, чем точнее уровень дополнительных переменных в эксперименте соответствует их уровню в реальной деятельности. Положительный перенос возможен, если соблюдаются два условия: собственно эксперимент репрезентативен, т. е. соответствует реальной ситуации; и сама реальная ситуация типична. Представительность тренажерного эксперимента обеспечивается достигаемым в современных КТ подобием модели и среды управления реальному ТП. Репрезентативность же экспериментальной ситуации ограничивается только «фантазией» исследователя, отбирающего для эксперимента те или иные смоделированные события. Как правило, в тренажере имитируются либо нештатные и аварийные ситуации, либо имеющие практические прецеденты, либо «придуманные» опытными экспертами, чьи оценки, будучи субъективными, все же отражают технологическую реальность и теоретические преставления об устройстве моделируемого объекта.

Нельзя не учитывать общие факторы, снижающие внешнюю валидность, такие как эффект тестирования, фактор отбора и интерференция экспериментальных воздействий. Однако, с точки зрения воспроизведения собственно предмета деятельности, эксперимент на тренажере приближается к так называемому эксперименту полного соответствия.

Обеспечение внутренней валидности, как и в большинстве любых психологических экспериментов, в рассматриваемом случае - сложная задача, требующая от экспериментатора немалой изобретательности. Основные факторы, нарушающие внутреннюю валидность, в тренажерных экспериментах таковы:

• - факторы выборки (неэквивалентность групп, экспериментальный отсев);
• - побочные переменные (инструментальная погрешность фиксации действий испытуемого, эффект истории, взаимодействие факторов).

Важно, что сама конструкция современных КТ, имеющих в своем составе продвинутые средства автоматизированного инструктирования и протоколирования хода тренинга, идеально подходит для фиксации операторских действий. Тренажеры обеспечивают:

• - повторяемость начальных состояний тренажерной модели (КТ позволяет с абсолютной точностью восстановить условия задачи для каждого обучаемого);
• - стандартизированную имитацию нарушений хода процесса и работы оборудования (за счет реализации вмешательств в ход процесса в форме заранее создаваемых сценариев);
• - возможность вернуться к любому предыдущему состоянию ТП;
• - восстановление с точностью до секунды действий оператора и инструктора.

Далее приводится описание трех пилотных исследований, проведенных на КТ и обусловленных «внутритренажерными» проблемами, -необходимостью обосновать те или иные нововведения в компьютерном тренинге. Эти примеры иллюстрируют влияние факторов, определяющих валидность, и методы их учета в эксперименте.

3. Пилотные психологические эксперименты на базе компьютерных тренажеров

Эксперимент № 1. Эффективность экологического операторского интерфейса

Операторский интерфейс - важнейший элемент системы компьютерного управления, посредством которого оператор получает практически всю информации о ТП и осуществляет управление им (рисунок 2). Интерфейсы, как правило, построены в соответствии со структурой технологических объектов - от обзора всей установки через крупные технологические блоки к отдельным аппаратам и технологическим позициям. Однако удобные для управления в режимах, близких к нормальным, такие жесткие интерфейсы неэффективны при наступлении нештатных и аварийных ситуаций, развивающихся не столько в соответствии с жестким аппаратным устройством технологической установки, сколько согласно особенностям протекающих в ней различных физико-химических процессов, таких как газо- и гидродинамика, теплообмен, массообмен, химические превращения компонентов и пр. Идея экологического интерфейса (Vicente, Rasmussen, 1992) - усилить эргономические характеристики традиционного интерфейса и дополнить его специальными средствами, облегчающими задачу диагностики причин нарушений и компенсации их последствий - удобной навигацией «вдоль» развития нештатной ситуации, показателями материального и теплового баланса и пр. (рисунок 3).

Экологические интерфейсы разрабатываются и апробируются все шире, разработчики сообщают об их эффективности (Jamieson, 2007; Burns at al., 2008), хотя строгих исследований в этой области не проводилось. Отметим, что на реальном объекте такое исследование провести нельзя, во-первых, из-за технических сложностей и небезопасности реализации одновременно двух типов интерфейсов, во-вторых, из-за невозможности учесть исторические изменения реальной ситуации и, следовательно, сложности задачи оператора при работе в разных интерфейсах. Организовать такой эксперимент на тренажере существенно легче. План эксперимента приведен в таблице 1.

16 Oct 06 14:52:22

EMA "CA

-5.0

TTtTTs

• 1
• 767.7
• 695

T 67.91

• 696.9
• 61.8 ivivj
• 101

:а

• -5.0
• 150 . 0
• 149.0
• 45.4

F 1,22.8

SP1?

• 60.00
• 59’⁸⁷ ? 109.4

ОЧИСТКА ГАЗА

ОТ С02

• 150.0
• 149.2
• 2PC98A
• 7.64
• 7.64 Л,
• 0.0 A?

• 81.8 liDEl
• 11 6 - F
• 7.64
• 7.64

• 0.15
• 0.15
• 105.

М_._0_0_

SJLLZI

• 2РС95А 0.15
• 0.15
• 1мШШ

> 60 J 98r cawi I в

• 2РС93А
• 59.87
• 65.0 AUTO
• 65.00
• 59.87

• 59.64
• 54.6
• -5.0 rnitfiW

AUTO

в 102-ЕА

• 10 8.8
• 102-ЕЕ

’112.6

• 2FC36
• 699.5
• 699.5
• 27.7 ?iLEl
• 5 0.00
• 1 51.27

i Л 58.8

• 6 5.00
• 59.64
• -5.0
• 2L5
• 109.9
• 695.0 697.0 65.8
• —_

c L U b м

I 60.00

• 01
• 10 6
• 51
• 2 14____

• 119-F
• 53.26 AUTO ,

AUTO

1.22

60.00 Г 61.00

72.7 AUTO

• 2LC22
• 65.00
• 65.33
• 2LC18 60.00 60.16

• 38.7 сашшн
• 2FC4 1 0.25

PD0.16

ШЭ_2_^

г ..9.9.2., 5,

Г 127.3

AUTO

102-ЕА

• 2PC24 0.31 A U T 0
• 2РС23
• 1996, ШИ

Рис. 2. Пример технологического экрана в традиционном операторском

интерфейсе

Рис. 3. Пример экологического операторского интерфейса

Таблица 1

План эксперимента № 1

Примечание: X - переход на экологический интерфейс; X' - возвращение к традиционному интерфейсу; О₁₈- средние времена решения задачи диагностики по группам.

Четыре группы испытуемых (две экспериментальные и две контрольные) состояли из трех человек каждая - все студенты старших курсов профильных вузов в возрасте от 20 до 22 лет с базовыми знаниями в области технологии, но без предварительной информации о моделируемом ТП. Проводилась усреднение групп по полу испытуемых и курсу обучения в вузе. Для каждой группы измерялось среднее время диагностики нарушений хода ТП по 30 смоделированным нештатным ситуациям в каждой из двух серий. Проверялась гипотеза снижения среднего времени диагностики при переходе на экологический интерфейс.

Для первой экспериментальной и первой контрольной группы (две первые строки таблице 1) проводилось предварительное тестирование (давшее результат О и О₃ соответственно). Затем после небольшого перерыва для экспериментальной группы вводился экологический интерфейс (воздействие X), а для контрольной группы интерфейс не менялся. Как и следовало ожидать, О₁»О₂ и О₃»О₄, что отражает действие эффекта научения (вторую серию задач все испытуемые решали значительно быстрее).

Для подтверждения экспериментальной гипотезы сравнивались значения Д₁₂=О₁-О₂ и Д₃₄=О₃-О₄, что позволило нивелировать эффект научения и возможную неравномерность групп, неучтенную при рандомизации. Выяснилось, что на статически достоверном уровне (значимость t-критерия = 0,01) Д₁₂>Д₃₄.

План эксперимента для второй экспериментальной и второй контрольной группы (третья и четвертая строки таблицы 1) был «обратным»: для обеих групп сразу вводился экологический интерфейс, а после перерыва для экспериментальной группы возвращался традиционный интерфейс (воздействие X'), в то время как вторая контрольная группа продолжала работу с экологическим интерфейсом. Сравнивались значения Д₅₆=О₅-О₆ и Д₇₈=О₇-О₈. Эффект научения и в этом случае приводил к тому, что О₅»О₆ и О₇»О₈, однако на статистически достоверном уровне Д₅₆<Д₇₈, т.е. отказ от экологического интерфейса увеличивал время диагностики.

Сравнение первых серий для второй экспериментальной и первой контрольной группы (третья и вторая строки таблицы 1) позволил уйти от влияния предварительного тестирования: на статистически достоверном уровне 0₅<0₃ и 0₆<0₄, т.е. испытуемые, начавшие работать сразу в экологическом интерфейсе, диагностировали неисправности быстрее тех, которые работали в жестком интерфейсе.

Зафиксирован также результат О₅<О_Р поскольку первая экспериментальная группа также может рассматриваться как контрольная по отношению ко второй экспериментальной в исследовании без предварительного тестирования.

Отметим преимущества, которые предоставляет использование в описанном эксперименте компьютерного тренажера.

Во-первых, «технологическая» часть (т. е. динамическое поведение ТП в каждой из 60 экспериментальных ситуаций) с абсолютной точностью повторялась для всех 12 испытуемых, участвовавших в эксперименте. Это немыслимо при работе на реальном объекте, где такая повторяемость существенно ограничена действием возмущений и зашумленностью измеряемых (предъявляемых) переменных. При этом, если необходимо, эксперименты могут проводиться параллельно. Во-вторых, поддерживаемый в КТ протокол не только фиксирует все «штатные» действия испытуемых, но и потенциально может стать базой детального мониторинга операторских действий в историческом методе. Элементы такого мониторинга реализовывались в приведенном эксперименте, но их описание выходит за рамки подтверждения проверяемой гипотезы.

Эксперимент №2. Полезность поддержки операторских решений на стадии обучения причинно-следственным связям в технологическом процессе

Очевидно, что управление сложным технологическим процессом невозможно без достаточного знания операторами его динамики и причинно-следственных связей. Работа с тренажерной моделью без тех же знаний и навыков, хоть и безопасна для реального оборудования, но столь же неэффективна. Понимание этого привело к появлению так называемых систем «предтренажерной» подготовки операторов, в частности, систем формирования базовых навыков управления ТП.

Способы такой подготовки известны с еще «докомпьютерных» времен и реализуются в двух базовых методиках «Что произойдет, если...» и «Генерация возможных причин нарушений».

Рис. 4. Методика «Что произойдет, если...»

На рисунке 4 представлен основной кадр автоматизированной методики «Что произойдет, если...», реализованной в автоматизированной системе обучения базовым навыкам управления АФОН (Назин, 2006). Система генерирует отказ (случайным образом из всех отказов выбранного технологического блока), сообщает его обучаемому и отображает перечень некоторых параметров ТП (расходы, температуры, давления, уровни и т.п.). Для каждого параметра обучаемый должен указать один из пяти вариантов поведения («сильно уменьшился», «уменьшился», «не изменился», «увеличился» или «сильно увеличился») в предположении, что имел место заданный системой отказ.

В системе реализовано оценивание действий обучаемого: каждый указанный им симптом оценивается по пятибалльной шкале в зависимости от его удаленности от правильного ответа. Общая оценка за упражнение получается как среднее этих оценок.

По завершении задачи обучаемому предъявляются правильные ответы, чтобы он мог проанализировать возможные ошибки. Подразумевается при этом, что обучаемый может обратиться за разъяснением к инструктору обучения, однако на практике операторы редко этим пользуются. Вопросы, почему их представление о последствиях того или иного отказа ошибочно, остаются без ответа. Это обстоятельство явилось одной из причин, подтолкнувших к созданию специальных схем (когнитивных карт), разъясняющих логику развития аварий.

На рисунке 4 приведен пример такой когнитивной карты, составленной в виде дерева, узлы которого соответствуют событиям или процессам, происходящим с аппаратами ТП, а направленные связи между ними - причинно-следственным отношениям. Помимо простой линейной логики такие схемы позволяют отобразить довольно тонкие и неочевидные ситуации, когда к одному событию сходятся несколько не зависящих друг от друга ветвей событий, по-разному влияющих на конечное событие.

Проверка полезности когнитивных карт при обучении причинно-следственным связям осуществлялась в эксперименте с участием десяти испытуемых". Испытуемые (студенты технического университета) были разделены на экспериментальную (далее - Э) и контрольную (далее - К) группы, однородные по возрасту и степени знакомства с предметной областью.

Все испытуемые проходили вводный инструктаж, во время которого их знакомили с устройством и функционированием ТП, указы-

* В разработке когнитивных карт и проведении эксперимента принимала активное участие П. В. Горх.

Клапан __________

LICALH 6/2J ОТКРЫТА —

Бензин из Е-1А быстро уходит с установки

+ Е-1А

____ ГИДРАВЛИКА Понижение уровня в емкости

Tl 180-5

TIC 3

Бензин в К-1

ГИДРАВЛИКА

Меньшее количество бензина поступает на орошение К-1

TIC 3

ОТКРЫТИЕ -I

Регулятор дает команду на открытие клапана, но это не помогает

ТЕПЛООБМЕН Повышение температуры верха колонны

Рис. 5. Когнитивная карта развития аварийной ситуации

вали на возможные отказы и проводили подробный анализ последствий для нескольких из них. Затем контрольная группа проходила тренировочный этап, в течение которого решала последовательность из 8 задач по методике «Что произойдет, если?» без использования когнитивных карт. Экспериментальная группа решала туже тренировочную последовательность задач, но на этапе «работы над ошибками» после проверки правильности ответа могла вызывать поддержку в виде когнитивных карт развития аварий.

После тренировочного этапа обе группы делали небольшой перерыв, после которого приступали к экзаменационному этапу. Во время «экзамена» испытуемые решали одинаковую последовательность из 8 задач, в которую были включены как встреченные ранее на тренировочном этапе, так и новые задачи. Задачи были равномерно распределены по сложности между тренировкой и экзаменом.

На обоих этапах эксперимента велся подробный протокол, в котором отражалась информация о задаче, ответах обучаемых, а также полученные обучаемыми оценки, время работы над задачей, время просмотра когнитивных схем, количество правильных ответов, грубых и негрубых ошибок.

Все испытуемые показали быстрое научение. На этапе тренировки резко снижалось время решения: с 19 минут до 1 минуты

(лучший результат) и с 9 минут до 4 минут (худший результат). Доля грубых ошибок (например, в направлении отклонения в показании прибора) также снижалось от тренировки к экзамену: в контрольной группе (с 9,0% до 6,7%) и в экспериментальной группе (с 3,6% до 1,2%). Доля негрубых ошибок (например, давался ответ «уменьшился» при правильном «сильно уменьшился») снизилась от тренировки к экзамену, соответственно, с 3,5% до 1,3% в контрольной группе и с 3,0% до 0,8% в экспериментальной группе.

Итак, по мере прохождения все большего числа задач возрастала скорость решения, допускалось меньшее число ошибок. Например, для одной из задач, повторившейся и на этапе экзамена, изменение в оценке от тренировки к экзамену по ансамблю всех испытуемых оказалось статически достоверным на уровне 0,95 по парному критерию Т Вилкоксона.

Очевидно, что обучение по методике «Что произойдет, если?» эффективно. Но насколько полезно использование обучаемыми экспериментальной группы когнитивных карт развития аварий?

На основе выборок данных по долям грубых ошибок, допущенных отдельными испытуемыми контрольной и экспериментальной групп, можно сделать оценку выборочного среднего разности средних долей грубых ошибок между группами (см. рисунок 6; доверительные интервалы построены для уровня достоверности 0,95). Во всех задачах кроме задачи № 8 средняя ошибка в Э-группе ниже, чем в К-группе. Однако утверждать, что разница в результатах в пользу Э-группы заметна и статистически состоятельна, можно только относительно задач №3, 5, 6, 7, 10, 11, 12, 13, 14, 16. Другими словами, начиная с третьей задачи, группа Э постепенно «обходит» группу, совершая в среднем все меньше грубых ошибок от задачи к задаче.

Поскольку размер выборок по задаче в группах для усреднения был крайне невелик (по 5 значений для каждой группы в каждой задаче), для подтверждения достоверности различия между Э-и К-группами по анализируемому признаку к указанным выборкам был применен U-критерий Манна-Уитни. На рисунке 7 показаны значения критерия для каждой задачи и критические значения. В ряде задач в выборках данных по К- и Э-группам присутствовали одинаковые значения, которые были исключены из выборок. В результате объем выборок в задачах № 5, 6, 7,8,10,13,14,15,16 уменьшился, но его хватило для применения критерия.

На рисунке показано, что в задачах № 1, 2, 4, 5, 7, 8, 9,15 выборки неразличимы на уровне значимости 0,95, однако в задачах № 3,6, 10, 11, 12, 13, 14, 16 такое различие можно констатировать. Напо-

— Ниж. гран. дов. инт. ? Выборочное среднее, % — Верх. гран. дов. инт.

Рис. 6. Средняя разность и доверительные интервалы долей грубых ошибок между К- и Э-группами (ось абсцисс - номер решаемой задачи, ось ординат - %)

? и аикр

Рис. 7. Значения U-критерия Манна-Уитни различия выборок % грубых ошибок К и Э групп по задачам (ось абсцисс - номер решаемой задачи)

мним, что начиная с задачи № 9 испытуемые Э-группы уже не пользовались поддержкой когнитивных карт, так что находились с испытуемыми К-группы в равных условиях. При этом грубых ошибок в Э-группе совершалось существенно меньше.

Проведенный пилотный эксперимент подтвердил ожидаемую эффективность использования когнитивных карт развития аварий при обучении логике причинно-следственных связей между отказами в технологических процессах и их последствиями.

Эксперимент №3. Полезность предтренажерного обучения диагностике

Сложность реализации полноценного тренинга эффективных стратегий диагностики связана с необходимостью разрешить следующие проблемы:

• 1) обеспечить богатую и доступную симптоматику неисправностей (матрицу причинно-следственных связей), которая не ограничивалась бы только экспертными оценками специалистов (не всегда бесспорными и трудно пополняемыми);
• 2) гарантировать положительный перенос получаемых навыков за счет обеспечения адекватности предлагаемой операторам симптоматики и воспроизведения в тренинге адекватных механизмов формирования навыков;
• 3) мотивировать оператора на совершенствование стратегии поиска.

В таком тренинге оператору ставится задача отыскать заранее назначенную («загаданную») причину (для простоты - единственную) некоторого набора симптомов за минимально возможное число информационных запросов. (Как можно заметить, дефицит информации в таком подходе подменяет дефицит времени на принятие решений в реальной деятельности, т. к. предполагается, что в сложной ситуации оператор может не успеть воспринять и/или переработать весь имеющийся объем информации.) По результатам каждого запроса оператор может изменять набор возможных причин и проверяемых симптомов. Матрица причинно-следственных связей заполняется заранее; причем источником информации является, прежде всего, тренажерная модель, хотя может привлекаться и эксперт-технолог, и данные наблюдений на реальном ТП.

Одна из систем, решающих указанную задачу, получила название «Диагност» (Назин, 2006). Тренинг в «Диагносте» осуществляется в форме игры с оператором, в ходе которой система последовательно «загадывает» одну из причин отклонения и осуществляет так называемый «начальный вброс» (случайный или заранее определенный), т. е. сообщает пользователю об изменении некоторого технологического параметра вследствие наступления загаданной причины (рисунок 8). Задача оператора - отобрать причины, не противоречащие

Рис. 8. Кадр «Игра» системы «Диагност: уже имеющейся симптоматике (на первом шаге - начальному «вбросу»), сформировать гипотезу о возможной причине неисправностей и сформулировать следующий информационный запрос к системе, т.е. выбрать параметр, симптом по которому оператор решил узнать.

В любой момент оператор может дать ответ, если посчитает, что правильно определил загаданную причину. Если ответ оказывается верным, игра завершается и оператору выдается оценка решения. При неверном ответе оператор получает уведомление об ошибке и может продолжить решение. Ответ может быть ошибочным в двух случаях: 1) либо полученнных симптомов недостаточно для однозначного определения нарушения (мало информации); 2) либо какой-нибудь из уже запрошенных параметров ведет себя иначе, чем в предположении оператора для рассматриваемых им причин (ошибка оператора).

Оператор может пользоваться технологической схемой и описанием процесса. Для последующего анализа результатов тренинга в системе ведется протокол обучения, содержащий начальный «вброс», все действия оператора (запросы симптомов, запросы схемы и описания процесса, выборы причин), а также оценку сделанного «хода». Также ведется учет времени, затраченного на каждый ход. Оператор обеспечивается тремя видами оценки: оценкой выбранной гипотезы; оценкой текущего информационного запроса (по нескольким критериям оптимальности); оценкой всей игры (суммарная стоимость всех запросов и проверок гипотез в сравнении со стоимостью «оптимальной» диагностики).

«Диагност» был опробован в лабораторных условиях (в роли обучаемых выступали разработчики тренажерных моделей, непричастные ни к созданию обучающей системы, ни к моделированию используемого при обучении ТП), а также в практическом тренинге операторов на крупных российских нефтеперерабатывающих заводах. Опрос обучаемых и анализ протоколов тренинга, автоматически поддерживаемых системой, позволяет утверждать (рисунок 9), что с увеличением числа игр:

• 1) ТП становится все более «изученным», о чем свидетельствуют уменьшение числа обращений к схемам и текстовым описаниям процесса;
• 2) снижается физическое время игры, поскольку оператор научается решать задачу диагностики;
• 3) изменяется стратегия решения, что выражается в сведении практически «на нет» числа проверок ошибочных причин и в снижении числа необходимых для решения запросов симптомов.

Рис. 9. Результаты обучения на системе «Диагност»

Это не снимает, однако, проблемы статистически достоверного обоснования эффективности использования системы «Диагност» в качестве специального средства подготовки перед компьютерным тренингом или реальной работой. С этой целью был проведен эксперимент, в котором участвовали две группы испытуемых - студенты старших курсов и выпускники профильных вузов (по 3 человека в каждой группе). Группы усреднялись по полу, стажу обучения или работы в качестве испытуемых. План эксперимента приведен в таблице 2.

Таблица 2

План эксперимента №2

Примечание: X - обучение с помощью системы «Диагност»; 0,₅- средние времена решения задачи диагностики по группам.

Экспериментальная группа сначала проходила обучение на системе «Диагност» (воздействие X), а затем, после часового перерыва, решала диагностические задачи на тренажере (решено было по 8 задач, среднее время решения - О_х). После двухдневного перерыва (для проверки закрепления навыка) эта же группа решала на тренажере новую серию задач (среднее время решения - О₂). При этом контрольная группа не проходила обучения с помощью «Диагноста», а сразу начала работу на тренажере, проведя три серии диагностики, разделенные часовым и двухдневным перерывом (среднее время решения в сериях - О₃, О₄ и О₅ соответственно). При этом последние серии для каждой группы включали ранее не встречавшиеся нештатные ситуации, что имитировало переход от занятий на тренажере к реальному управлению ТП.

Были получены следующие статистически достоверные результаты (уровни значимости П-критерия Вилкоксона варьировали от 0,01 до 0,05 при выборке в 24 диагностических задачи в каждой группе для каждой серии):

• а) О₂<О_г и 0₅<0₄<0₃ (эффект научения, сохраняющийся в обеих группах при длительном перерыве и существенном обновлении задания);
• б) О₁«О₃ (предтренажерное обучение резко улучшает первую се

рию на тренажере). Этот результат представляется очевидным, поскольку, помимо проверяемого гипотетического эффекта, предтренажерное обучение дает ознакомление с ТП;

в) О₁«О₄ и О_г<О₅ (предтренажерное обучение улучшает уже пер

вую серию экспериментальной группы на тренажере в сравнении со второй и даже в сравнении с третьей серией в контрольной группе). Это центральный результат, подтверждающий полезность предтренажерного обучения.

Отметим двоякий эффект использования тренажера в описанном эксперименте. На этапе сравнения результатов обучения экспериментальной и контрольной групп на тренажере (первые две серии) тренажер выступал в своей собственной роли, а система «Диагност» -в качестве средства предтренажерного обучения, основанного на упрощенной модели технологического объекта (на матрице причинно-следственных связей). На этом этапе, с точки зрения внешней валидности, можно говорить об эксперименте полного соответствия. В третьей серии, перед которой в эксперименте делался значительный перерыв и в ходе которой в число диагностических задач подмешивались ранее не встречавшиеся, тренажер имитировал реальный объект (как это было в эксперименте с экологичес ким интерфейсом). Ясно, что такой «двойной» эксперимент принципиально невозможно провести на реальном объекте, даже если отвлечься от связанных с этим опасностей и экономических потерь.

* * *

Приведенные предварительные результаты показывают потенциальную возможность использовать компьютерные тренажеры в психологических экспериментах. Дальнейшее продвижение по этому пути потребует совместных усилий психологов и разработчиков компьютерных тренажеров, до сих пор использующих различные (иногда - непересекающиеся) теоретические и методические подходы к решению общей задачи обеспечения эффективной и безопасной работы человека-оператора.

Принципиальная схема эксперимента на тренажере такова: варьируются параметры отдельных составляющих КТ с целью измерения воздействия этих изменений на разнообразные проявления операторской деятельности. Так, изменяя тренажерную модель (создавая различные нештатные ситуации) можно изучать стратегии принятия операторских решений (Dozortsev, Nazin, 2009). Меняя информационную модель, можно оптимизировать эргономику операторских интерфейсов. Методы обучения могут верифицироваться за счет варьирования модели обучения. Особый интерес может представлять исследование стрессоустойчивости, поскольку в тренажере можно не только изменять интенсивность стресса, но и создавать стрессы разного типа (объективная сложность задачи, дефицит информации, информационная перегрузка, высокий темп поступления информации и пр.).

Новые возможности КТ открывают и для исследования влияния имитируемых в эксперименте особых условий рабочей среды на эффективность психической регуляции операторской деятельности (Обознов, 2003).

С инструментальной точки зрения необходимым представляется наращивание функциональности мониторинга и протоколирования действий оператора в тренажере вплоть до совмещения тренажеров с современными средствами графической регистрации движения глаз (электроокулографии - ЭОГ). Это сделает возможным:

• - изучение профессионально значимых психологических характеристик человека-оператора в адекватных условиях сложной профессиональной деятельности;
• - идентификацию применяемых на практике диагностических стратегий. Теоретически такие стратегии известны (Dozortsev,

Nazin, 2009), но, по какой причине и каким образом оператор переходит от одной из них на другую, по-видимому, можно исследовать только на КТ и с привлечением ЭОГ;

- построение объективной оценки уровня обученности операторов в результате компьютерного тренинга на основе изменений длительности саккадических интервалов вследствие снижающейся субъективной сложности задачи (Голиков, Костин, 1996). Такой оценки очень не хватает разработчикам и практическим пользователям тренажерных систем.

Литература

Бодров В. А. Информационный стресс. М.: Пер Сэ, 2000.

Голиков Ю. Я., Костин А. Н. Психология автоматизации управления. М.: Изд-во «Институт психологии РАН», 1996.

Дозорцев В. М. Тренинг принятия интеллектуальных решений на примере задач диагностики: регулятивный и мотивационный аспекты // Материалы IV съезда Российского психологического общества. Ростов-на-Дону, 2007. Т. 1. С. 324-325.

Дозорцев В. М. Компьютерные тренажеры для обучения операторов технологических процессов. М.: Синтег, 2009.

Назин В. А. Автоматизированные системы обучения персонала технологических установок // Автоматизация в промышленности. 2006. №6. С. 10-14.

Обозное А. А. Психическая регуляция операторской деятельности. М.: Изд-во «Институт психологии РАН», 2003.

Общие правила взрывобезопасности для взрывопожароопасных химических, нефтехимических и нефтеперерабатывающих производств (ПБ 09-540-03). М.: Металлургия, 2003.

Bainbridge L. Analysis of Verbal Protocols from a Process Control Task // E. Edwards, F. P. Lees (Eds). The Human Operator in Process Control. L.: Taylor and Francis Ltd, 1974. P. 146-158.

Bainbridge L. Ironies of Automation // Automatica. 1983. V. 19. №6. P. 775-779.

Billman D. et al. Processes in Diagnostic Reasoning: Information Use in Causal Explanations // Program of the 27^th Annual Conference of the Cognitive Science Society. NJ: Erlbaum. 2005. P. 262-267. URL: http://cll.stanford.edu/~billman/publications/Billman05CS. pdf (дата обращения: 15.06.2013).

Burns C.M. et al. Evidence that Ecological Interface Design Supports Situation Awareness // Human Factors. 2008. V. 50. P. 663-679.

Dozortsev V.M., Nazin V.A. New Approach to Training of Technical Systems Faults Diagnostic Skills: Use of Probabilistic Models // Trans.

13^th IFAC Symposium on Information Control Problems in Manufacturing, Moscow. 2009. P. 701-706.

Duncan K.D. Analytical Techniques in Training Design // E. Edwards, F. P. Lees (Eds). The Human Operator in Process Control. L.: Taylor and Francis Ltd, 1974. P. 283-319.

Duguid I. Take this Safety Database to Heart // Chemical Engineering. 2001. № 7. P. 80-84.

Jamieson G.A. Ecological Interface Design for Petrochemical Process Control: An Empirical Assessment // IEEE Trans. Systems, Man and Cybernetics. 2007. V. 37. № 6. P. 906-920.

Patrick J. Human Processes of Control: Tracing the Goals and Strategies of Control Room Teams // Ergonomics. 2006. V. 49. № 12-13. P. 1395-1414.

Real-time Process Optimization and Training Outlook. Five Year Market Analysis and Technology Forecast through 2015 - ARC Advisory Group, 2011.

The 100 Largest Property Losses 1972-2011 (in the Hydrocarbon Industry). 22^nd Edition, Marsh & McLennan Companies, 2011. URL: http://www. sobanebrasil.org/adm/fotos/9774519fda7f6d645f39d875dd6cle86. pdf (дата обращения: 15.06.2013).

Vicente К. J. and Rasmussen J. Ecological Interface Design: Theoretical Foundations // IEEE Transactions on Systems, Man and Cybernetics. 1992. V. 22. №4. P. 589-606.

Автор: Обознов А.А.