Проверка модели.
Проверка модели представляет собой процесс, в ходе которого достигается приемлемый уровень уверенности пользователя в том, что любой вывод о поведении системы, сделанный на основе моделирования, будет правильным.
Невозможно доказать, что та или иная имитация является правильным или <правдивым> отображением реальной системы. Но нас не должна занимает проблема доказательства <правдивости> модели. Вместо этого нас интересует главным образом справедливость тех более глубоких умозаключений, к которым мы пришли или к которым придем на основании имитационного моделирования. Таким образом, нас волнует обычно не справедливость самой структуры модели, а ее функциональная полезность [47,55,56,57,58,59,60,61,62 и др.].Проверка модели - этап чрезвычайно важный, поскольку имитационные модели вызывают впечатление реальности, и как разработчики моделей, так и их пользователи легко проникаются к ним доверием. К сожалению, для случайного наблюдателя, а иногда и для специалиста, искушенного в вопросах моделирования, бывают скрыты исходные предположения, на основе которых строилась данная модель. Поэтому проверка, выполненная без должной тщательности, может привести к катастрофическим последствиям. Такого процесса, как <испытание> правильности модели, не существует. Вместо этого экспериментатор в ходе разработки должен провести серию проверок, с тем чтобы укрепить свое доверие к модели. Для этого могут быть использованы проверки трех видов. Применяя первую из них, мы должны убедиться, что модель верна, так сказать, в первом приближении. Например, следует поставить такой вопрос: не будет ли модель давать абсурдные ответы, если ее параметры будут принимать предельные значения? Мы должны также убедиться в том, что
37
результаты, которые мы получаем, по-видимому, имеют смысл. Последнее может быть выполнено для моделей существующих систем методом, предложенным Тьюрингом.
Он состоит в том, что людей, непосредственно связанных с работой реальной системы, просят сравнить результаты, полученные имитирующим устройством, с данными, получаемыми на выходе реальной системы. Для того чтобы такая проверка была несколько более строгой в научном отношении, мы можем предложить экспертам указать на различия между несколькими выборками имитированных данных и аналогичными выборками, полученными в реальной системе [47, 55, 56, 57, 58, 59,60,61,62 и др.].Второй метод оценки адекватности модели состоит в проверке исходных предположений, и третий - в проверке преобразований информации от входа к выходу. Последние два метода могут привести к необходимости использовать статистические выборки для оценки средних значений и дисперсий, дисперсионный анализ, регрессионный анализ, факторный анализ, спектральный анализ, автокорреляцию, метод проверки с помощью критерия <хи-квадрат> и непараметрические проверки. Поскольку каждый из этих статистических методов основан на некоторых допущениях, то при использовании каждого из них возникают вопросы, связанные с оценкой адекватности. Некоторые статистические испытания требуют меньшего количества допущений, чем другие, но в общем эффективность проверки убывает по мере того, как исходные ограничения ослабляются [47, 55, 56, 57, 58, 59, 60, 61, 62 и др.].
Способы оценки имитационной модели делят натри категории:
1) верификацию, используя которую экспериментатор хочет убедиться, что модель ведет себя так, как было задумано; 2) оценку адекватности - проверку соответствия между поведением модели и поведением реальной системы и 3) проблемный анализ-формулирование статистически значимых выводов на основе данных, полученных путем машинного моделирования. Для осуществления этой оценки часто бывает необходимо предпринять целый ряд действий, начиная от поэтапного испытания модели на настольном калькуляторе (это делается перед
компоновкой машинной программы из этих этапов) до проведения полевых
38
испытаний. Как бы то ни было, сами эти испытания связаны с трудностями, присущими эмпирическому исследованию; к числу таких трудностей относятся следующие ситуации: 1) высокая стоимость получения данных вынуждает пользоваться небольшими выборками; 2) данные чрезмерно разделены На различные группы и 3) используются данные, достоверность которых сомнительна. [47, 55, 56,57, 58,59, 60, 61, 62 и др.].
Таким образом, вопрос оценки адекватности модели имеет две стороны: приобретение уверенности в том, что модель ведет себя таким же образом, как и реальная система; установление того, что выводы, полученные из экспериментов с моделью, справедливы и корректны. Оба эти момента в совокупности сводятся к обычной задаче нахождения равновесия между стоимостью каждого действия, связанного с оценкой адекватности модели, ценностью получаемой все в больших количествах информации и последствиями ошибочных заключений.