ФОРМИРОВАНИЕ И ФУНКЦИОНИРОВАНИЕОДНОРОДНОЙ КОМАНДЫ

В настоящем разделе приводится модель формирования однородной команды, основывающаяся на рассмотрении иерархий взаимных представлений агентов о типах друг друга, то есть о существенных параметрах, определяющих эффективность индивидуальной деятельности (чем выше эффективность деятельности агента - больше значение его типа, тем меньше его затраты).

При этом предполагается, что автономность деятельности сформированной команды соответствует стабильному информационному равновесию игры агентов, в котором ожидания членов команды относительно поведения друг друга оправдываются.

В качестве содержательного примера в настоящем разделе используется распределение между членами однородной команды заданного объема работ с целью минимизации суммарных затрат на выполнение этого объема работ. Минимально необходимые сведения из теории рефлексивных игр приведены в Приложении.

Рассмотрим команду - множество N = {1, 2, ..., n} агентов. Стратегией i-го агента является выбор действия xi > 0, что требует от него затрат сг(хг-, ri), где ri > 0 - тип данного агента, отражающий эффективность его деятельности (будем считать, что функции затрат являются квадратичными функциями типа Кобба-Дугласа, то есть ci(xi, ri) = (хг)2 /2 ri). Обозначим х = (хь х2, ..., xn) - вектор действий агентов.

Предположим, что целью совместной деятельности агентов является достижение результата - суммарного «дей-ствия» R (то есть, обеспечение выполнения условия ^ xi = R) с

С

минимальными суммарными затратами

теоретико-игровой точки зрения можно условно считать, что целевые функции агентов совпадают (как и в модели Маршака-Раднера - см.

Содержательными интерпретациями данной задачи являются: выполнение заказа объединением предприятий, выполнение заданного объема работ бригадой, отделом и т.д. Без ограничения общности положим R = 1.

Если вектор типов r = (rb r2, ¦¦¦, rn) является общим знанием [78], то, решая задачу условной оптимизации

V x2 .

> ® min ,

t~N 2rt {x=i}

' ieN

каждый из агентов может вычислить оптимальный вектор действий

x*(r) = (x*(r), x*(r), x*n(r)),

17

где

(1) x*(r) = ri / V r} , i e N.

jeN

Рассмотрим несколько различных вариантов информированности агентов о векторе их типов, отличающихся от общего знания (в данной модели имеется иерархия представлений агентов о типах друг друга). А именно, ограничимся двумя случаями : в первом каждый агент имеет представления rij > 0 о типах других агентов, во втором - представления rijk > 0 об этих представлениях, i, j, k e N. Другими словами, в первом случае, соответствующем первому рангу рефлексии, i-ый агент считает, что j-ый агент имеет тип rij и, в свою очередь, считает это общим знанием. Во втором случае, соответствующем второму рангу рефлексии, i-ый агент считает, что j-ый агент считает, что k-ый агент имеет тип ri]k и, в свою очередь, считает именно это общим знанием.

Основная идея информационного равновесия на качественном уровне заключается в том, что каждый реальный агент моделирует поведение своих оппонентов - фантомных агентов (то есть представлений реальных или фантомных агентов друг о друге) - на основании своих представлений об их типах, их представлениях о

типах друг друга и т.д. (в зависимости от ранга рефлексии). На нижнем уровне такой «последовательности отражений» должно существовать общее знание, что позволяет найти «равновесие Нэша» игры фантомных агентов нижнего уровня, затем вычислить наилучшие ответы агентов следующего уровня и т.д., вплоть до реальных агентов - см.

В качестве отступления отметим, что если существует управ-ляющий орган - центр, которому известны истинные типы агентов и который осуществляет мотивационное управление (стимулирует агентов в зависимости о выбираемых действий и/или достигнутых результатов - см. выше и [70, 71]), то, независимо от информированности агентов при использовании центром пропорциональной системы стимулирования со ставкой оплаты 1 / ^ TJ каждый из

JeN

агентов независимо выберет соответствующее действие (1) [70]. Кроме того, центр может взять на себя координацию распределения информационных потоков между агентами, снизив тем самым информационную нагрузку на них (подобные эффекты в иерархических системах рассматривались в монографии [67]).

Будем считать, что свой тип каждому агенту известен достоверно. Кроме того, в рамках аксиомы автоинформированности [78] получаем, что rii = ri, riij = rij, riJj = rij, i, j e N, то есть представления агента о своих представлениях совпадают с самими представлениями (случаи «раздвоения личности» и нетривиальной авторефлексии мы не рассматриваем).

В рамках своих представлений каждый агент может предсказать, какие действия выберут другие агенты, каковы будут индивидуальные затраты и каковы будут суммарные затраты. Если выбор действий производится многократно, и наблюдаемая некоторым агентом реальность оказывается отличной от его представлений, то он вынужден корректировать свои представления и при очередном своем выборе использовать «новые» представления.

Совокупность наблюдаемых i-ым агентом параметров назовем его субъективной историей игры (см. Приложение) и обозначим hi, i e N. В рамках рассматриваемой модели субъективная история игры может включать:

действия, выбранные другими агентами (будем считать, что свои действия агент знает всегда) - x-i = (xb x2, ¦.., x^, xi+\, ¦.., xn);

затраты (фактические) других агентов (при этом он может вычислить и суммарные затраты) - с4 = (сь с2, ¦.., ei-1, oi+1, ¦.., сп);

суммарные затраты всех агентов - c = V ci ;

ie N

действия и затраты (фактические) других агентов (при этом он может вычислить и суммарные затраты) - (x-i; с-г);

действия других агентов и суммарные затраты - (x-i; с).

Видно, что перечисленные варианты неравнозначны: вариант

четыре наиболее «информативен», вариант три менее «информативен», чем вариант два и т.д.

Два случая структур информированности (представления вида rij и вида rijk) и пять вариантов субъективных историй игры (будем считать, что субъективные истории и структуры информированности всех агентов одинаковы, иначе число возможных вариантов резко возрастает) порождают десять моделей, условно обозначенных 1-10 (см. Табл. 4).

Табл. 4

Модели формирования команды Субъективная история игры Структура информированности {r,j} Kk} У-i Модель 1 Модель 6 с-, Модель 2 Модель 7 с Модель 3 Модель 8 (У-,; С-,) Модель 4 Модель 9 (У-,; с) Модель 5 Модель 10 Рассмотрим, какие процедуры принятия решений могут использовать агенты при выборе своих действий. В рамках структу-

ры информированности {rij} i-ый агент выбирает свое действие, следуя процедуре (1), тогда

х*^}) = г- /?r ,

jeN

Или, что то же самое, оценив действия оппонентов в соответствии с процедурой (2), вычисляет свое действие, приводящее к требуемой сумме действий:

x*({rj}) = 1 - X (r-j / XГ ), i е N.

1 *i jeN

Легко видеть, что процедуры (2) и (3) эквивалентны. В рамках структуры информированности {rjk} i-ый агент может, оценив действия оппонентов в соответствии с процедурой (1):

х* ({rjk }) = r-j / X j , j е N,

keN

вычислить свое действие, приводящее к требуемой сумме действий:

х*^}) = 1 - X (rij/X j ), i e N.

j keN

Описав модели принятия агентами решений в статике, рассмотрим динамику их коллективного поведения (см. также раздел П.5 Приложения).

Предположим, что на каждом шаге агенты принимают реше-ния, используя информацию только о предыдущем шаге, то есть субъективная история игры включает только соответствующие значения предыдущего периода времени.

Обозначим Wit (h\) - текущее «положение цели» i-го агента в периоде t - его представления I'. о типах оппонентов, которые могли бы приводить к наблюдаемым данным агентом их выборам в периоде t = 0, 1, 2, ... , i e N. Другими словами, Wit (h.) - такая

структура информированности, которая «объясняет» наблюдаемое агентом поведение оппонентов.

Предположим, что первоначально агенты имеют представления I,0 и изменяют их в зависимости от субъективной истории игры в соответствии с гипотезой индикаторного поведения [80] : (6) I'+1 = I' + gt (W*(h ) - I'), t = 1, 2, ... , i e N,

где gl - вектор, компоненты которого - числа из отрезка [0; 1],

интерпретируемые как «величины шагов» к положению цели и обладающие описываемыми в [80] свойствами, необходимыми для сходимости процедуры (6). Так как представления каждого агента описываются конечным числом параметров rij- или rijk, i, j, k e N, то под записью (6) будем понимать «векторную» формулировку закона независимого изменения компонент структуры информиро-ванности.

Отметим, что гипотеза индикаторного поведения является лишь одним из возможных вариантов описания коллективного поведения [48, 62, 63, 80], но мы ограничимся ее использованием, так как, с одной стороны, ее свойства исследованы наиболее подробно по сравнению с другими процедурами, а с другой стороны - как показывают имитационные эксперименты, она достаточно адекватно описывает поведение многих реальных субъектов.

Теперь мы имеем все необходимое для того, чтобы корректно формально определить, что будет пониматься под командой. А именно, командой в рамках «рефлексивного» описания принятия решений будем считать множество агентов, выборы которых согласованы с иерархией их взаимных представлений друг о друге.

согласованности информационного управления, отвечающих за то, чтобы реальные действия или выигрыши агентов совпадали с ожидаемыми действиями или выигрышами (см. Приложение и [7678]).

Таким образом, в каждом конкретном случае динамика изменения взаимных представлений агентов описывается зависимостью W,, (•) положения цели от субъективной истории игры. Рассмотрим

в качестве иллюстративного примера модели 1-10 (Табл. 4), детализировав историю игры и положения целей.

Модель 1. Будем считать, что агент i, имеющий структуру информированности {r,j}, наблюдает действия x-i, выбранные другими агентами.

Обозначим множество тех типов оппонентов i-го агента, при которых их действия, выбираемые в соответствии с выражением (2), совпадут с наблюдаемыми действиями x-i:

W, = {r,j > 0, j e N \ {i} | rj/ Vrj = x;, j e N \ {i}}.

je N

Обозначим wj (x—) - j-ую проекцию ближайшей к точке

(rl )j е N \ {,} точки множества W, . Тогда динамику представлений i- го агента можно описать следующим образом

j = rj + gj (wj (x-i) - rj), j e N \ {i}, t = 1, 2, . , i e N,

а выбор им действий будет следовать выражению (2).

Отметим, что данная процедура определения положения цели не является единственно возможной. Например, альтернативой является вычисление агентом на основе своих представлений предполагаемых действий других агентов в соответствии с процедурой (2), а затем выбор своего действия, дополняющего сумму действий оппонентов до требуемой величины (в рассматриваемой модели принятой равной единице).

Модель 2. Будем считать, что агент i, имеющий структуру ин-формированности {r,j}, наблюдает затраты с-, других агентов.

Обозначим множество тех типов оппонентов i-го агента, при которых их затраты при действиях, выбираемых в соответствии с выражением (2), совпадут с наблюдаемыми затратами с-

W2 = {r,j > 0, j e N \ {i} | Фп / V r4 , j = j j e N \ {i}}.

je N

Обозначим wj (c_i) - j-ую проекцию ближайшей к точке

(rj )j е N \ {г} точки множества W2. Тогда динамику представлений i-

го агента можно описать процедурой, аналогичной процедуре (8), а выбор им действий будет следовать выражению (2).

Качественно, данный случай (в смысле информативности и разрешимости соответствующей системы уравнений - см. выражения (7) и (9)) не сильно отличается от модели 1.

Модель 3. Будем считать, что агент i, имеющий структуру информированности {rij}, наблюдает суммарные затраты c всех агентов.

Обозначим множество тех типов оппонентов i-го агента, при которых суммарные затраты совпадут с наблюдаемыми суммарными затратами c:

W3 = {rij > 0, j e N\{i} | фи ri) + X jj / Xr , j = c}.

jeN\{i} jeN

Обозначим wj (с) - j-ую проекцию ближайшей к точке (rj ) е N \ {i}

точки множества W3. Тогда динамику представлений i-го агента

можно описать процедурой, аналогичной процедуре (8), а выбор им действий будет следовать выражению (2).

Качественно, данный случай (в смысле информативности и множественности решений уравнения, входящего в определение

множества W3 в выражении (10), а также сложности моделирования) существенно отличается от моделей 1 и 2.

Модели 4 и 5 описываются по аналогии с моделями 1 и 2, и рассматривать их подробно мы не будем.

Модель 6. Будем считать, что агент i, имеющий структуру информированности {rjk}, наблюдает действия x_i, выбранные другими агентами.

Обозначим множество тех типов оппонентов i-го агента, при которых их действия, выбираемые в соответствии с выражением (4), совпадут с наблюдаемыми действиями x_i:

W6 = {ryk > 0, j е N \ {i}, k e N | r^/ X j = X, j e N \ {i}}.

ke N

Обозначим w'jjk (x—) - jk-ую проекцию ближайшей к точке (j )j e N \ {,} точки множества W6. Тогда динамику представлений i- го агента можно описать следующим образом

j = j + gj (wjk (x-i) - j), j e N \ {i}, t = 1, 2, ... , i e N, а выбор им действий будет следовать выражению (5), то есть:

}) = 1 - V (rj / V j ), i e N.

j keN

Модель 6 по технике описания и анализа аналогична модели 1, модель 7 - модели 2 т.д., поэтому рассматривать подробно модели 7-10 мы не будем.

Итак, с точки зрения каждого из агентов в модели 1 имеется n - 1 уравнение с n - 1 неизвестным; в модели 2: n - 1 уравнение с n - 1 неизвестным; в модели 3: одно уравнение с n - 1 неизвестным; в модели 4: 2 (n - 1) уравнений с n - 1 неизвестным; в модели 5: n уравнений с n - 1 неизвестным; в модели 6: n - 1 уравнение с n (n - 1) неизвестным и т.д.

В заключение настоящего раздела рассмотрим наиболее простую из десяти перечисленных выше моделей, а именно - модель 1 команды из трех агентов, имеющих сепарабельные квадратичные функции затрат с^,, ri) = (x,)2 / 2 r,.

Пример 3.1. Рассмотрим модель 1. Из (7) вычисляем: w13(x2, x3) = x3 r1 / (1 - x2 - x3),

w12(x2, x3) = x2 rX / (1 - x2 - x3),

w21(x1, x3) = x1 r2 / (1 - x1 - x3), w23(x1, x3) = x3 r2 / (1 - xj - x3), w31(x1, x2) = x1 r3 / (1 - x1 - x2), w32(x1, x2) = x2 r3 / (1 - x1 - x2),

Пусть ri =1,8; r2 = 2; r3 = 2,2, а начальные представления агентов о типах друг друга одинаковы и равны двум (вариант 1). Объективно оптимальным (в смысле минимума суммарных затрат) является вектор действий (0,30; 0,33; 0,37).

Предположим, что агенты действуют следующим образом: на основании собственных представлений о своем типе и типах оппонентов они вычисляют в соответствии с процедурой (2) действия оппонентов, доставляющие «субъективный» суммарный минимум сумме затрат (предсказывают действия оппонентов); сравнивают наблюдаемые действия с предсказанными и изменяют свои пред-

67

ставления о типах оппонентов пропорционально разности между наблюдаемыми и предсказанными действиями с коэффициентом пропорциональности gj = 0,25, i,j е N, t = 1, 2, ... .

В результате такой процедуры получаем через 200 шагов вектор действий (0,316; 0,339, 0,345) и следующие представления агентов о типах друг друга г12 = 1,93 < г2, г13 = 1,94 < г3, г21 = 1,86 > г1, г23 =2,01 < г3, г31 = 2,02 > г1, г32 = 2,17 > г2. Несмотря на несовпадение представлений с реальностью, ситуация является стабильной - ожидаемые и наблюдаемые действия совпадают.

На Рис. 5 для первого варианта приведена динамика действий агентов, на Рис. 6 - суммарное «рассогласование» действий агентов (корень из суммы квадратов разностей наблюдаемых и ожидаемых действий).

0,35 - 0,34 - 0,34 - 0,33 - 0,33 - 0,32 - 0,32 -

0,31 -

Рис. 5. Динамика действий агентов (вариант 1)

Пусть при г! =1,8; г2 = 2; г3 = 2,2 начальные представления агентов о типах друг друга изменились и стали равны следующим

значениям (вариант 2):

г 0 = 2 г 0 = 25 г 0 = 15 г 0 = 25 г 0 = 15 г 0 = 2

12 ' ' ' 21 ' ' 23 ' ' 31 ' ' 32 '

Объективно оптимальным (в смысле минимума суммарных затрат) является по-прежнему вектор действий (0,30; 0,33; 0,37).

Рис. 6. Динамика рассогласования (вариант 1)

0,03 0,025 0,02 0,015 0,01 0,005 0

Через 200 шагов вектор действий (0,298; 0,3484, 0,3524) и следующие представления агентов о типах друг друга r12 = 2,1 > r2, Г13 = 2,12 < Гз, Г21 = 1,71 < ri, Г23 =2,01 < Г3, Г31 = 1,85 > ri, r32 = 2,16 > r2. Несмотря на несовпадение представлений с реальностью, ситуация является стабильной - ожидаемые и наблюдаемые действия совпадают.

Рис. 7. Динамика действий агентов (вариант 2)

1 13 25 37 49 61 73 85 97 109 121 133 145 157 169 181 193

0,35 0,30 0,25

При использовании процедуры (8) при тех же начальных данных получаем вектор действий (0,318; 0,341, 0,341) и следующие

На Рис. 7 приведена динамика действий агентов, на Рис. 8 - суммарное «рассогласование» действий агентов.

представления агентов о типах друг друга r12 = 1,93 < r2, r 13 = 1,93 < r 3, r21 = 1,87 > r1, r23 = 2,00 < r3, r31 = 1,05 > rb r32 = 2,2 > r2. Несмотря на несовпадение представлений с реально-стью, в этом случае ситуация также является стабильной - ожидаемые действия и наблюдаемые совпадают с точностью до шести знаков после запятой.

0,1

0,05

0

1 13 25 37 49 61 73 85 97 109 121 133 145 157 169 181 193

Рис. 8. Динамика рассогласования (вариант 2)

Такое явление, как стабильность информационного равновесия, в котором представления агентов друг о друге не совпадают с истиной, имеет простое объяснение: набор систем уравнений (7) для всех агентов относительно представлений агентов и их действий имеет не единственное решение. Действительно, например, в случае двух агентов система из трех уравнений

r

12

(14)

r1 + r12

I Х2 — 1

r

21

= х,

r2 + r21

с четырьмя неизвестными r12, r21, х1, х2 имеет бесконечное множество решений: выражая все неизвестные через х1, получим сле-дующее семейство решений (при подстановке представлений агентов в (2) получаются тождества): r12 = r1 (1 / х1 - 1),

r21 = r2 х1 / (1 - х0, х2 = 1 - хь х1 е (0; 1).

21

Отметим, что переход к модели 4, то есть добавление информации о затратах оппонентов, может сузить множество решений соответствующей системы уравнений. В рассматриваемой модели одновременное наблюдение затрат и действий агента позволяет однозначно определить его тип (за один шаг). Приведем пример.

Пример 3.2. Пусть имеются два агента, типы которых r1 = 1,5; r2 = 2,5. Начальные представления: r^ = 1,8, r20j = 2,2, то есть существенно «неправильные». Конечные (через 200 шагов) представления агентов друг о друге равны r12 = 1,747; r21 = 2,147, то есть не приблизились к истине.

0,52

0,47

1 13 25 37 49 61 73 85 97 109 121 133 145 157 169 181 193

Рис. 9. Динамика действий агентов в примере 3.2

0,42

0,57

Рис. 10. Динамика рассогласования в примере 3.2

На Рис. 9 приведена динамика действий агентов, на Рис. 10 - суммарное «рассогласование» действий агентов.

Субъективно равновесными являются действия х1 = 0,4614; х2 = 0,5376. При этом наблюдаемые действия являются информационным равновесием - они согласованы с индивидуальными представлениями агентов (удовлетворяют системе уравнений (14)).

Множество субъективных равновесий для рассматриваемого примера изображено на Рис. 11, на котором кружком помечена начальная точка, ромбиком - истинные значения типов, стрелкой указано изменение представлений агентов.

Из системы уравнений (14) следует, что стабильными будут все информационные равновесия, удовлетворяющие следующему условию: (15) r12 r21 = r1 r2.

Содержательно условие (15) означает, что во сколько раз первый агент переоценивает (недооценивает) второго, во столько раз второй недооценивает (переоценивает) первого. Агрегированной характеристикой команды в целом в рассматриваемом случае можно условно считать произведение типов членов команды.

Множество взаимных представлений (r12; r21), удовлетворяющих (15), представляет собой гиперболу на соответствующей плоскости. Пример такой гиперболы для случая r1 = 2; r2 = 1 приведен на Рис. 11.

Проведенный анализ дает возможность не только определить множество равновесий (15), но и исследовать области их притяже- 72

ния: из (8) следует, что динамика взаимных представлений удовле-

творяет следующему уравнению:

j ..t ,.t-1

лп Dr12 _ /12 r12 , 1 о

(16) т^ = ~т —, t = 1, 2, Dr21 /21 r21

следовательно, при постоянных и одинаковых «шагах» / траекториями изменения взаимных представлений будут прямые, прохо-дящие через ноль. Угол наклона этих прямых (см. Рис. 12) - областей притяжения точек их пересечения с гиперболой (15) - определяется начальной точкой (например, любая начальная точка, лежащая на выделенной на Рис. 12 жирным шрифтом прямой r12 = r21 / 2, приводит к истинному равновесию).

Рис

. 12. Множество субъективных равновесий и области их притяжения

Данный факт представляет интерес с точки зрения информационного управления - зная интересующую его конечную точку, центр легко может вычислить множество начальных точек (прямую), начав движение из которой агенты сами придут в требуемое

22

для центра равновесие . •

Завершив рассмотрение примера, можно сделать вывод, что стабильность команды и слаженность ее работы может достигаться, в том числе, и при ложных представлениях членах команды

друг о друге. Выход из ложного равновесия требует получения агентами дополнительной информации друг о друге.

Таким образом, модели формирования и деятельности однородных команд, описываемые в терминах рефлексивных игр, позволяют ставить и решать задачи управления процессом формирования команды.

Действительно, из рассмотрения моделей 1-10 следует, что существенной является та информация, которой обладают агенты об истории игры. Поэтому одна из управленческих возможностей заключается в создании, во-первых, разнообразных ситуаций деятельности (обеспечивающих выявление существенных характеристик агентов - см. модели научения в [63] и разделе 9) и, во- вторых, обеспечения максимальных коммуникаций и доступа ко всей существенной информации.

Кроме того, проведенный анализ свидетельствует, что на скорость формирования команды (скорость сходимости к равновесию) существенно влияют параметры g - «размеры шагов», фигурирующие в процедурах динамики коллективного поведения агентов (см. также [62, 80]). Влияние на эти параметры также может рас-

23

сматриваться как управление со стороны центра .

Таким образом, рассмотренные в настоящем раздел «рефлексивные» модели формирования и функционирования команд адекватно отражают такие свойства (см. Табл. 1), как автономность, согласованность и устойчивость взаимодействия членов команды.