<<
>>

Обучение нескольких агентов.

До сих пор мы рассматривали одного агента. Обобщим полученные результаты на случай нескольких одновременно работающих агентов, причем сначала рассмотрим ситуацию, когда агенты полностью независимы (результаты и тип каждого не зависят от результатов и типов других), а потом проанализируем задачу об обучении зависимых агентов.

Рассмотрим команду N = {1, 2, ..., n}, состоящую из n агентов.

По аналогии с выражениями (5) и (6), получим следующие выражения для соответственно объемов успешно выполненных работ и типов агентов:

Zk = ? y\{1 - (1 - r>xp(- g ? ym )},

l =1 m=1

rk = 1 - (1 - r°) exp(- gi ? yl ), k = 2, 3, ... , i e N.

i=1

Если результат команды является суммой результатов агентов, то есть:

n

Zk = ? Zk , k = 1, 2, ... ,

i=1

то задача об оптимальном обучении команды (ср. с (8)) примет вид:

ZT ® max ,

T N

{y/'Ti?? yt=Y}

г =1 i=1

то есть:

n T l-1

??yi{1 - (1 -r°)exp(- gi ?ym)} ® inaix .

l= m= {y1Ti?? yt =Y}

г =1 i=1

Задача (15) может быть решена методом динамического про-граммирования.

Легко видеть, что оптимальное решение задачи (15) в общем случае зависит и от индивидуальных скоростей научения агентов {уг}, и от их начальных квалификаций { rt° }.

Утверждение 9.2. Если скорости научения агентов одинаковы, то оптимальным распределением работ является выполнение всего объема работ агентом с максимальной начальной квалификацией. Если начальные квалификации агентов одинаковы, то оптимальным распределением работ является выполнение всего объема работ агентом с максимальной скоростью научения.

Пример 9.3. Рассмотрим задачу (15) для случая двух агентов

при T = 11, r0 = 0,1, r20 = 0,3, g1 = g2 = 0,75, Y = 10. При этом, в соответствии с утверждением 9.2, оптимальным является выполнение всего объема работ вторым агентом, то есть тем, чья начальная квалификация выше (напомним, что в настоящем примере скорости научения агентов одинаковы).

На Рис. 23 приведена динамика оптимальных объемов работ (квадратики соответствуют второму агенту, ромбики - первому).

Рис. 23. Динамика оптимальных объемов работ в примере 9.3

Рис. 23. Динамика оптимальных объемов работ в примере 9.3

Получили, что первый агент не выполняет никаких работ и не обучается. •

Решение задачи об оптимальном обучении в случае, когда все агенты имеют одинаковые скорости научения, получилось «вырожденным» - работает и обучается один агент, а остальные не 142

работают и не обучаются. С одной стороны, такой коллектив вряд ли можно назвать полноценной командой, с другой стороны, необходимо признать, что в жизни такие ситуации встречаются нередко.

Рассмотрим, что произойдет, если агенты различаются и начальными квалификациями, и скоростями научения.

Пример 9.4. Если в условиях примера 9.3 выбрать скорость научения первого агента (чья начальная квалификация ниже, чем у второго агента) равной 3,0, то есть сделать ее существенно больше скорости научения второго агента (при неизменных всех остальных параметрах), то оптимальным решением будет выполнение всего объема работ уже не вторым, а первым агентом. •

Формально, структура решения задачи (15) - то, что весь объем работ выполняет один «лучший» (с точки зрения комбинации начальной квалификации и скорости научения) агент - обусловлена «аддитивностью» целевой функции и наличием большого числа переменных при единственном ограничении. Содержательно, в задаче могут присутствовать и другие ограничения, помимо ограничения на суммарный объем работ, выполняемый членами команды. Наиболее естественным представляется ограничение на максимальный объем работ, который каждый агент может выполнить за одну итерацию (за один период времени).

Пример 9.5. Если в условиях примера 9.3 добавить ограничение на максимальный объем работ (равный, например, 0,5), который каждый агент может выполнить за один период времени, то в оптимальном решении будут загружены уже оба агента - динамика их типов представлена на Рис.

24, а динамика оптимальных объемов работ - на Рис. 25.

Если в данном примере добавить еще одного агента, то в оптимальном решении загружены будут по-прежнему два агента (имеются два ограничения - на суммарный объем работ и на объем работ, который каждый агент может выполнить в единицу времени, причем последнее ограничение одинаково для всех агентов). Если у каждого агента существует собственное ограничение на объем работ, который он может выполнить в единицу времени, то

загружены будут уже все агенты (так как число ограничений превысит число агентов). •

1,0 0,9

0,7 0,6 0,5 0,4 0,3 0,2 0,1 0,0

0

Рис. 24. Динамика типов агентов в примере 9.5

Рис. 24. Динамика типов агентов в примере 9.5

Рис. 25. Динамика оптимальных объемов работ в примере 9.5

Рис. 25. Динамика оптимальных объемов работ в примере 9.5

<< | >>
Источник: НОВИКОВ Д.А.. Математические модели формирования и функционирования команд. - М.: Издательство физико- математической литературы,2008. - 184 с.. 2008

Еще по теме Обучение нескольких агентов.:

  1. Образовательное пространство учителя информатики в нескольких уровнях.
  2. Введение
  3. АДАПТАЦИЯ КОМАНД
  4. Несколько агентов, динамика.
  5. ОБУЧЕНИЕ В КОМАНДАХ
  6. Обучение нескольких агентов.
  7. КТО ОН, ЖИВОЙ БОГ ИЛИ АГЕНТ ЦРУ?
  8. Выдержки из научных дневников (1965—1983)
  9. ДЕЛО «БЕЛЫХ РАБЫНЬ»
  10. Русский язык в восточноевропейских и балканских странах
  11. Политико-экономическая и оперативная обстановка в стране. Организация деятельности ЭКУ ВЧК — ОГПУ по защите экономической безопасности государства
  12. 18. КРОЙЦБЕРГСКАЯ ИНИЦИАТИВА ПРОТИВ АНТИСЕМИТИЗМА СРЕДИ МОЛОДЕЖИ МУСУЛЬМАНСКОГО И НЕ МУСУЛЬМАНСКОГО ПРОИСХОЖДЕНИЯ В БЕРЛИНЕ ГЮНТЕР ЙИКЕЛИ Gunther Jikeli
  13. Объединения РОССИЙСКИХ ЗЕМСТВ