2. Кривые научения: количественное описание и качественный анализ

При исследовании любой системы, в том числе - биологической, проведении физического эксперимента, исследовании черного ящика и т.д., можно устанавливать причинно-следственные и количественные связи между входными и выходными переменными только если изменение выходного сигнала (отклика, реакции системы, ответного действия и т.д.) вызвано изменением одного из входных сигналов.

Если одновременно изменились две или более входных переменных, то в общем случае невозможно выделить, какое влияние оказал каждый из входов на наблюдаемое изменение выходной переменной.
Различают два аспекта научения. Первый аспект - результативный - при научении система должна достичь требуемого ре-зультата - качества выполнения действий с приемлемыми затратами времени, энергии и т.д. Второй аспект - процессуальный: адаптация, приспособление научаемой системы к некоторому виду действий в процессе упражнения и т.д. Соответственно, выделяют результативные характеристики итеративного научения и характеристики адаптации [57]. В настоящей работе речь идет именно о результативных характеристиках научения (характеристики адаптации зачастую имеют совсем другую динамику).
В случае итеративного научения можно считать, что на его результативные характеристики влияют две входные переменные - информация о значении выходной переменной и параметры окружающей среды - внешние условия. Если бы на каком-то шаге изменились оба значения входных переменных, то результаты научения на этом шаге и на предыдущем были бы просто несравнимыми - нельзя было бы сказать почему реализовалось именно такое значение выходной переменной: потому, что обучаемая система повела себя соответствующим образом, или потому, что изменились условия ее функционирования. Поэтому постоянство внешних условий является существенной характеристикой ИН. Для сравнимости результатов научения в различные моменты времени (использование количественного описания), даже при постоянных внешних условиях, важно также постоянство цели научения.
В качестве основной результативной характеристики ИН обычно принимается критерий уровня научения. При обучении реальных систем в качестве критерия уровня научения могут выступать следующие характеристики [56]:
временные (время выполнения действия, операции, время реакции, время, затрачиваемое на исправление ошибки, и т.д.);
скоростные (производительность труда, скорость реакции, движения и т.д. - величины, обратные времени);
точностные (величина ошибки в мерах физических величин (миллиметрах, углах и т.п.), количество ошибок, вероятность ошибки, вероятность точной реакции, действия и т.д.);
информационные (объем заучиваемого материала, перерабатываемой информации, объем восприятия и т.д.).
Так как ниже рассматриваются в основном модели именно итеративного научения, то будем для общности изложения называть интересующую нас результативную характеристику научения рассогласованием. Действительно, во всех перечисленных выше случаях мы имеем либо функцию ошибки (рассогласования), либо характеристику "наученности" системы, которая может быть све-дена к некоторой функции ошибки.

Например, время выполнения действия может интерпретироваться как рассогласование, если под последним понимать разность между текущим значением времени выполнения действия и минимально возможным.
Как отмечалось выше, итеративное научение, как правило, характеризуется замедленно-асимптотическими кривыми научения, аппроксимируемыми экспоненциальными кривыми. В общем виде экспоненциальная кривая описывается зависимостью (2.1) x(t) = x? + (x0 - x~) e ~7t, t > 0, или последовательностью
xn = x? + (x0 - x?) e- gn, n = 0, 1, 2, .. , т, где t - время научения, n - число итераций (проб, попыток) с момента начала научения (предполагается, что научение начинается в нулевой момент времени), x(t) (xn) - значение рассогласования в момент времени t (на n-ой итерации), x0 - начальное значение рассогласования (соответствующее моменту начала научения), x? - "конечное" значение рассогласования (величина, к которой КН асимптотически стремится; как правило, в биологических системах эта величина рассматривается как физиологический предел науче-
ния), g - некоторая неотрицательная константа, определяющая скорость изменения КН и называемая скоростью научения (g имеет размерность обратную времени или числу итераций). Эскизы графиков кривых (2.1) приведены на рисунках 2.1.а и 2.1.б.
kx(t)
kx(t)
0
x

0
x
x
t
t
x
Рис 2.1а. Возрастающая КН (x° ° > x0)
Рис 2.1а. Убывающая КН (x° ° < x0)
В зависимости от соотношения начального и конечного значения рассогласования, выражение (2.1) описывает как возрастающие, так и убывающие КН - при x? > x0 кривая будет возрастающей, а при x0 > x? - убывающей. Количественные характеристики научения (x°, x?, g) зависят от множества факторов: сложности и свойств обучаемой системы, внешнего окружения, применяемой методики обучения и т.д. Нас будет интересовать в основном качественный вид КН, поэтому в большинстве случаев мы будем для простоты использовать следующие более частные зависимости:
x(t) = e - g t
x(t) = 1 - e - gt .
Если речь идет о величине ошибки, то в соответствии с(2.2), ошибка монотонно убывает. Если же x интерпретируется, например, как "уровень наученности", то он, в соответствии с (2.3), монотонно возрастает. Очевидно, что (2.2) и (2.3) могут быть получены из общей зависимости (2.1) с помощью линейного преобразования:
0? x - x
x(2.3)
x(2.2)
(2.1)
x - x,
x(2.1) x
0 ? x - x
Поэтому, говоря о кривой научения, мы будем подразумевать семейство кривых, эквивалентных с точностью до линейного преобразования. Характеристикой семейства - величиной, одинаковой для всех КН из рассматриваемого класса эквивалентности, в этом случае будет скорость научения. Эскизы графиков зависимостей (2.2) и (2.3) приведены на рисунках 2.2.а и 2.2.б, соответственно.
kx(t)
kx(f)
1
0

Рис 2.2а
0
1

Рис 2.2а
.

<< | >>

↑

Источник: Новиков Д. А.. Закономерности итеративного научения. М.: Институт проблем управления РАН,1998. - 77 с.. 1998

Еще по теме 2. Кривые научения: количественное описание и качественный анализ: