Подразделы категории "Гордон": Поисковое поведение животных
Расшифровка передачиАлександр Гордон. Доброй ночи! Человек научил- ся справляться с задачами, которые нужно поставить перед интеллектом «искусственным», пока в кавычках, пока в двойных кавычках, когда эти задачи хорошо формализованы. И этот, с позволения сказать, интел- лект находится в хорошо организованной искусствен- ной среде. И примеры тому, скажем, шахматные ком- пьютеры, которые иногда выигрывают у людей, нахо- дясь с ними на одном уровне, скажем так, игры. Но ко- гда речь идёт о создании машины или интеллекта, ко- торый должен поставить не чётко сформулированную формальную задачу, да ещё в среде, совершенно не- знакомой, неформализованной, не искусственной, вот здесь мы пока сталкиваемся с огромными трудностя- ми, а без этого об искусственном интеллекте, подоб- ном человеческому, речи, конечно, идти не может. Это первый шаг, который нам предстоит сделать и с кото- рым очень хорошо справляются все живые организмы на земле, включая бактерий. Почему у них это получа- ется, а у нас пока не очень, мы сегодня и попробуем поговорить. Итак, почему? Валентин Непомнящих. Да, действительно, поче- му? Представим себе такую задачу. На некую плане- ту послан робот, точнее – автономный робот, то есть такой, который не нуждается в управлении со сторо- ны человека. И пусть перед ним поставлена очень расплывчатая задача, которую на самом деле любой геолог поймёт: нужно пройти по некоторой террито- рии и собрать геологические образцы – скажем, с наи- большим содержанием урана. При этом заранее никак не оговаривается, какое содержание следует считать большим, а какое – маленьким. Нужно это решить по ходу дела. Естественно, времени у робота мало, запа- сов энергии тоже мало, поэтому способности обучать- ся, если даже они есть у предполагаемого робота, ма- ло чем ему помогут. Он должен на ходу пользоваться какими-то правилами поиска, которые можно назвать эвристиками. И здесь, конечно, имеет смысл посмо- треть, как животные решают задачи поиска. Есть такое насекомое – ручейник, личинка которого живёт на дне водоёмов и строит домик-трубку из песка и других материалов. Личинка фактически как раз ре- шает задачу, о которой мы говорим. Трубку построить нужно очень быстро, потому что она нужна для дыха- ния и защиты от хищников. А если трубка поврежде- на частично, например, обрезана в эксперименте, то её нужно быстро восстановить, и у личинки нет време- ни разбираться и проводить исследование, как распре- делён материал в водоёме или в экспериментальной установке: где частицы материала более подходящие, а где – менее подходящие. Нужно просто собирать ма- териал. Тем не менее, она с этой задачей справляется. Я, собственно говоря, и хотел начать с того, чтобы представить вам этого ручейника. Я думаю, уже сей- час можно показать его домик, чтобы это было видно. Домик – это просто трубка. Ручейники того вида, о ко- тором я говорю, могут делать домики из песка или из плоских частиц или каких-нибудь листьев. Здесь пока- зан домик из песка, но на самом деле личинки «лю- бят» частицы большего размера, чем песчинки, и при этом предпочитают плоские частицы. Причина такого предпочтения проста. Они сшивают частицы белковой нитью – паутиной. Естественно, чем больше частицы, тем меньше швов между ними, тем меньше затраты паутины, и меньше, следовательно, затраты энергии. Соответственно, личинкам желательно выбрать там, где они находятся в момент поломки домика, такие ча- стицы, которые позволят им сэкономить эту нить. Мы проводили эксперименты, чтобы изучить, как ли- чинки это делают. Это чисто лабораторные экспери- менты, но, поскольку личинка почти слепая и не ис- пользует зрение во время поиска, лабораторный экс- перимент довольно хорошо имитирует то, что происхо- дит в ручье. Александр Жданов. В данном случае речь идёт о том, что ручейник должен найти крупную частицу, да? Валентин Непомнящих. Да, он должен, говоря человеческим, антропо- морфным языком, «решить», какие частицы достаточ- но крупные, а какие можно отбросить. Для того чтобы упростить наблюдение, мы использовали вместо пес- ка скорлупки, кусочки яичной скорлупы, большие и ма- ленькие. Ручейник должен был выбирать между этими скорлупками. Вот как он это делает. Поскольку ручей- ник слепой, он должен ощупать частицу передними но- гами (можно показать, как это он делает) и оценить её размер, форму, гладкость и многие другие параметры. Мы будем говорить пока просто о размере и форме. В конце концов, ручейник цели достигает. Вот здесь по- казан готовый уже домик, он сделан, как видите, из ча- стиц примерно одинакового размера. Александр Гордон. А вы предлагали ему совсем разные частицы? От очень мелких до очень больших? Валентин Непомнящих. Да, разные. Они различались по площади в во- семь раз (по длине стороны, соответственно, они раз- личались меньше). Ручейник не всегда использует са- мые большие частицы, бывают ошибки, но в целом он умеет делать правильный выбор и очень быстро. Александр Гордон. Но поскольку время ограничено, это значит, что он не перебирает все песчинки или все кусочки для то- го, чтобы понять, какие частицы отбирать. Валентин Непомнящих. Совершенно верно. Вот в этом-то как раз его секрет. Он может частицу взять и за угол, и за широ- кую сторону. И он должен в каждый момент времени решать, стоит ли с ней дальше возиться или нет. Пол- ное обследование частицы занимает несколько минут. Ручейник должен каждую сторону ощупать, проверить, есть ли там грязь, есть ли там трещины. Но ручейники, как правило, этого не делают. Они могут частицу бы- стро покрутить и выбросить, а могут оценивать долго. Почему это происходит? С точки зрения внешнего наблюдателя, ручейник ге- нерирует своего рода гипотезы. Например, если ему попадается хорошая, большая частица и он прикрепит её к домику, а следующая частица будет плохая, то ру- чейник будет ощупывать её очень долго. Это выглядит так, будто ему хочется, чтобы частица была хорошая. Именно такое ощущение создаётся у наблюдателя. Ру- чейнику жалко расстаться с частицей. Потом он её всё равно выкинет, но время он потеряет. Вроде бы совер- шенно неразумное поведение. С другой стороны, тоже есть довольно неразумное поведение: когда ручейни- ку попадается мелкая частица, он её выбрасывает и начинает искать рядом другие частицы (напомню, что ручейник всё делает вслепую). Если теперь он найдёт крупную частицу, но схватит её за угол, то дальше уже не станет её проверять, а выбросит. То есть ручейник ведёт себя так, как будто он верит, что после плохого будет тоже плохое. Что получается? Александр Жданов. Валентин Анатольевич, можно я здесь немнож- ко прерву. Если смотреть на это насекомое как на распознающую систему, то здесь напрашивается та- кой аналог: процесс распознавания требует некоторо- го управления. Этот процесс можно прекратить рань- ше, можно продолжить измерительные эксперименты, но потратить лишнюю энергию на эти эксперименты – уменьшить риск ошибки, но потратить энергию. Всё время надо… Александр Гордон. Балансировать. Александр Жданов. В этом заключается баланс: как бы поменьше сделать экспериментов, но как бы повысить риск пра- вильного распознавания. Да? Александр Гордон. И где здесь оптимум тогда получается? Александр Жданов. Вот то, что ручейник делает, показывает, что он как-то этот оптимум нащупал и эту стратегию он и про- водит. Как в данном конкретном случае. Валентин Непомнящих. Я бы сказал так (конечно, это моё личное мне- ние): можно, конечно, попытаться найти этот опти- мальный баланс, используя те средства, которые есть у ручейника. Баланс между затратами энергии и ис- пользованием самых лучших частиц. Но я хочу напо- мнить, что у ручейника ситуация не такая, чтобы ис- кать оптимум, ему нужно просто быстро найти прилич- ные частицы. То есть, ему достаточно решить задачу удовлетворительно, а вовсе не оптимально. И, может быть, алгоритм поиска, о котором я говорил, не наце- лен на оптимизацию поведения, а нацелен на то, что- бы просто решить задачу удовлетворительно. Александр Жданов. То есть, если я правильно понимаю, речь идёт о том, что здесь мы наблюдаем не выработку алгорит- ма поиска, а применения алгоритма уже готового. Ал- горитм сам, видимо, был найден раньше. Но этот алго- ритм обеспечивает эффективный поиск нужной части- цы. Да? То есть, результатом поиска является не ал- горитм поведения, а результатом является поиск круп- ных частиц. Валентин Непомнящих. Да, поиск в буквальном смысле. Александр Гордон. Насколько я понял, ключевым словом в вашем рассуждении было слово «сценарий», то есть ручей- ник действует по какому-то сценарию, выстраивает ги- потезу о том, что будет дальше. Валентин Непомнящих. Да, и делает это на основании, в общем-то, случайного события. Случайно ему попадается ли- бо большая частица, либо малая. На основании это- го краткого отдельного события, опять-таки антропо- морфным языком говоря, ручейник выстраивает гипо- тезу о том, что и дальше будут попадаться однотипные (либо большие, либо малые) частицы. Это предсказа- ние распространяется не только на одну следующую частицу, и результат этого предсказания получается та- кой: когда частицы разного размера смешаны совер- шенно случайно, то протокол эксперимента показыва- ет, что прикрепления частиц и отказы от них следуют сериями. То есть, имеется тенденция повторять при- крепления одно за другим. А после отказа появляется тенденция повторять отказы. Но, несмотря на это, общий результат поиска всё же таков, что ручейник всё-таки прикрепляет в основ- ном приличные частицы. Почему он использует такой алгоритм, почему такие гипотезы выдвигает? Дело в том, что в природе не бывает случайного распределе- ния чего бы то ни было. В реальных ручьях и плоские частицы и круглые, и мелкие и крупные не перемеша- ны случайно. Наоборот, однородные частицы собраны в определённых местах, в зависимости от течения, в зависимости от глубины. Поэтому, если ручейник где- то находит хорошие частицы, то в реальной жизни это означает, что здесь нужно остаться и искать дальше. Мы провели такой эксперимент, который бы при систе- матическом исследовании среды завёл бы ручейника в тупик. Просто он не смог бы найти то, что ему нужно. Можно показать, как это выглядело: эксперименталь- ная установка, которая представляла собой просто не- большой коридор, который весь был засыпан песком, но на одном его небольшом участке вперемешку с пес- ком были и скорлупки. Александр Жданов. Валентин Анатольевич, правильно ли я пони- маю, что речь идёт вот о чём. Алгоритм, который отра- батывает ручейник, построен не на той гипотезе, что искомые частицы распределены равномерно случай- но, а он построен на гипотезе, что эти частицы в среде распределены неравномерно. Александр Гордон. Произвольно сгруппированы. Валентин Непомнящих. Где-то они собраны… Александр Жданов. Эти события, что называется, коррелируют ме- жду собой. Валентин Непомнящих. Да, алгоритм поиска базируется на этой гипоте- зе, которую откуда-то знает ручейник, точнее, его пове- дение «знает». Мы, может быть, к этому ещё вернём- ся, а в эксперименте происходит вот что. Если бы ручейник попал за пределы участка со скор- лупой и стал бы проверять каждую песчинку, то он увяз бы в песке и в буквальном, и в переносном смысле, потому что песчинок в коридоре – тысячи. Но ручей- ник действует иначе. Если он находится на участке со скорлупой и находит скорлупку, то он её приклеивает, а затем начинает ощупывать частицы вокруг себя. Есть два варианта результатов этого поиска. Либо он нахо- дит, в конце концов, ещё скорлупку, приклеивает её и процесс повторяется, а ручейник остаётся на месте. Или же ему выпадает такая неудача, что вместо скор- лупки он находит несколько песчинок подряд. Снача- ла ручейник с ними долго возится, потому что, как я говорил, он «ждёт» чего-то от них. Потом это опробо- вание каждой очередной частицы становится всё ко- роче и короче, и, в конце концов, ручейник сдвигается с места и начинает ползти. И вот когда он натыкается на скорлупку во время такого движения, шансов на то, что он не то что её прикрепит, а даже просто станет её пробовать, осматривать, вернее, ощупывать, гораздо меньше. Даже если он и берёт скорлупку, то может её бросить тут же, не успев разобраться, а что это такое. Александр Гордон. Ничего хорошего он не ждёт от неё. Валентин Непомнящих. Да, ничего хорошего не ждёт. Александр Жданов. То есть, он уже чего-то ожидает, он уже ка- кую-то гипотезу выдвинул. Валентин Непомнящих. Что получается в результате? Ручейник может выйти за пределы участка со скорлупой и двигаться дальше по коридору. Ещё раз повторю, что если бы он начал пробовать песчинки в коридоре, то застрял бы там надолго. Но, как правило, ручейник их не пробует, а очень быстро пробегает этот коридор, потому что не ждёт ничего хорошего. Конечно, он иногда может взять какую-то песчинку и тут же бросить её. Иногда может даже приклеить, если она более плоская, чем другие. Но это исключения, и ручейник, в конце концов, воз- вращается на участок со скорлупой. И здесь, когда он натыкается на скорлупку, то чаще всего её берёт. Но, тем не менее, из-за того что он двигается и «ничего хорошего не ждёт», ручейник может и проскочить не- сколько раз этот участок. Но опять-таки, эксперимен- ты с десятками личинок показывают, что они в целом, строят свои домики на этом участке и строят из скорлу- пок. Другими словами, эта не очень, казалось бы, ра- циональная стратегия предсказания по единичным со- бытиям позволяет ручейникам в целом выигрывать. Мы это проверяли, построив математическую мо- дель, где правила поведения, о которых я говорю, были заложены в программу. И модель подтвердила, что этих правил достаточно для того, чтобы ручейни- ки собирались и строили именно на том участке, где есть скорлупки. Здесь, естественно, возникает такой вопрос: когда мы моделируем, мы вводим правила, но это ничего не говорит о механизме управления поведе- нием, то есть о том, откуда берутся эти правила. Един- ственное, что можно здесь сделать, с моей точки зре- ния, – это предложить следующую аналогию. Есть динамические системы, так называемые нели- нейные системы (одна из них здесь изображена), по- ведение которых может быть очень сложным – несмо- тря на то, что сама система описывается очень про- стым уравнением. В зависимости от величины пара- метра «А» (показано на рисунке), переменная в урав- нении может изменяться сложным образом, как перио- дически, так и не периодически. И поведение системы оказывается одновременно и случайным, и предсказу- емым. Оно случайно в том смысле, что невозможно предсказать, в какой момент времени произойдёт пе- реход от больших значений переменной к малым зна- чениям. В то же время, поведение системы упорядо- чено: мы видим, что большие и малые значения идут друг за другом сериями. Здесь есть аналогия с ручейником, у которого реак- ции тоже повторяются сериями. Пусть эта аналогия по- верхностная, но пока я буду на ней, так сказать, на- стаивать. Далее, если некий внешний сигнал (некая положительная величина) прибавляется к параметру «А», то затем переменная надолго увеличивается, не- смотря на то, что сигнал – коротенький. Это – ещё одна аналогия с ручейником: одна частица может на- долго изменить его поведение. Конечно, такого просто- го уравнения недостаточно для того, чтобы моделиро- вать поведение целого ручейника. Всё-таки его пове- дение сложнее: он и берёт частицы, и крутит их. Александр Жданов. Но вы сейчас моделируете какую-то одну со- ставляющую. Валентин Непомнящих. Да, и мы решили пойти несколько более про- стым путём: моделировать не ручейника, а некую условную инфузорию, которая движется в условном пространстве и находит там участки с пищей. Пища – это просто химические вещества, которые инфузо- рия может в буквальном смысле всасывать. Никакого сложного пищевого поведения здесь не нужно. Когда на эту инфузорию не действуют никакие сигналы, то её поведение определяется единственным уравнени- ем, а траектория её движения получается такая, что в ней чередуются почти прямые пробеги с петлями. Эти петли (опять-таки с точки зрения внешнего наблюда- теля), можно интерпретировать как отыскивание како- го-то места в пространстве. Александр Жданов. То есть, идёт такой локальный поиск, кото- рый чередуется с крупными перемещениями в попытке найти какое-то или более богатое «месторождение». Валентин Непомнящих. На данном этапе, когда нет никаких сигналов, искать, собственно говоря, нечего. Я хотел бы подчерк- нуть, что это поведение, чередование таких спонтан- ных поисков на одном месте… Александр Жданов. Очень красивая картинка. Этот спонтанный по- иск, эти вот петли, узлы такие. И длинные эти пробеги. Очень красиво. Валентин Непомнящих. Это поведение на самом-то деле типично для многих животных. И не только инфузорий, но и для чер- вей, для насекомых – для таких животных, не слиш- ком крупных, для которых можно построить экспери- ментальную установку, в которой нет никаких сигна- лов, освещение и все внешние факторы распределе- ны равномерно. Теперь мы вводим в это пространство пищу: у нас есть три участка, на слайде это можно показать. На одном участке концентрация пищи маленькая, на дру- гом – большая, а между ними находится пустой уча- сток. И вот наша условная инфузория начинает поиск с бедного участка. В какой-то момент ей не везёт, не попадается пищевых веществ. В результате инфузо- рия перестаёт описывать петли на этом участке и на- чинает двигаться прямо. Здесь работает простая си- стема, показанная раньше, которая из одного режима поведения переходит в другой режим: вместо больших значений переменной, которые обеспечивают поворот, теперь наблюдаются малые значения, соответствую- щие прямому пробегу. Поэтому инфузория теперь ле- тит прямо, пролетает пустое место и попадает на бо- гатый участок. Конечно, она может и уйти из богатого участка. Однако на богатом участке пища сосредото- чена плотнее, там меньше вероятность серии неудач, и поэтому, в конце концов, инфузории скапливаются на богатых участках. Так, собственно, поступают и реальные инфузории – я хотел бы подчеркнуть сходство поведения модели с реальными организмами. Мало того, с помощью та- кой простой системы можно добиться ещё более бога- того поведения, если добавить к ней разные сенсоры, разные органы чувств. Вот на следующем слайде, на- пример, показана ориентация… Александр Жданов. А можно остановиться на этом слайде на секун- дочку. Хочется обратить внимание на то, что эта кар- тинка характерна не только для инфузорий, для рас- сматриваемых здесь объектов, а это вообще житей- ская картина. Когда мы обсуждали в передаче наши проблемы, возникла очень хорошая аналогия с чело- веком, который тоже ищет, где лучше и где глубже. До- пустим, он ищет в пределах своего города, находит всё, что может, а когда решает, что всё здесь уже най- дено, то он совершает какую-то миграцию. Александр Гордон. Скачок в пространстве. Александр Жданов. Да. И там опять начинает локальный поиск. По- сле чего может последовать опять такой длинный бро- сок куда-то. Очень интересно. То есть, этот алгоритм реализуется, видимо, на многих, на разных уровнях управления, для разных объектов, и мне он кажется очень интересным. Валентин Непомнящих. Вот здесь я хотел бы добавить, что, конечно, этот алгоритм, это порождение гипотез действитель- но аналогично у разных организмов. Но это не зна- чит, что механизм порождения гипотез всегда один и тот же. Пока что мы рассматриваем поведение очень простенького уравнения. Вся проблема-то в том, что в таком виртуальном пространстве, такую виртуальную инфузорию довольно легко имитировать. А вот когда речь идёт о животном уже с нервной системой, слож- ной, которое не просто двигается, но ещё манипулиру- ет предметами, решает задачу не просто поиска в фи- зическом пространстве, а поиска в каком-то простран- стве возможностей, всё становится сложнее. Понятно, что в этих случаях работает более сложная система. Аналогией здесь, может быть, полезно руководство- ваться, но сама аналогия не является моделью. Я продолжу, чтобы закончить с этой инфузорией. Здесь показана её ориентация на источник запаха. Ис- точник показан кружком, а инфузория двигается к нему такими вот зигзагами. Почему так происходит? Дело в том, что мы ввели в модель сенсор, который восприни- мает разницу между раздражением на данный момент времени и предыдущий момент времени. Чем больше эта разница, тем больше подавляется тенденция мо- дели к поворотам. Собственно говоря, таков же меха- низм ориентации у реальных инфузорий и бактерий. Что делает наша инфузория? Вместо того чтобы всё время корректировать свой путь к источнику запаха, она генерирует гипотезы, хотя это звучит как преуве- личение. Вот пример: если разница между последова- тельными раздражениями положительна, то инфузо- рия бросается прямо вперёд, хотя это может увести её в сторону от источника запаха. Александр Гордон. «Что-то пахнет, по-моему, там». И рванула, да? Валентин Непомнящих. Да. И она опомнится только тогда, когда рас- согласование между направлением движения и целью будет очень сильным. Затем она скорректирует своё движение, может быть, опять неточно. Но, в конце кон- цов, она приходит к этому источнику. Расчёты показы- вают, что на самом деле такое поведение экономнее и быстрее, чем если бы она всё время пыталась… Александр Гордон. Идти по прямой к этой цели. Валентин Непомнящих. Да. Она просто тратила бы время на постоян- ную коррекцию своего движения. Кроме того, модель также предполагала, что во время поворота, как лю- бое физическое тело, инфузория движется медлен- нее, чем когда она летит прямо. Но это… Александр Жданов. А вот во время такого большого броска, она уже не принимает решений, да? То есть она просто отра- батывает уже принятое решение совершить бросок. Валентин Непомнящих. Да, и в этой модели, в этой динамической си- стеме происходит это очень просто, потому что сигнал подавляет переменную, управляющую поворотом, так что инфузория не может повернуть. А когда наступа- ет сильное рассогласование, сигнал становится отри- цательным. И тогда система начинает снова работать. Она снова начинает искать. И снова выбирает какое-то направление. Когда инфузория достигает цели, она там не остана- вливается, а начинает обыскивать окрестности источ- ника запаха (на этом рисунке это, может быть, не очень сильно выражено). Результат этого поведения такой: если в пространстве есть много других источников, и некоторые издают более сильный запах, то у инфузо- рии есть шанс найти другой, лучший источник. Этот способ ориентации, на самом деле, существу- ет и у реальных бактерий, они ориентируются с помо- щью именно таких бросков. Здесь серой полосой по- казан разрыв в градиенте запаха, как и бывает в ре- альной жизни. Но наша инфузория тоже проскакивает разрыв… Александр Жданов. Разрыв – это что? Валентин Непомнящих. Например, разрыв может быть в воде: турбу- лентность воды или какое-то течение вызывает… Александр Гордон. Ну, или ветер в другую сторону… Валентин Непомнящих. Если в воздухе – то это ветер. Когда наша инфузория сориентирована примерно на источник, естественно, активность динамической системы подавлена и поворот не осуществляется. По- этому, если разрыв узкий, она его просто пролетает. Если же он широкий, инфузория переходит к блужда- нию. Но блуждание приводит её либо по ту сторону разрыва, которая удалена от источника, либо на ту сто- рону, которая к источнику ближе. В последнем случае всё хорошо… Александр Жданов. То есть, если бы она решения принимала по- стоянно, она бы в этой полосе запуталась бы сразу… Валентин Непомнящих. Она бы не знала, что там делать. Александр Гордон. А так, маршем её берёт. Валентин Непомнящих. Либо она должна знать карту местности, кото- рой у неё нет, либо пользоваться каким-то другим алго- ритмом. А как действовать на пустом месте, собствен- но… Александр Жданов. Разумно. Александр Гордон. Более чем… Валентин Непомнящих. Для инфузории даже очень разумно. И, нако- нец, её поведение оказывается ещё богаче, если при- делать ещё один сенсор, который подавляет поворо- ты при касании с твёрдой поверхностью, с препятстви- ем. Препятствие пропускает запах, но не пропускает инфузорию. Происходит очень интересная вещь, кото- рая поразила даже нас – тех, кто делал эту модель: по- вороты происходят реже. И кончается тем, что инфу- зория скользит вдоль этого препятствия в ту или в дру- гую сторону, пока его не обойдёт. Александр Гордон. Потому что она чувствует постоянный сигнал? Валентин Непомнящих. Она чувствует сигнал, который не даёт ей уйти в другую сторону. И кроме того, поскольку она сколь- зит по стенке, повороты происходят с небольшой ве- роятностью. Поэтому она, грубо говоря, не мельтешит вдоль стенки, не теряет время, чтобы ходить туда-сю- да, и, в конце концов, обходит это препятствие, если оно не бесконечно длинное. Опять-таки, это поведение наблюдается у простых животных: и червей и инфузо- рий. Александр Жданов. Не только у простых, я вам скажу. Я примерно так же тоже обхожу препятствие. Валентин Непомнящих. Особенно, когда задумаешься над какой-ни- будь научной проблемой, это так… Александр Жданов. Или забор высокий. Валентин Непомнящих. Ещё раз скажу, что, конечно, это – простая мо- дель. Какой бы продуктивной она не казалась в каче- стве аналогии, она не может объяснить поведение жи- вотных, решающих более сложные задачи. Здесь нуж- на исследовательская работа с роботами. Получается, собственно говоря, взаимодействие между этологией – наукой о поведении, и робототехникой. Если я гово- рю, что я умею делать радиоприёмники, то мне могут сказать: возьми да и сделай. Если я говорю, что по- нимаю, как ведёт себя животное, то разумно потребо- вать, чтобы я запрограммировал робота. Но тут-то и выясняется, что наши теории недостаточны для это- го, хотя этология существует уже 50 лет, а поведение животных изучается больше ста лет. На самом деле существующие теории поведения очень ограничены. Они не позволяют воспроизвести адаптивное поведе- ние животных в роботе, и отсюда сразу видно, что на- ши знания ограничены. Это приходится признать. Получается, что работа с роботами оказывается, с точки зрения биолога, новым инструментом исследо- ваний, который позволяет проверять наши знания. Александр Гордон. Это, в общем, довольно идеальный инструмент. Это в каком-то смысле лучше, чем знаменитая дро- зофила. Потому что здесь можно плодить популяции, если говорить об эволюции этих искусственных объек- тов, как у нас шла речь в одной из программ. То есть у исследователя время не ограничено… А что же с аниматами? Я просто хочу напомнить, что здесь, у нас, время программы ограничено, как время поиска у ручейника. Александр Жданов. Я бы хотел здесь поговорить, дополнить рас- сказ Валентина Анатольевича о том, что интересен во- прос: а как же вырабатывается эта стратегия поведе- ния у организма? Это то, о чём думали мы. И здесь, мне кажется, что многие ответы можно найти вот ка- ким путём. Если встать на место нервной системы ор- ганизма и оказаться в тех условиях, в которых нахо- дится она, то из этих условий просто логически выну- жденно будет следовать и структура, и функция, и ал- горитмы, по которым должна работать эта система. Я и хочу рассказать о результатах попытки такого выво- да, это то, чем мы занимаемся. Покажите, пожалуйста, первый слайд. Представим себя на месте управляющей системы. Что это такое? Вот есть любой организм – это некото- рое тело, или некоторый объект, который является, по сути, частью среды. Если мы говорим о том, что этот организм управляем, значит, внутри него есть управля- ющая система, которая является частью этого организ- ма. Причём будем рассматривать только такие орга- низмы и такие объекты, где управляющая система ле- жит именно внутри организма, а не руководит им по телеметрии. Из этой картинки сразу же следуют цели управления, то есть те цели, которые старается достигнуть система управления. Мне кажется, что здесь существуют две главные цели. Первая цель – это обеспечить выжива- ние организма. Иначе, если этого нет, не о чем гово- рить, всё разваливается, и как такового этого тела не существует. И вторая цель – это накопить знания, потому что управляемый организм, управляемый объект препят- ствует разрушению агрессивным воздействиям среды не за счёт своей твёрдости, как алмаз: «Вот стою тут и буду сопротивляться». Он препятствует разрушению за счёт того, что ведёт себя активно, он совершает не- которое воздействие на среду. И через эту среду к орга- низму возвращается реакция совершенно другого ти- па. Например, если ребёнок хочет есть, то он кричит, и приходит мама с бутылочкой молока. Или, скажем, мы что-то бросаем вверх, а в результате падает плод с дерева. Организму надо ещё найти и понять эти ре- акции на его собственные действия. Значит, для того чтобы обеспечить выживание, нуж- но знание: как это действие сопряжено с этим резуль- татом? Поэтому я бы здесь выделил эти две цели упра- вления. Может быть, даже цель накопления знания первична. Если мы хотим исследовать какое-то неиз- вестное пространство и сделаем для этого такого ро- бота, который бы накопил знания, нам надо подумать о том, как он выживет, нам надо обеспечить его выжи- вание. Из этой же картинки сразу, наверное, следует (в гру- бом виде) алгоритм такого поиска. Нервная система должна найти обратные связи через среду. Это очень хорошая мысль, которую петербургский учёный Влади- мир Левченко когда-то красиво сформулировал. Сре- ди всех действий, которые может совершать организм, есть такие, которые уходят в бесконечность и нику- да не возвращаются, никогда к нам не вернутся. Надо найти те воздействия, которые через среду к нам вер- нутся, на наши датчики. И вот этот поисковый алгоритм нам надо найти. Вы помните, как Максвелл в своё время предло- жил своего демона, которого помещал внутрь чёрно- го ящика и, пользуясь этим приёмом, он логически рассуждал, что же там должно происходить. Давайте мы сейчас с вами, подобно этому демону, погрузимся внутрь этого кружка нервной системы и посмотрим, что же она должна делать, если она находится в этих усло- виях. Покажите, пожалуйста, следующий слайд. Исходное условие – это автономность системы управления, как я уже сказал. То есть мы находимся внутри тела. Второе условие – это дискретность, то есть у нас есть дискрет- ные входы. Вот эти канальчики, по которым поступает дискретная информация. И есть дискретные выходы. Может быть, их много. Но это дискретные кнопочки, ко- торые мы можем нажать. То есть, то, что является вы- ходом нервной системы – это пучок волокон, через ко- торые идут бинарные сигналы, точно так же, как и че- рез вход. Их может быть много, миллионы рецепторов, но через них поступают бинарные сигналы. И вот перед нами есть экран с входящей информа- цией, на котором мы видим входящие сигналы. И есть целый, так сказать, набор кнопочек, на которые нужно нажимать. Представим себя внутри, в этой чёрной комнате с экраном, на который нам проецируется информация из окружающего мира. Первая задача, которую систе- ма должна решить – как в этом потоке входной инфор- мации научиться узнавать что-то знакомое. Например, сказать: «Ага, вот это красное пятно я уже когда-то ви- дел». И когда этот момент произойдёт, тем самым про- изойдёт некое формирование образа (вот этого пятна) и акт его распознавания – «я его распознал». Теперь система его будет узнавать всегда, когда она его уви- дит, она его распознает. Это первое. Поэтому на этой схеме, которая сейчас видна, первый блок в нервной системе – это формирование и распознавание обра- зов. Александр Гордон. Для того чтобы распознать, всё-таки надо ка- ким-то образом повлиять на это красное пятно для то- го, чтобы сделать заключение о том, что это такое. Ведь недостаточно просто сенсорно считать. Александр Жданов. Вы правильно говорите, но задачу: «Узнать это пятно» – можно решить, как бы не влияя на него в не- котором смысле слова. То есть, если у вас несколько раз повторяется эта конфигурация, вы можете даже не воздействовать на неё, но узнавать: «Вот это лицо я уже видел неоднократно в толпе». Александр Гордон. Но кто это, я не знаю. Александр Жданов. Я пока не знаю. Второе. Теперь надо найти, как я могу своими выходными воздействиями повлиять на это красное пятно. Ну, естественно, если у вас ника- ких знаний нет, вы начинаете что-то случайно переби- рать. Наконец, вы находите, что вот это действие по- зволяет это пятно убрать. А вот это действие позволя- ет его вызвать. Это то, вообще говоря, с чего начина- ет ребёнок. Какие действия он находит первыми? Как игрушку взять, а следующее действие, он что находит? Как её бросить. Как маму вызвать? Как маму отогнать. Как это получить? Как от этого избавиться? Потому что он имеет дело с бинарными сигналами и бинарными объектами, и бинарными действиями. Либо я вызываю этот образ, либо я его вытесняю. Эта связь образов, наших действий и обратной ре- акции на них уже есть знания. И если эти знания ста- тистически достоверны, то есть связи не первый раз повторяются, если я понимаю, что, видимо, всегда это действие вызывает такой-то эффект, то я должен запо- мнить это, мне нужна память. Мы это называем базой знаний. В базе знаний записываются сведения о том, как действия влияют на образы. Естественно, для того чтобы хранить образы, нужна ещё память образа, где хранится эта конструкция, эти найденные мною обра- зы. Хорошо. Предположим, у меня эти знания накапли- ваются, то есть, сидя в этой чёрной комнате, наблю- дая за входами и выходами я себе в блокноте, в кон- це концов, записываю, как эти действия влияют на эти образы. Предположим, у меня этих знаний накопилось много. Могу ли я управлять теперь ими? Могу, но я не знаю – зачем. Что здесь хорошо? Что здесь плохо? Мне нужны какие-то качественные критерии. Для этого в каждом организме есть такой блок или подсистема, которую мы назвали аппаратом эмоций. Может быть, мы ошибаемся, и биологи нас поправят, но такая вещь должна быть. Александр Гордон. Она и есть. Александр Жданов. Она, в общем-то, есть, судя по всему. Это аппа- рат, который задаёт качественную окраску этим обра- зам. Это очень хитрый, очень сложный, очень много- функциональный аппарат, который на самом деле ре- шает много задач. Одна из них – это соотнести эти сформированные образы с теми целевыми функция- ми. Это происходит примерно так. Видимо, есть неко- торая шкала, напоминающая термометр, и указатель на этой шкале. Один из моих студентов удачно назвал это штуку «хорошометром». То, что она есть, я могу сейчас доказать. Если я сейчас спрошу: Валентин Анатольевич, вам сейчас как? Вы скажите, да так, ничего. На четвёрку, может быть, с плюсом. То есть на огромный комплекс распознанных в этот момент образов вы как-то отреа- гировали, сжали, свернули и превратили всё это в од- ну оценку. И этих оценок у каждого из нас штук десять – слов-то в русском языке не так и много, чтобы выра- зить наше состояние. Александр Гордон. В русском больше, чем в любом другом всё-та- ки. Александр Жданов. Да, но не 50. От «очень плохо», от «безобраз- но» до «хорошо», «так себе», «прекрасно», «велико- лепно», вот, собственно, и всё. Примерно десяток-дру- гой оценок. Это одна из этих функций. Так вот, мне теперь надо понять, как влияет на эту оценку то, что вы распознаете появление того или дру- гого образа на экране входной информации. Если ка- ждый раз уже знакомое нам красное пятно вызывает у меня отрицательное ощущение, падение этого «хо- рошометра», значит, это что-то такое плохое. Значит, с помощью тех знаний, которыми я уже обладаю в своём блокнотике, в своей базе знаний, я буду каждый раз при появлении этого пятна делать что-то такое, что- бы оно исчезло, наконец, с глаз долой. А если этот объект, другой образ, для меня полезен, если он ка- ждый раз вызывает повышение «хорошометра»? Ска- жем, это опять знакомая нам мама с бутылочкой моло- ка, и я нашёл здесь какие-то кнопочки, нажав на кото- рые, я вызову появление мамы? Сразу же поднимет- ся мой «хорошометр», значит, я буду стараться этим пользоваться. Я вам примерно рассказал алгоритм управления. Подождите секундочку с этим слайдом. В целом, есть ещё один блок, который я бы сюда добавил, это блок вывода новых знаний из старых. То есть, если си- стема такая умная, что она уже из накопленной сово- купности каких-то знаний может вывести какие-то ги- потезы, предположения, то этот блок тоже есть. Но, по всей видимости, вывод новых знаний тоже происходит через среду. Это отдельный разговор, потому что здесь речь идёт о языке. То есть, это связано с тем, что я должен сам испытать свою базу знаний. Я должен сам себе представить в уме: «Ага, в этой ситуации, а что если я побегу туда, а получится вот что». То есть я сам себе как бы подаю на свою базу знаний какие-то сиг- налы. «А что если я вот этот цилиндр рассеку плоско- стью, может быть, даже нарисую получившееся сече- ние графически: вот что получится». То есть, я как бы разговариваю сам с собой, испытываю свою базу зна- ний и вывожу какие-то новые знания. Вот, пожалуй, гру- бое описание всех подсистем и всех основных задач, которые должна решать система управления. И мне кажется, что… Александр Гордон. Простите, перебью. Здесь везде бинарная логи- ка. Александр Жданов. Да. Александр Гордон. Повсюду? Александр Жданов. Здесь никогда нельзя что-то очень сильно утверждать. Александр Гордон. Потому что когда вы стали говорить про вывод новых знаний, тут вопрос… Александр Жданов. Вы понимаете, нервная система дискретна. Всюду бегают однотипные сигналы. Дискретное число входов, рецепторов, дискретное число выходов. Дис- кретные сигнальщики. Но там есть и некоторые непре- рывные величины. Например, частоты. Например, раз- меры синусов. Они могут иметь какие-то значения. То есть там есть нечто аналоговое, что имеет, по всей ви- димости, важный смысл. Я могу даже предположить – какой. Может быть, к этому просто можно будет вер- нуться. То есть дискретная техника не отражает при- роды. Это очень интересные моменты, связанные уже с немножко другими вопросами. Давайте мы их сей- час опустим. Будем предполагать, что система всё-та- ки дискретна. Теперь бы хотелось показать, что можно сделать на основании такой системы управления. Можно строить вполне конкретные реальные системы. Они будут ра- ботать. И мы делаем такие системы. Мы делаем да- же прикладные системы. А потом я, может быть, скажу несколько слов о том, что не все так просто, что здесь есть на самом деле проблемы. Есть проблемы мате- матические, а есть проблемы принципиальные. Пока- жу на примере, может быть, близком к тому, о чём гово- рил Валентин Анатольевич: на примере с мобильным роботом. Предположим, что существует робот – он пока вир- туальный. Но он сделан так, что его можно превра- тить в железный. Пусть у него есть минимальное коли- чество датчиков. Это три визуальных датчика. Он мо- жет видеть наличие препятствия в трех секторах. Ро- бот получает бинарный сигнал: есть препятствие или нет. Три тактильных датчика спереди, один тактильный датчик сзади. Робот – это тележка с управляемым ко- лесом, у него есть очень простой привод, он может ехать вперёд, назад, либо поворачивать влево, впра- во. Покажите, пожалуйста, следующий слайд. Поместим мы этого робота в среду, в которой слу- чайным образом расположены препятствия. Препят- ствия стандартные. И попробуем смоделировать очень простую ситуацию. Вот «хорошометр», как я говорил, который сделан таким образом, чтобы робот испыты- вал неприятные ощущения при соприкосновении так- тильных датчиков с препятствием. Запустим робота в это пространство, пусть он об- учается и ползает. Мы с вами тем самым смоделиру- ем ситуацию, когда ребёнок учится ползать по кварти- ре, натыкаясь на препятствия. Он их видит, но он не понимает опасности столкновения и может удариться о предмет, испытав неприятные ощущения. Со време- нем этот ребёнок поймёт, что препятствие лучше об- ходить, чем на него натыкаться. И этот процесс мы по- пробуем смоделировать. Сейчас здесь на этом клипе показано, как почему-то он остановился. Показаны на- чальные движения робота, он ещё совершенно ничего не знает и совершает какие-то случайные такие дви- жения в пространстве. Что должен робот понять? Он должен понять сам, самостоятельно, что соударяться с препятствием – это плохо, потому что это больно. Мы ему этого не гово- рим, он должен это понять сам. Второе, что препятствие лучше обходить, чем на них натыкаться. То есть от него надо отворачивать, когда я его вижу. И он ещё должен понять, как же ему это де- лать. У него есть 7 вариантов действия, но он не знает, какое из них надо применять. И он это тоже находит сам. Вот эти задачи он должен решить. Если бы мы наблюдали за этим роботом достаточно долго (у нас просто нет сейчас этой возможности), мы бы увидели, как постепенно число соударений стано- вится меньше и меньше. Покажите, пожалуйста, сле- дующий клип. Я просто покажу уже следующую фазу поведения робота. Александр Гордон. Научившегося уже… Александр Жданов. Вот здесь мы видим уже, когда он достаточно поумнел для того, чтобы не ударяться лбом в препят- ствие. Вы видите, что он видит препятствие: сектор, изображённый впереди робота – это его поле зрения. И он вовремя отворачивает от препятствия, как только его заметил. То есть он решил эти задачи, он понял, что ударяться – это больно. Второе, он понял, что на- до поворачивать. И третье, он понял, как это надо де- лать, где надо сдавать задним ходом, где надо повора- чивать руль вправо, где надо поворачивать руль вле- во. То есть он учится у нас на глазах. Я вам могу эту программу запустить, она достаточ- но долго работает. Он у нас на глазах выработал такой способ поведения. На самом деле это достаточно ин- тересно. Если мы будем ставить перед этим роботом другие задачи (из этого угла переехать в тот, или, скажем, най- ти какие-то полезные батарейки, чтобы подзарядиться и т.д.), эти задачи можно будет решать на базе этого робота. Спасибо, оставьте, пожалуйста, эту картинку. На этом графике показано число соударений робота с препятствиями в единицу времени. Видно, что это чи- сло уменьшается со временем. То есть по мере того, как робот обучается, число соударений уменьшается до нуля. Хотелось бы ещё два слова сказать о том, что (по- жалуйста, следующий слайд покажите), эта система управления построена на специальных нейроноподоб- ных элементах. Потому что мы пытались всё-таки до конца идти этим путём и смоделировать нервную си- стему не только по её функциям, но и по её устройству. Разработали несколько специальных моделей нейро- нов. Это не те нейроны, которые используются в совре- менных искусственных нейросетях. Это такие нейро- ны, которые ищут корреляцию входных сигналов, при- чём обучаются без учителя, самостоятельно. И самый простой из этих нейронов показан на этой картинке. Из этих нейронов можно собрать все подсистемы упра- вляющей системы, о которой я говорил. И блок форми- рования распознавания образа, и базу знаний, и при- нятие решений, и аппарат эмоций. То есть можно со- брать всю эту систему управления. Это не есть система распознавания, как в обычных нейросетях. Эта система, о которой я говорю, есть си- стема управления, которая адаптивно управляет робо- том. Там есть блок распознавания, но это только один из блоков. Александр Гордон. Увеличение количества нейронов ведёт к умень- шению времени эксперимента или нет? Александр Жданов. Ну, конечно. Безусловно, здесь очень много за- висит от количества этих нейронов. Минуточку, ещё на- зад, пожалуйста, вернитесь, не забегайте. Вот здесь показан кусочек базы знаний, в данном случае – это трехмерная матрица, где каждый нейрон получает ин- формацию об условии, которое было, о действии, ко- торое он совершил, и о результатах, которые из это- го получились. И некоторые нейроны, те, которые как бы поймали закономерные эти троечки – условия, дей- ствие и результат – они обучились, я их там выделил жёлтым светом. Валентин Непомнящих. А они способны переучиваться? Александр Жданов. Это зависит от того, как вы этот нейрон устрои- те. Я считаю, что биологические нейроны в своём зре- лом возрасте плохо переучиваются. Валентин Непомнящих. То есть получается, что число всякого рода форм поведения, которое ваша система способна вы- учить, определяется числом нейронов в ней. Пока есть свободные нейроны, до тех пор она учится? Александр Жданов. Даже не совсем так. В каком-то смысле так, но не все нейроны будут обучены к концу жизни. И тут, как ни странно, на основании такой схемы можно устроить практически полезные системы. Вот на этом слайде показан прототип системы управления для ак- тивной подвески автомобиля, где система адаптирует- ся к свойствам этого автомобиля. Предполагается, что эта подвеска оснащена некоторым активным элемен- том, который может автомобиль подталкивать вверх- вниз, при этом управляющая система со временем по- нимает, как это делать. Внизу нарисована база зна- ний, которую эмпирическая система получила, она от- ражает свойства данного конкретного автомобиля: как этот автомобиль реагирует на то или другое воздей- ствие. Пользуясь этими знаниями, система может так аккуратно управлять этой подвеской, что она сглажи- вает нежелательные колебания и заставляет автомо- биль двигаться так, как вам надо. Вот слева график: это сильные колебания автомо- биля, обычного автомобиля при наезде, скажем, на препятствие. Справа мы видим гораздо более гладкую кривую. Очень интересная, такая практически полез- ная вещь. Валентин Непомнящих. А можно вам вопрос? С какой скоростью она учится? Скажем, можно сопоставить её скорость об- учения со скоростью обучения водителя: вот человек купил новый автомобиль, и он к нему приспосаблива- ется. И ваша система… Александр Жданов. Наверное, можно сопоставить. Конечно, здесь очень много зависит от процессора, от различных де- талей, и т.д. Можно обучаться с нуля, можно заста- вить переучивать некую среднюю базу знаний, зара- нее, скажем, накопленную. Тут очень много различных вариантов. Но в принципе, естественно, есть период, когда она учится, больше учится, чем управляет. Но постепенно доля управления становится больше, чем доля обучения. Покажите, пожалуйста, следующую картинку. При- мерно похожая адаптивная система управляет угло- вым движением спутника. Я хочу обратить внимание, что в эту систему не закладывается математическая модель объектов в том виде, как это обычно делает- ся. Там нет системы дифференциальных уравнений, где какие-то коэффициенты надо было бы уточнить. Тут совсем нет этой системы. Здесь знание – это, скорее, некоторое отображение из множества в дру- гое множество. Из множества образов, множества дей- ствий, множества образов, которые отражают резуль- таты. Это ещё связано с оценками. И вот эти отноше- ния элементов этих множеств система и находит. База знаний имеет именно такой смысл. В данном случае, очень полезная система, потому что точную математическую модель космического ап- парата, его углового движения, построить очень труд- но, потому что вы не можете на Земле очень точно померить различные коэффициенты, которые входят в эту модель, потому что вы не можете воспроизве- сти вакуум, не можете произвести невесомость на Зе- мле. Не можете воспроизвести перепады температу- ры, ещё что-то. В конце концов, что-то может сломаться в космосе, или заклинить, и реакция этого объекта на то или дру- гое воздействие будет не такой, как вы заложили в мо- дель. И качество будет другое. А вот эта системка может прямо по ходу дела ада- птироваться именно к тому объекту, который вы ей да- ли. Александр Гордон. У нас очень мало времени. Я прошу прощения, я бы хотел, чтобы вы напоследок задали те вопросы, на которые у вас пока нет ответов. Для того чтобы понять, куда вместе вы можете идти дальше. Я имею в виду две науки. Александр Жданов. Если вы запустите третий клип в это время, я сейчас покажу связь. Здесь видно, как на верхнем гра- фике объект, который должен выправляться, становит- ся глаже по мере того, как база знаний справа запол- няется. Обратите внимание, внизу – действие. Вы ви- дите эти две моды: поисковый режим, небольшой раз- брос пробных действий. Он сменяется резкими широ- кими скачками. Посмотрите, как этот поиск постепенно будет схо- диться, и по мере того как знаний становится всё боль- ше и больше, верхняя кривая, в конце концов, ста- нет другой: посмотрите, как аккуратно он управляет от- дельными слабыми толчками. Это похоже на то, как ребёнок учится ездить на велосипеде. Вначале есть какие-то грубые, несуразные движения, он падает. Но постепенно он находит правильные манёвры. И вот он ещё едет, дёргая руль, и потом вдруг он едет уже ров- но. Александр Гордон. И всё-таки… Валентин Непомнящих. И собственно, тогда вопрос: возвращаясь к ру- чейнику, можно ли на основе этой системы управления создать робота, который выработал бы такую же или похожую, столь же эффективную или столь же неэф- фективную систему поиска, как у ручейника? Как вам это представляется на основании моего рассказа, ко- торый ничего не говорит о механизмах, а говорит толь- ко о правилах поведения? Александр Жданов. Я думаю, что поведение нашей системы, ко- торое я сейчас показал, предшествует той тактике по- ведения, которую демонстрирует ручейник – это выра- ботка элементарных рефлексов. Но следующие моде- ли поведения уже, видимо, будут сравнимы с ручейни- ком. Хотя на графике, который мы видели последним, показано, как мода небольших колебаний сменялась широкими пробными скачками. Александр Гордон. Да, график получался очень схожий с тем, что… Валентин Непомнящих. Переключение между двумя модами. Александр Жданов. Мы это обнаружили, на самом деле, букваль- но в течение последнего часа, это сходство. Наверное, оно неслучайно. Здесь надо просто посмотреть. Александр Гордон. Я думаю, что на этом мы остановимся. Наде- юсь, что сходство неслучайно. И хочу напомнить, что передача эта междисциплинарная. Я бываю абсолют- но счастлив в тот момент, когда удаётся свести людей, которые представляют две разные профессии, с тем, чтобы выработать общую стратегию поиска… Валентин Непомнящих. …Истины. Александр Гордон. …того, что нам так необходимо. Валентин Непомнящих. Спасибо вам, что вы нас свели.
|
Биология. Программа 10 и 11 класса
Физика и свобода воли
Обратный отсчет. Неправильные песни
Интеллект-видео. 2010. RSS
|
|