АНАЛИЗЫ: Троянское обучение в информационных технологиях

Автор: Александр Поддьяков

"Способность учиться быстрее своих конкурентов является единственным надежным источником превосходства над ними". Эта мысль Ари де Гиуса (Arie de Geus), бывшего регионального управляющего компании Royal Dutch/Shell, председателя Англо-Голландской торговой палаты развивает знаменитое бэконовское высказывание "Знание - сила" и быстро покоряет мир.

Общий закон конкуренции состоит в том, что конкурентных преимуществ можно достигать двумя путями:

а) усиливая свой собственный потенциал;

б) ослабляя соперника.

Если способность к обучению становится критически важной в конкурентной борьбе, начинается реализация обоих путей - безотносительно к тому, что в учебниках педагогики обучение рассматривается как деятельность, направленная на всеобщее благо, а тот же Ари де Гиус пишет лишь о важности способностей учиться, а вовсе не способностей мешать это делать другим. (Простим ему этот романтический идеализм, так свойственный управляющим нефтяными компаниями.)

Но давайте обратим внимание на обратную сторону конкурентной борьбы в обучении и на тех, кто убежден, что способность тормозить обучение конкурентов или же направлять его не туда, куда надо, - тоже вполне надежный источник превосходства над ними. Рассмотрим проблему противодействия обучению соперников, причем в двух сферах: а) взаимодействия людей - участников конкурентной борьбы в области информационных технологий; б) взаимодействия систем искусственного интеллекта.

Наблюдения и специально проводимые исследования показывают: в реальной жизни случаи противодействия обучению конкурента встречаются в самых разных возрастных, социальных, профессиональных группах - важно, чтобы в их деятельности была конкуренция, ощущаемая участниками как значимая с той или иной точки зрения. Даже дети могут учить новичков заведомо проигрышным стратегиям игры, чтобы выигрывать самим; профессионалы - преднамеренно давать другим неправильные или невыгодные советы, рецепты, инструкции и т. д. Приведем некоторые примеры.

В фирме, занимающейся изготовлением и продажей телекоммуникационного оборудования, руководитель отдела по работе с клиентами, ответственный в том числе за их обучение обращению с этой сложной техникой, получил следующую инструкцию от директора фирмы. Директор сказал, что к ним под видом клиентов могут обращаться конкуренты - для выведывания секретов. Поэтому учить всех приходящих надо так, чтобы они ничему существенному не научились (кроме нажимания кнопок на внешней панели). В случае проблем клиент всегда может обратиться в саму фирму, где все и будет налажено. Этот пример интересен тем, что здесь один человек учит другого (нижестоящего учителя), как тому не учить своих учеников. Тем самым нижестоящий учитель ставится в сложное положение, способное вызвать внутриличностный конфликт.

В вышеприведенном случае противодействие обучению вызвано соображениями секретности и подчиняется принципу: тот, кто выступает в роли обучаемого, "должен знать и уметь только то, что ему положено знать и уметь - лишние знания и умения недопустимы (вредны)".[Малюк А. А., Погожин Н. С., Толстой А. И. Обучение вопросам компьютерной безопасности специалистов-профессионалов и персонала, связанного с противодействием компьютерным атакам. Доклад на российско-американском семинаре по проблемам компьютерного терроризма. 18 марта 2003 г., Президиум РАН, Москва.] Такого дидактического принципа не найти в традиционных учебниках педагогики, где вопрос недопущения учащегося к знаниям показался бы нонсенсом!

Однако в реальном бизнесе при слиянии фирм в альянсы одна из них может специально играть роль так называемого троянского коня, чтобы в период нахождения в альянсе, в процессе скрытого или явного обучения другой фирмой - членом альянса, получить у той скрываемую технологическую и иную информацию. После чего разорвать альянс и выйти на рынок более конкурентоспособной. В свою очередь, другая фирма, закономерно предполагая возможность и такого варианта развития событий, принимает меры защиты от этого несанкционированного ею приобретения знаний членом альянса.[Гарретт Б., Дюссож П. Стратегические альянсы. - М.: ИНФРА-М, 2002. Dussauge P., Garrette B., Mitchell W. Learning from competing partners: outcomes and durations of scale and link alliances in Europe, North America and Asia // Strategic management journal. 2000. V. 21. P. 99–126.] Это одна из сторон управления знаниями в конкурентной борьбе.

Особый интерес представляет скрытое обучение другого субъекта тому, что для него невыгодно, вредно, опасно, но соответствует интересам организатора обучения. Для описания и анализа этого явления в 2002 году я ввел понятие "троянское обучение" и "троянские обучающие технологии"[Поддьяков А.Н. Ориентировочная и дезориентирующая основы деятельности: иерархии целей обучения в конфликтующих системах // Вопросы психологии. 2002. № 5. С. 79-8 Поддьяков А.Н. Противодействие обучению конкурента и "троянское" обучение в экономическом поведении // Психология. Журнал Высшей школы экономики. 2004. №3. С. 65-82. Poddiakov A. "Trojan horse" teaching in economic behavior // Social Science Research Network, 2004.] (образовано на основе метафоры "троянского коня"). Приведу примеры этого феномена из разных областей.

Даже в сказках, этих общекультурных формах накопления и передачи значимого социального опыта, которые усваиваются с раннего детства, широко представлены ситуации, когда одни персонажи учат других тому, что для последних невыгодно или опасно: Баба-Яга учит Иванушку садиться на лопату, чтобы засунуть его в печь; лиса учит волка ловить рыбу на собственный хвост в проруби; Братец Кролик учит Братца Лиса, как вести себя покойнику при появлении соболезнующих друзей, и т. д. Тем проще повзрослевшим людям в зрелом возрасте пойти этим же путем…

Особенно уязвимым для троянского обучения оказывается удаленное обучение. Ведь здесь разные участники образовательного процесса получают намного более широкие возможности для скрытого вторжения в учебный процесс конкурента, искажения или подмены учебного материала и т. п. Наиболее яркие примеры можно найти в областях, связанных с интернет-обучением военным видам деятельности.

Сотрудница Контртеррористического института Я. Шахар подчеркивает: "Нам очень важно знать, чему они [террористы. - А.П.] учат друг друга. В форумах, на сайтах мы видим оружие, которое они предпочитают… В таких случаях мы можем вмешаться в дискуссию и сказать: нет, это неэффективно, лучше попробуйте вот это. Это же открытый университет - что-то вроде Википедии. Можно подсказать им идею глушителя, но такого, что размер слишком мал. И предложить испытать его со студентами, посмотреть, как он работает. То же со взрывчаткой: легко придумать новые варианты состава, выложить на сайт открытого университета - и на следующий день посмотреть, у кого не хватает пальцев на руках".[Левкович-Маслюк Л. Инструктаж // Компьютерра. #693-694.]

Таким образом, можно видеть, что технологии противодействия обучению соперников и троянского обучения развиваются в тесной связи с развитием технологий, стимулирующих обучение.

В целом можно утверждать, что цивилизация развивается под влиянием двух противоположных и взаимосвязанных направлений социальных воздействий: а) стимулирования обучения и развития интеллекта; б) противодействия им. Безусловно, это в первую очередь относится к обществу знаний - в нем удар по способности учиться, по процессам обучения и овладения новыми видами деятельности является одним из самых эффективных способов сделать конкурента несостоятельным в стремительно меняющемся мире [Поддьяков А.Н. Психология конкуренции в обучении. - М.: Изд. дом ГУ-ВШЭ, 2006. ]

Обратимся к недавней истории. Джеймс Олсон (James Olson) приводит примеры того, как странам с враждебными режимами, пытающимся нелегально получить мощные компьютеры, запрещенные к продаже, давали возможность украсть или купить предварительно подготовленную компьютерную систему со специальными "закладками" ("логическими бомбами"), которые приводили, например, к опасным скачкам давления в трубопроводе, находящемся под контролем этой системы, или к другим нештатным, потенциально опасным ситуациям.[Olson J. Fair play: the moral dilemmas of spying. Washington: Potomac Books, 2006. ]Олсон не анализирует эти относительно недавние ситуации с точки зрения развития компьютерных технологий, его интересуют моральные дилеммы. Но мы обратимся именно к возможному развитию компьютерных технологий.

Нет сомнений, что подобные ситуации могут повторяться, но уже на новом витке. Если в будущем способность интеллектуальных систем обучаться станет критически важной характеристикой, дающей значительное конкурентное преимущество, то с большой вероятностью обладатели этих систем введут те или иные ограничения и запреты на доступ к ним, на их приобретение и т. д. А тем субъектам, кто попытается нелегально обойти эти ограничения, время от времени будут предлагаться системы с "троянской начинкой" - но уже в отношении способности учиться. Это могут быть системы, чьи способности к обучению ниже ожидаемых, обучающиеся не совсем тому или даже совсем не тому, что нужно пользователю, и т. д.

Предварительно подчеркнем: говорить о противодействии обучению технической системы, "межкомпьютерном" троянском обучении и т. д. имеет практический смысл, только если реализуемы сами эффективные обучающиеся и обучающие компьютерные системы (споры же об их реализуемости ведутся ожесточенные). Любое троянское обучение использует особенности "просто" обучения (обучения "без злого умысла"), паразитируя на нем, и возможно лишь на его основе. После этой оговорки продолжим рассуждение о потенциальных направлениях развития "умных" технических систем.

Несмотря на дискуссионность вопроса, в настоящее время многие исследователи считают важнейшим и самым перспективным направлением в области искусственного интеллекта создание систем, способных к обучению. Со своей стороны заметим: в силу психологических закономерностей в случае появления высокоэффективных обучающихся систем некоторые из людей, работающие в областях жесткой (жестокой) конкуренции, займутся созданием обучающихся систем второй и последующих ступеней. То есть среди направлений развития искусственного интеллекта может появиться разработка компьютеризованных систем:

а) противодействующих обучению других технических систем, понижающих их обучаемость и "интеллектуальный уровень" (это может быть выгоднее, чем прямое уничтожение системы или полная и явная остановка ее функционирования);

б) систем, обучающихся и повышающих свой "интеллектуальный уровень" именно в условиях противодействия их функционированию.

Эти возможности развития обучающихся систем искусственного интеллекта совершенно не осознаются.

Более того, прогнозы в связи с обучением интеллектуальных систем делаются оптимистические, обещающие всеобщий расцвет и гармонию. Но на самом деле тому, кто считает, что обучаемость технического устройства - управляемая переменная, изменяющаяся в определенном диапазоне, один шаг до того, чтобы понять: можно пытаться не только поднимать значение этой переменной, но и опускать его до нуля. Затем кто-то может попытаться придать содержательный смысл переводу обучаемости в значения ниже нуля, в отрицательную область - эскалация возможностей представляется здесь безграничной.

Интересно, что сейчас среди огромного количества научной и ненаучной литературы, эксплуатирующей тему столкновения систем искусственного интеллекта (например, роботов, враждующих суперкомпьютеров и т. д.) как их физической схватки, перепрограммирования друг друга и т. д., нам не удалось обнаружить констатации того, что полем конкуренции систем искусственного интеллекта может стать обучаемость, ее повышение и понижение - и это при том, что сама способность приобретать знания оценивается невероятно высоко. Почему-то мало осознается, что придание высокого веса знаниям и обучаемости в картине мира может вести соперников - не только людей - как к повышению своей собственной обученности и обучаемости, так и к попыткам ослабления чужой.

Что думают эксперты в области информационных технологий по поводу проблемы "совместного обучения" искусственных систем - при ее явно представленной формулировке? Как часто подчеркивается, в области спамовой и антиспамовой борьбы, на этом переднем крае развития интеллектуальных систем, контуры которого видны и рядовому пользователю, сражаются именно самообучающиеся программы, причем их самообучение все более эффективно.

Поэтому я обратился с вопросом к разработчикам антиспамовой защиты Яндекса, опубликовавшим статью "Принципы и технические методы работы с незапрашиваемой корреспонденцией", - И. Сегаловичу, Д. Тейблюму, А. Дилевскому, а также разработчику языков программирования и компьютерных программ различного назначения, в том числе антиспамовых фильтров, писателю и художнику Полу Грэму (очень рекомендую его статью "Хакеры и художники"). Я спросил, считают ли они, основываясь на своем опыте, что возможными направлениями развития искусственного интеллекта может стать разработка систем: а) противодействующих обучению других систем искусственного интеллекта; б) обучающихся в условиях противодействия. От российских авторов я не получил отклика (возможно, из-за надежной работы антиспамовых фильтров Яндекса). Грэм ответил утвердительно на обе части вопроса и подчеркнул: спамовые фильтры сейчас разрабатываются так, чтобы в процессе обучения их было трудно обмануть, и в целом в большинстве областей искусственного интеллекта решения будут такими, чтобы избежать обмана.

Зарубежная фирма предложила Государственному научному центру РФ "Физико-энергетический институт" бесплатное обучение технологии компьютерных расчетов для атомных электростанций. При юридической экспертизе оказалось, что в случае принятия предложения фирма может, пользуясь правом интеллектуальной собственности, наложить вето на любую международную сделку института, в которой использовалась эта технология. Глава Центра охарактеризовал это обучение как средство "закабаления конкурента" [Коновалова И., Коновалов Б. Все на Продажу // Вечерняя Москва. №28 (22313). 5 февраля 1998. С. 6.]. В данном примере важно, что чем качественнее и универсальнее было бы исходное обучение и чем шире обучаемые использовали его результаты, тем масштабнее и разрушительней стал бы эффект последующих действий стороны, организовавшей обучение. Это обучение должно было стать поистине троянским.

Подчеркнем, что речь идет именно об управлении обучаемостью, а не об управлении обучением. Ведь пытаться управлять обучением человека (интеллектуальной системы, программного агента) как процессом приобретения им тех или иных знаний, умений, навыков можно и не прибегая к изменению его обучаемости. Многие виды животных целенаправленно учат своих детенышей. Но нет никаких данных, что они целенаправленно управляют их обучаемостью - хотя стихийно, вероятно, влияют на нее.

Целенаправленная разработка и реализация программ повышения обучаемости "учись учиться" - это прерогатива человека и, возможно, созданных им искусственных систем.

Для того чтобы поставить задачу повышения обучаемости одних субъектов (программных агентов и т. д.) и понижения обучаемости других, необходимо иметь достаточно развитую теорию обучения, которая постулирует изменчивость обучаемости[Не всякая теория обучения постулирует изменчивость обучаемости. Обучаемость может пониматься и как неизменное качество на протяжении существования субъекта, например, в силу жесткой генетической детерминации.], описывает факторы, влияющие на нее, а также содержит еще один принципиально важный компонент. Это представления об особенностях обучаемости и интеллекта именно того объекта (человека, социальной группы, технической системы), на который направлены позитивные или негативные обучающие воздействия.

Припомним здесь снова две сказки: в одной лиса учит волка, как ловить рыбу на собственный хвост в проруби, а в другой баба-яга учит Иванушку садиться на лопату, намереваясь отправить его в печь.

Результаты, как известно, оказались противоположными для организаторов обучения. Волк, как и хотела лиса, примерз к проруби, лишился хвоста и еле ноги унес от разъяренных селян, сама же она осталась при барышах. А у бабы-яги, в отличие от лисы, дела сложились не так хорошо. Эта "организаторша обучения" погорела в прямом и переносном смысле на том, что Иванушка, всячески подчеркивая свою крайне низкую обучаемость, попросил ее продемонстрировать лично, как же надо садиться на лопату.

В обоих случаях в выигрыше оказался тот, кто лучше представлял себе, что делается в голове у другого: каков его интеллект и на что его можно спровоцировать, в том числе (или даже - прежде всего) в процессе обучения.

Для анализа сказочных, а также вполне реальных ситуаций такого рода больше всего подходит понятие рефлексивного управления соперником и понятие "формирование доктрины противника посредством его обучения", которые отечественный психолог и математик Владимир Александрович Лефевр ввел сорок лет назад в своей теории конфликтующих структур [Лефевр В. А. Конфликтующие структуры. - М.: Ин-т психологии РАН, 2000]. (В 1974 году он эмигрировал в США и ныне работает в Институте математических наук о поведении - Institute for Mathematical Behavioral Sciences, Университет Калифорнии.)

Рефлексия в его теории понимается как размышления о мышлении другого человека. Глубина рефлексии, или ее ранг, определяется длиной цепочки рассуждений: "Я думаю, что ты думаешь, что он подумал..." и т. д. В антагонистических играх рефлексия может способствовать успеху более продвинутого игрока, ломая при этом объективно имевшиеся отношения превосходства и переворачивая казавшуюся незыблемой иерархию. Можно ожидать, что и в троянском обучении, и в защите от него более успешными тоже будут те интеллектуальные системы, в которые встроена рефлексивная способность - способность разбираться в чужом устройстве обучаемости.

В заключение подчеркнем следующее. Разработка конкурентных сред, в которых конкуренция агентов за более высокие уровни обучаемости является одной из ключевых характеристик среды, может стать важным направлением практической и исследовательской деятельности. Цель может состоять в разработке конкурентных сред, позволяющих генерировать и отбирать интеллектуальных агентов с оптимальными способностями к обучению.

Отчего же с оптимальными, а не максимальными? Это отдельная история.