Теория подкрепления Долларда и Миллера

Теория подкрепления Долларда и Миллера

В некоторых отношениях Джон Доллард и Нил Миллер представляют яркий контраст; в других – основы, на которых они стоят, чрезвычайно схожи. Различие между ними в том, что Миллер разрабатывал важные идеи и совершил открытия в первую очередь в области экспериментальной психологии, а Доллард сделал важный вклад в антропологию и социологию. Однако на обоих повлиял опыт, полученный в Институте человеческих отношений, и с этим связано то, что оба они в долгу перед Халлом и Фрейдом. Возможно, плодотворность их сотрудничества связана с общим стержнем, общими убеждениями, на основе которых каждый осуществлял собственные теоретические и эмпирические усилия.

Джон Доллард родился в Менаше, Вашингтон, 29 августа 1900 года. Степень бакалавра он получил в Висконсинском университете в 1922 году и впоследствии степени магистра (1930) и доктора (1931)в области социологии в Чикагском университете. С 1926 по 1929 год он работал ассистентом президента Чикагского университета. В 1932 году он занял место преподавателя-ассистента социологии в незадолго до того созданном Институте человеческих отношений. В 1935 году он стал ассистентом-исследователем этого института, в 1948 – научным сотрудником и профессором психологии. С 1969 года – почетный профессор. Он прошел обучение психоанализу в Берлинском институте и стал членом Психоаналитического общества Западной Новой Англии. Убеждения Доллард а относительно унификации социальных наук и его самоотдача в этой области отражены не только в публикациях, но и в том замечательном факте, что он в одном и том же университете занимался академической деятельностью в области антропологии, социологии и психологии. Следует отметить, что такая междисциплинарная активность возникла в то время, когда эти отдельные дисциплины были гораздо дальше друг от друга, чем сейчас. Доллард написал множество статей в области социальных наук и колебался между этнологией и психотерапией. Он автор ряда книг, отражающих эту широту его интересов. "Caste and class in a southern town" (1937) – получившее высокую оценку полевое исследование, связанное с ролью негритянского населения в южном сообществе, представляет один из первых примеров анализа культуры и личности. За этим последовала родственная работа, "Children of bondage" (1940), в соавторстве с Эллисон Дэвис. (Allison Davis). Он опубликовал две книги, посвященные психологическому анализу страха: "Victory over fear" (1942) и "Fear in battle" (1943); важная монография посвящена проблемам использования историй жизни – "Criteria for the life history" (1936). Совместно с Фрэнком Олдом (Frank Auld) и Элис Уайт (Alice White) он опубликовал "Steps in psychotherapy" (1953), – книгу, представляющую метод психотерапии, включающий детальное описание индивида в процессе лечения, и, с Фрэнком Олдом, "Scoring human motives" (1959).

Нил Миллер родился в Милуоки, Висконсин, 3 августа 1909 года, получил степень бакалавра в Вашингтонском университете в 1931. Степень магистра получил в 1932 году в Стенфордском университете, а степень доктора по психологии – в Йельском университете в 1932 году. С 1932 по 1935 год он работал ассистентом в Институте человеческих отношений, а 1935-1936 – членом Совета по исследованиям в области социальных наук, в это же время прошел обучающий анализ в Венском институте психоанализа. С 1936 по 1940 был преподавателем, затем ассистентом в Институте человеческих отношений. С 1942 по 1946 год руководил исследовательским проектом по психологии в военно-воздушных силах. В 1946 году вернулся в Йельский университет, став профессором психологии в 1952 году. В Йеле он оставался до 1966 года, когда стал профессором психологии и возглавил лабораторию физиологической психологии Университета Рокфеллера. Помимо сотрудничества с Джоном Доллардом, Миллер более всего известен в психологии благодаря экспериментальной и теоретической работе в области влечений, природы подкрепления и изучению конфликта. Его ранние исследования были чисто бихевиоральными, но с середины 50-х годов Миллер заинтересовался физиологическими механизмами, стоящими за влечениями, подкреплениями и связанными с ними феноменами. Эта работа детально представлена в журнальных публикациях, хотя большая ее часть освещена в трех прекрасных главах справочника (Miller, 1944, 1951а, 1959). Уважение, которое заслужил его вклад в этой области, выразился в возданных ему почестях. Сюда относятся членство в престижной Академии наук, избрание Президентом Американской психологической ассоциации (1959), Уорреновская медаль Общества экспериментальной психологии (1957), Президентская научная медаль (1965), которой, кроме него, были удостоены только двое других ученых-бихевиористов.

В 1939 году несколько сотрудников Института человеческих отношений, включая Долларда и Миллера, опубликовали монографию под названием "Frustration and aggression". Это был один из первых и интересных примеров того подхода, который мы обсудим в этой главе. Авторы попытались проанализировать фрустрацию и ее последствия с точки зрения S-R понятий. В монографии представлена систематическая формулировка этой позиции, множество новых исследований и предсказаний относительно ожидаемых событий. Эта работа не только иллюстрирует интеграцию S-R понятий, психоаналитических положений и антропологических данных, но представляет данные, свидетельствующие о плодотворности такого объединения, и это привело ко множеству эмпирических исследований. Миллер и Доллард совместно написали два тома, отражающие попытку применить упрощенную версию теории Халла к проблемам социальной психологии ("Social learning and imitation", 1941) и проблемам клинической психологии и психологии личности ("Personality and psychotherapy", 1950). В первую очередь содержания этих двух книг, особенно второй, составляют основу дальнейшего изложения. Сердцевина этой позиции – описание процесса научения. Миллер и Доллард ясно выражают свой общий взгляд на этот процесс и его составляющие в следующем пассаже:

"Что же представляет теория научения? В простейшей форме – это изучение обстоятельств, связывающих реакцию и ключевой стимул. После завершения научения реакция и ключевой стимул связаны вместе таким образом, что ключевой раздражитель побуждает реакцию... Научение происходит в соответствии с определенными психологическими принципами. Не всегда все дело в практике. Связь между ключевыми раздражителем и реакцией может быть усилена только в определенных условиях. Научающийся должен быть побужден к совершению реакции и получить награду за ответ в присутствии ключевого стимула. Проще можно сказать, что для того, чтобы чему-то научиться, человек должен чего-то желать, что-то замечать, что-то делать и что-то получать. В более точной формулировке, эти факторы – влечение, ключевой раздражитель, реакция и награда. Эти элементы процесса научения были тщательно изучены, и выявились дальнейшие сложности. Теория научения стала твердым сплавом принципов, полезных для описания человеческого поведения" (1941, сс. 1-2).

Принципы научения, примененные Доллардом и Миллером к повседневной жизни, были открыты в контролируемом лабораторном исследовании и, как правило, на материале животных. Знание этих лабораторных принципов, как и определенные относящиеся к ним теоретические представления, принципиальны для понимания их теории личности. Описание гипотетического эксперимента, построенного по образцу новаторских экспериментов Миллера и его коллег (Miller, 1948; Brown & Jacobs, 1949) и теоретический анализ его результатов послужит введением в этот необходимый фон.

Иллюстративный эксперимент

После нескольких таких сессий в прибор вводились новые изменения. Перепрыгивание больше не приводило к прекращению звука. Однако, если крыса опускала рычаг, прикрепленный к основанию перегородки, звук отключался. Животные вновь проявляли сильную активность по большей части ограниченную прыжками "туда-сюда" через перегородку. В ходе движений крыса могла опустить рычаг. Постепенно прыжки через загородку исчезают, время между подачей звука и нажатием на рычаг уменьшается и в конце конов нажатие осуществляется сразу вслед за подачей звука. Поведение таких объектов ярко контрастирует с поведением контрольных животных, не получавших удара током, у которых не возникает никаких систематических изменений поведения ни в одной из экспериментальных сессий. Очевидно, в результате объединения в пару звука и удара током экспериментальные объекты научаются или усваивают новые реакции, тогда как контрольные – нет.

В реальности имело место несколько типов научения. Первое классическое обусловливание, форма научения, открытая Павловым. Классическое обусловливание представляет процедуру, в которой изначально нейтральный стимул (условный стимул или УС) сочетается с безусловным стимулом (БС), который побуждает типичный поведенческий стереотип, или безусловную реакцию (БР). После повторения сочетаний УС – БС, УС, представленный как таковой или в антиципации БС, вызывает характерную реакцию, известную как условная реакция (УР). В типичном случае УР сходна с БР, хотя редко идентична.

Рис. 13-1

Линия классического обусловливания, появившегося в нашем иллюстративном эксперименте в соответствии с теорией Миллера, показана на рис. 13-1. Однако, рассмотрим сначала последствия удара током как таковые. Между наблюдаемым БС (удар) и открытым поведением (R\emot) имеет место цепь внутренних событий. Удар побуждает ряд внутренних реакций, связанных с болью (обозначенных здесь как r\emot). Эти r\emot в свою очередь дают подъем внутреннему стимульному паттерну. Помимо того, что эти внутренние стимулы обладают той же способностью, что и внешние источники, в "запускании" последующих реакций, о них еще говорят, что они имеют свойство побудителей, влечений (D) и, соответственно, определяются как стимул-влечения или s\D

Влечение – мотивационный концепт в системе Халла, он побуждает или активирует поведение, но не определяет его направления. В данном случае влечение врожденно и первично, основан на боли. Конечно, есть ряд первичных влечений, помимо воли, такие, как голод, жажда, секс. Последние, в отличие от боли, представляют состояния депривации, возникающие из-за недостаточности определенной стимуляции, например, пищи, и редуцируемые обеспечение соответствующей стимуляции организма, а не снятием вредной стимуляции. Миллер постулирует, что любая внешняя или внутренняя стимуляция, будучи достаточно интенсивной, пробуждает влечение и побуждает действие. Как предполагается в этом положении, влечения различаются по силе, и чем сильнее влечение, тем более энергично и устойчиво энергизируемое им поведение. Например, в нашем эксперименте, сила наблюдаемого эмоционального поведения в ответ на БС и, позже, усвоенной реакции перепрыгивания через перегородку, определяется силой удара током.

Первоначально звук зуммера не вызывает никакого эмоционального поведения, ассоциируемого с ударом тока. Но после повторных предъявлений звука и удара, звук обретает способность вызывать внутренние r\emot, схожие с тем, что изначально вызывались болевым БС; условная реакция (УР) усваивается. В системе Халла, используемой Доллардом и Миллером, имеющее место научение описывается как ассоциативная связь между условным стимулом (звук) и реакцией (r\emot), что представлено теоретическим концептом "навык". Как мы обсудим подробнее позже, Халл постулировал, что для того, чтобы навык сформировался, нужно не только, чтобы стимул и реакция были близки во времени и пространстве, но и то, чтобы реакция сопровождалась подкреплением или наградой. Если мы допускаем последнее условие, сила S-R навыка возрастает с числом случаев, в которых стимул и реакция возникали вместе.

Повторяющееся предъявление звука и удара в первой сессии нашего эксперимента с избавлением объектов от удара в качестве подкрепления достаточно для возникновения довольно сильного навыка. Когда сформировались классически обусловленные r\emot, предъявление одного звука не только побуждает r\emot, но также приводит в действие остальную цепочку событий, изначально связанную с применением удара. Таким образом, отличительный паттерн внутренней стимуляции s\D и в комбинации со звуком будет действовать как ключ к включению внешнего поведения, сходного с тем, что до того пробуждался ударом тока. Далее, эти наблюдаемые реакции энергизируются или активируются побудительными ("влекущими") свойствами s\D. Поскольку влечение вызывается усвоенной реакцией на прежде нейтральные стимулы, оно определяется как приобретенное или вторичное влечение, в отличие от первичного влечения, пробуждаемого реакцией на болевую стимуляцию.

Чтобы отличить последовательность r\emots\D вызванную ударом тока и классически обусловленную последовательность, вызванную звуком, последняя получила название тревоги или страха. Таким образом, страх – это и усвоенная реакция – обусловленная форма болевой реакции, если использовать слова Маурера, – и усвоенное или вторичное влечение.

Но, как мы уже сказали, экспериментальные объекты усваивали больше, чем эти реакции страха. Во время первой сессии они быстро научились перепрыгивать через перегородку сразу по появлении звука и удара, даже несмотря на то, что первоначально стимуляция вызывала множество разнообразных энергичных реакций, из-за которых перепрыгивание через перегородку была не самой заметной. Ключ к пониманию того, почему именно эта реакция стала доминирующей, – в ее следствиях: лишь перепрыгивание через перегородку прекращало ситуацию шока и цепь побужденных внутренних событий. Хотя тому и есть исключения, события, "редуцирующие или устраняющие стимульные влечения в типичном случае усиливают или увеличивают вероятность появления любых реакций, которые они регулярно сопровождают и называются подкреплениями. Напротив, реакции, которые не сопровождаются событиями, редуцирующими стимульное влечение, имеют тенденцию не повторяться. Поскольку подкреплением – прекращением удара – сопровождалось лишь перепрыгивание, эта реакция, в отличие от других, усиливалась.

Развитие способности сочетания звук-удар устанавливать реакцию перепрыгивания – пример научения, в котором, в отличие от классического обусловливания, появление подкрепления зависит от реакции; реакция продуцирует подкрепляющее событие. Тип научения, имеющего место в таких условиях, называется инструментальным или, как назвал бы его Скиннер, оперантным обусловливанием. Во время первой сессии в нашем эксперименте сформировались два типа реакций: классически обусловленная реакция страха и инструментальная реакция перепрыгивания через перегородку, формируемая благодаря прекращению действия БС (таким образом, через редукцию влечения происходило подкрепление обеих реакций).

После первой сессии удар током прекращался и использовался только звук. Поскольку ток не подавался, больше не возникало его прекращение. Процедура, в которой для установления реакции используется изъятие подкрепляющего воздействия, называется экспериментальное угашение и в типичном варианте производит редукцию в силе сформированной реакции. Например, голодные крысы, которые научились осуществлять определенный инструментальный акт для того, чтобы получить пищу, прекращают совершение реакции после того, как прекращают получать еду. Но прекращение подачи тока в нашем случае не привело к прекращению реакции перепрыгивания через перегородку (или теоретически, r\emot); У многих реакция даже продолжала возрастать по силе, что определяется уменьшением времени реакции на последовательные предъявления звука. Миллер полагает, что это "угасание" не приводит – или приводит в очень малой степени – к ослаблению усвоенных реакций, поскольку в действительности подкрепление продолжается. УС вызывает не боль, а усвоенную реакцию страха, что активирует инструментальный навык, стоящий за перепрыгиванием через перегородку. Появление инструментальной реакции отключает звук, и влечения-стимулы, ассоциируемые со страхом, таким образом редуцируются по интенсивности. Таким образом, как классически обусловленная реакция страха, так и инструментальная реакция перепрыгивания через перегородку продолжают подкрепляться.

Однако экспериментальное угасание реакции перепрыгивания через перегородку происходило, когда она становилась неэффективной в плане прекращения звука и вызванного им страха. Побуждаемые страхом животные вместо этого усваивали эффективную реакцию нажатия на рычаг. Таким образом, животные продолжали осуществлять реакцию, которая в прошлом позволяла им избежать боли, лишь столько, сколько это позволяло редуцировать страх. При изменении условий они научались новой инструментальной реакции, мотивированной усвоенным влечением страха и подкрепленной редукцией страха.

Проведенные в реальности эксперименты того же плана показали, что инструментальные реакции, позволяющие избежать побуждающих тревогу УС, могут медленно ослабляться при последовательном предъявлении последних. Но если в начальный период обучения предъявлялось значительное число УС-БС или вредный БС был силен, инструментальная реакция может сохраняться без видимых изменений по силе на протяжении сотен предъявлений УС (Miller, 1948). Доллард и Миллер указали на аналогию между экспериментальными животными, у которых сохраняется страх в отношении безвредных событий, таких, как звук зуммера, и человека с иррациональными невротическими страхами и тревогой. Если наблюдатель видел начальный процесс научения, в страхе животных перед звуком зуммера и стремлением бежать нет ничего мистического; если наблюдатель видел процесс научения, предшествовавший невротическому симптому, в поведении человека не оказывается ничего удивительного или бессмысленного. Поведение выглядит странным лишь тогда, когда наблюдатель вступает в действие после того, как страх сформирован.

Другой принцип научения, важный для теории Долларда и Миллера, можно проиллюстрировать варьированием процедуры нашего гипотетического эксперимента. После первой сессии, когда в паре появлялись звук и удар током, осуществляется вторая сессия, когда предъявляется только звук. Но теперь звуковые сигналы различаются по интенсивности, иногда она такая же, как во время первой сессии, иногда – громче или тише, чем во время обучения. При включении звука животные перепрыгивают через перегородку, если он по интенсивности совпадает с тем, что вначале сопровождал удар током. Но они реагируют и на другие звуки, и сила реакции прямо пропорциональна степени соответствия интенсивности этих звуков интенсивности звука, используемого в первой сессии. Такое поведение иллюстрирует градиент стимульной генерализации: когда стимул обретает способность вызывать реакцию благодаря сочетанию с безусловным стимулом, другие стимулы автоматически обретут некоторый уровень этой способности, в зависимости от их сходства с исходным стимулом. Связанный с этим феномен, который труднее продемонстрировать конкретно, – генерализация реакции: стимул обретает способность вызывать не только реакцию, которая типично следует за ним, но также и ряд сходных реакций.

Было выдвинуто положение, что без способности к стимульной генерализации и генерализации реакций научение не будет происходить или будет происходить в незначительной степени. Хотя для удобства часто говорят о повторении "того же" стимула, вызывающего "ту же" реакцию, мы редко встречаемся вообще – в двух или более случаях с точно той же стимульной ситуацией, и реакции никогда полностью не идентичны. Даже в тщательно контролируемых экспериментах корректнее говорить о предъявлении ряда стимулов, которые вызывают ряд реакций.

Однако было показано, что градиенты генерализации простираются далеко за пределы ограничений вариации стимулов и реакций, возникающих в ситуации обучения, и сила тенденции генерализации соотносится не только со степенью сходства с оригинальной ситуацией научения, но и с такими факторами, как количественные характеристики исходного научения и интенсивности влечения, лежащего за реакцией. Однако градиент генерализации может сужаться посредством дифференцированного подкрепления. Возвращаясь к нашему эксперименту, – удар животного током при появлении звука первоначальной интенсивности и отсутствие удара при другой интенсивности постепенно приведет к тому, что перепрыгивание будет следовать только в ответ на тот стимул, который предъявляется при обучении. Процедура привела к стимульной дифференциации.

Как ясно на основе этого обсуждения, судьба стимул-реактивной связи во многом зависит от последствий реакций – стимульных событий, близко следующих за реакцией. Некоторые последствия приводят к усилению связи, то есть повышении вероятности того, что при последующем предъявлении стимула реакция будет более быстрой и энергичной. Эти события рассматриваются как позитивные подкрепления или награды. Мы видели также, что прекращение событий другого типа, часто вредных по своей природе, также может подкреплять реакции. Доллард и Миллер искали общий принцип, который позволил бы определить, следует ли тот или иной данный стимул рассматривать как подкрепление. Вслед за Халлом (1943) они выдвинули гипотезу редукции влечения, согласно которой событие, приводящее к внезапной редукции влечения-стимула, действует как награда или подкрепление любой реакции, которую сопровождает. В том, что Миллер (1959) описывает как сильную ее форму, гипотеза редукции влечения утверждает далее, что редукция влечения-стимула не просто достаточное условие для подкрепления, но необходимое условие.

Сильная версия гипотезы редукции влечения, используемая Доллардом и Миллером, предполагает, что формирование S-R ассоциации или навыка будет происходить только в случае подкрепления реакции. Гипотеза о том, что подкрепление необходимо для научения, породило существенные возражения. Некоторые теоретики, например, Гатри (1959), настаивали на том, что достаточно просто смежности стимула и реакции; другие формулировали теории двух факторов, где предполагается, что определенные виды научения требуют подкрепления дополнительно к смежности, а другие – нет (см., например, Mowrer, 1947; Spence, 1956, Tolman, 1949).

Критика была направлена и на допущение о том, что редукция влечения-стимула производит эффект подкрепления. Сам Миллер указывал в некоторых случаях (см., например, 1959), что, хотя он находит гипотезу редукции влечения более привлекательной, чем любая конкурирующая, он не убежден в ее полной корректности. Позже он в порядке пробы предложил то, что считает возможной альтернативой гипотезе редукции влечения (Miller, 1963). Возможно, полагает он, в мозгу есть один или более "запускающих" или "активирующих" механизма, которые приводятся в действие событиями, завершающимися с редукцией влечений-стимулов. Эти "запускающие" механизмы служат интенсификации или энергизации реакций, вызванных ключевыми стимулами, а эти энергичные реакции усваиваются на основе простой смежности. Активация "запускающего" механизма сама является реакцией и, подобно другим реакциям, может быть обусловлена смежностью. Так, прежде нейтральный стимул может обрести способность включать "запуск" механизма благодаря предшествовавшему появлению вместе с активацией механизма.

Доминирующая тенденция среди теоретиков научения в настоящее время – принять позицию смежности или вообще обойти этот вопрос. К счастью, Доллард и Миллер высказали положение о том, что главные аргументы в их S-R анализе личности не находятся под влиянием их особой гипотезы относительно подкрепления, так что возможно охватить главные стороны их теории, не принимая специфических спекуляций относительно нее. Все, что было необходимо, утверждают они, это допустить, что события, приводящие к внезапной редукции влечений-стимулов, подкрепляют реакции, с которыми они смежны, в том смысле, что делают эти акты более сильными. Поскольку экспериментальные данные свидетельствуют, что, за некоторым возможным исключением, стимулы, редуцирующие влечение, обладают подкрепляющим эффектом, это допущение принять легко.