Социологический метод изучения средств массовой коммуникации


Употребление местоимений участниками диалога



бет9/28
Дата25.07.2016
өлшемі1.18 Mb.
#220620
түріАнализ
1   ...   5   6   7   8   9   10   11   12   ...   28

Употребление местоимений участниками диалога


«Ленинград-Сиетл»

(в % к общему числу употребления «мы» каждым

субъектом высказывания)


Употребление местоимения «мы»

Советская сторона

Американская сторона

ведущий

аудитория

ведущий

Аудитория

Американский и советский народ в совокупности

8

4

3

7

Участники телемоста в совокупности

8

5

5

9

Или только американский, или только советский народ

29

39

26

33

Или только американские, или только советские участники телемоста

16

5

26

1

Укажем, что единицей счета было тут каждое упоминание местоимения, а единицей контекста весь телемост в целом (понятно, что для такого скрупулезного анализа исследователь должен располагать стенограммой состоявшегося общения).



2 пример. Исследование Г. Лассвелла газеты «Истинный америка­нец»: категорией анализа было отношение газеты к властным струк­турам трех стран (США, Германии, Японии); единицей анализа было суждение относительно правительства, лидеров или политики этих стран; единицей счета было упоминание этих суждений, количество их измерялось натуральным рядом чисел в абсолютном выражении; единицей контекста ¾ отдельное предложение, в рамках которого могло появиться или одно, или несколько интересующих исследовате­ля суждений.

3 пример. В исследовании телемоста «Ленинград-Сиетл» между американской и советской аудиториями мы получили по одной из задач исследования такие результаты (табл. 3.2):

Таблица 3.2

Характеристика задаваемых в ходе телемоста вопросов


(в % к числу вопросов, заданных сторонами)


Характеристика вопросов

Советская сторона

Американская сторона

Вопросу предшествовала негативная информация о стране-адресате

18

32

Вопросу не предшествовала негативная информация

82

68

Здесь категорией анализа была оценочная нагрузка задаваемых в ходе обмена мнениями вопросов; единицей анализа ¾ фрагмент тек­ста, совпадающий с вопросом, заданным в ходе дискуссии, и вводкой к этому вопросу; единицей счета ¾ натуральный ряд чисел как в абсо­лютном, так и относительном выражении; единицей контекста ¾ каж­дый вопрос1.



4 пример. В исследовании "Общественное мнение" в процедуре, связанной с анализом содержания местных газет, радио и телевидения, в одной из задач мы брали в качестве категории анализа сферу социальной действительности; единицей анализа был фрагмент тек­ста, совпадающий с темой при описании каждой из этих сфер; едини­цей счета ¾ пространственные (метрические) куски газетных коло­нок, совпадающие с этими темами, измеренные в условных единицах строкомером; единицей контекста ¾ весь материал.

Как правило, перечень категорий и единиц анализа, способы оперирования с анализируемым текстом представлены в особом докумен­те ¾ инструкции кодировщика. Основная ее часть составляет перечень категорий и их типологических (или лексических) модификаций.

Эта часть обычно называется «кодом». Если продолжить пример с такой категорией анализа как «оперативность», то наш гипотетичес­кий код выглядел бы следующим образом:

Оперативность

1 ¾ информация со словом «сегодня», в том числе:

¾ календарные даты

¾ непредсказуемые события

¾ остальные случаи

2 ¾ информация о ранее случившихся событиях

3 ¾ информация без указания времени события.

Или возьмем категорию «география» (следующую типологию выбираем из-за краткости).



География

1 ¾ крупный город

2 ¾ средний город

3 ¾ малый город

4 ¾ поселок городского типа.

Осталось только снабдить этот фрагмент собственно инструкци­ей, например, указать, города с какой численностью населения отно­сить к крупным, средним и малым, указать, какие справочники могут служить для уточнения данных о поселках городского типа.

Надо сказать, что реальные исследования редко ограничиваются одной-двумя категориями анализа.

Так, исследование местных средств массовой информации и пропаганды в проекте «Общественное мнение», которое мы уже представляли, имело следующие категории анализа: функциональная принадлежность материала, тип автора, жанр, оперативность, модальность, локальность, тема, элементы содержания, содержащие суждения о соотношении социалистической и капиталистической систем по признакам экономики, демократии, идеологии, условий развития лич­ности1.

Исследование информационной телевизионной программы Центрального телевидения «Время» (1984¾1987 гг.) оперировало такими категориями: тематика, суждения о роли СССР и США в борьбе за мир, авторство таких суждений, суждения об актуальных народно-хозяй­ственных проблемах СССР, география, степень критичности материа­лов, род занятий лиц, выступающих в программе, и лиц, упоминае­мых участниками программы, жанр.

Теперь понятно, почему кодировщик должен располагать документами, где бы были перечислены все модификации характеристик, а также оговорены все правила анализа. Все это трудно запомнить, но, кроме того, такой текст нужен для решения спорных вопросов. По крайней мере нулевая отметка будет записана в этом исходном материале. И еще одно соображение, вес которого трудно переоценить ¾ по правилам строгости анализа автор не может выступать в роли коди­ровщика. Слишком большой объем информации он содержит в уме и иногда принимает решения, исходя из этого обстоятельства. Трудно будет доказать критикам работы, выдерживался ли одинаковый под ход к разным текстам, не было ли ситуаций, когда «три пишем ¾ два в уме». Автор должен снабдить кодировщика, а иногда и двух, «марш­рутом и компасом» анализа, чтобы они, работая по одной инструкции, пришли к одинаковому выводу.

Кроме того, это действительно те документы, объясняющие, как получены те результаты, которые явились итогом анализа текста. Демонстрация инструментария считается одним из первых требований к корректному социологическому исследованию. Дело читателя иссле­дования соглашаться или не соглашаться с авторской интерпретацией результатов, но он как минимум должен знать, как эти результаты по­лучены.

Если представить себе конкретную ситуацию, когда кодировщик приступает к анализу выбранного массива газет или садится к экрану телевизора, чтобы отслеживать в тексте определенные характеристи­ки, оговоренные кодом и инструкцией, то нужно предусмотреть еще один документ, где кодировщик будет фиксировать свои наблюдения (о возможностях применения на этой стадии компьютера мы еще бу­дем говорить  соображения необходимости контроля за итогами ко­дировки иногда перевешивают и заставляют работать с реальными документами, зафиксировавшими итоги кодировки).

Эта фиксация может происходить одним из трех способов:

1-й из них может быть уподоблен работе с библиографическими карточками: на чистый бланк заносятся названия характеристик или числовая нумерация их по коду, эти бланки накапливаются и затем по мере необходимости суммируется частота появления той или иной характеристики.

2-й способ состоит в том, что предварительно заготовляется мас­сив бланков с отпечатанными на них названиями характеристик (по типу «листка по учету кадров»). Кодировщику остается в нужном ме­сте вписать обнаруженную им характеристику.

3-й способ ¾ самый экономный, но возможный только для реше­ния задач, когда исследователя интересуют лишь упоминания харак­теристик, но не объемы текста, где эти характеристики встречаются, ¾ когда карточка представляет собой сплошной ряд чисел (совпадаю­щий с общим числом кодов), а кодировщик обводит кружком лишь те коды, которые соответствуют встреченным в тексте характеристи­кам. Подсчет частоты появления каждой характеристики в целом по массиву будет итогом первичного анализа выбранной совокупности текстов.

Кодировщик выступает в исследовании непосредственным исполнителем, который работает по инструкции, составленной автором-исследователем.

По социологическим нормам принято, чтобы один и тот же массив газет и журналов (или текстов радио- и телепередач) обрабатывался двумя кодировщиками. Это повышает надежность полученной инфор­мации. Когда анализ не очень сложен, речь может идти об установле­нии чисто механических ошибок. Иногда же при сложности отнесения того или иного куска текста к той или иной единице анализа, мо­гут возникать различные интерпретации текста и тогда ошибки возни­кают из-за недостаточной ясности инструкции кодировщику. Одно же из требований к любой методике анализа содержания состоит в том, чтобы она была составлена так ясно, чтобы разные исследователи, работающие по одной методике, пришли к одному и тому же выводу.

Когда в исследовании кодировщики имеют дело с идентификаци­ей оценки коммуникатора того или иного факта, то случаи несовпаде­ний бывают не такими уж редкими. Так, в исследовании 1995 г. рос­сийской прессы на предмет освещения ею лидеров и фракций Госу­дарственной Думы1 процент совпадения решений кодировщиков по количеству материалов и абзацев с интересующими исследователя субъектами достигал 96¾94%, в то время как для единиц, требующих идентификации текстового отношения к предмету внимания, совпа­дение достигалось лишь в 88% случаев.

В предыдущих разделах мы оперировали примерами из исследо­ваний прессы, радио и телевидения практически как равноправными. Это нуждается в некоторых пояснениях. Если представить информа­цию, идущую по каналам СМК, как передачу познавательной и эмо­циональной структуры, то надо сказать, что контент-анализ имеет дело в основном с познавательной структурой именно потому, что она более «предметна», «объектна», следовательно, можно утверждать, что она и для анализа более доступна.

При том что теоретики радио и телевидения охотно отмечают как несомненно влияющие на эффективность восприятия такие специфические выразительные средства, как звук (шумовые эффекты) на радио, крупный план, ракурс и раскадровка на телевидении практики анализа содержания не включают (или редко включают) измерение этих вещей в свои программы.

Зависимость восприятия этих переменных может быть выяснена из экспериментов с приемником информации на психологическом уровне. Именно поэтому анализ содержания как метод, отмечая в каждом сообщении диалектическую связь чувственного и рационального, идет за рациональным, за мыслью.

Обратимся в этой связи к проблеме видеоряда, который помимо того что он состоит из планов, кадров и ракурсов воспроизводит на экране объективную реальность. Как общая методическая платформа для возможностей анализа этой реальности нашим методом может быть представлена такая практическая установка. Можно анализировать то, что поддается однозначной словесной интерпретации. Так, наличие на экране изображения какой-либо социальной реальности практиче­ски без трудностей поддается классификации в плане традиционного тематического членения.

Иногда такой анализ может существенно обогатить выводы исследователя. Например, в анализе телевизионной рекламы на трех ведущих коммерческих телесетях США, осуществленной в Анненбергской школе коммуникаций (Филадельфия, США), получено много ин­формации ¾ специалисту по рекламе покажутся значимыми и такие сведения о ней: в 63% случаев предлагаемый товар не показывается в телеролике, о нем только говорят, в остальных 33% он демонстриру­ется; статус пользователя, который мы можем увидеть на экране, в 95% случаев ¾ это обычные люди, остальные ¾ знаменитости; мужчины ¾ 46%, женщины ¾ 26%, вместе ¾ 29%; возраст пользователя ¾ ребенок (43%), молодой (13%), средний возраст (23%), старший (1%), смешан­ные ситуации (20%)1.

Видеоряд в телевизионной рекламе вообще живет особой жизнью. Иногда даже «вещный» мир кино может восприниматься как реклама. И в этом ничего парадоксального нет. Героя в кино окружает совре­менная ему жизнь. И почему бы в этой жизни не доминировать тем предметам, которые важны для рекламодателя? Действительно, коль скоро киноискусство воспроизводит «вещный» мир, было бы стран­но, если бы рекламодатели упустили такую блестящую возможность показать в этом мире именно ту «вещь», которую производят они.

Есть множество примеров, которые позволяют говорить об этом как о распространенной практике. Сидней Поллак, американский ре­жиссер, автор фильма «Фирма» откровенно говорил Сергею Шолохо­ву в его программе «Тихий дом», что появление в его фильме модели автомобиля «Линкольн» (если я не путаю марку) как свершения всех мечтаний героя не случайно. Между режиссером и автофирмой был заключен контракт, что по выходе фильм будет рекламироваться на всех автосалонах, где будет присутствовать эта модель.

Недавно газеты сообщили такую новость: оказывается, корпора­ция «Браун энд Уильямсон тобакко», выпускающая сигареты «Cool», платила актерам за то, что они курили на экране продукцию их фир­мы. Клинт Иствуд и Пол Ньюмен получили машины, Шон О'Коннери ¾ ювелирные украшения, Сильвестр Сталлоне ¾ гонорар. Как сооб­щает журнал «Premier», в период с 1979 по 1983 гг. компания потрати­ла около миллиона долларов на «подарки» кинозвездам-курильщикам. Сигареты этой марки фигурируют в таких фильмах, как «Рэмбо», «Рокки-4», «Внезапная коллизия» и «Лихорадка тела». Сталлоне курил эту марку в пяти фильмах, про Иствуда подробностей не сообщается, ведь он в образе ковбоя предпочитает сигары, но где он изменил им в пользу сигарет, неясно. По ходу дела выяснилось, что любимая марка Джей­мса Бонда ¾ это все та же любимица домохозяек. Вот этого англичане никак не могли простить своему национальному агенту 007 ¾ Шону О'Коннери.

В 1990 г. американская киноиндустрия приняла даже решение не рекламировать больше табачную продукцию на киноэкранах. Не ста­ли бы теперь из старых фильмов вырезать эти кадры, как сделали у нас в 1985 году, когда мы боролись по постановлению Партии и Пра­вительства с алкоголизмом!

Еще один пример из моего собственного досье. Как-то по телеви­дению шел фильм-ужастик «Серебряная пуля». Там по ходу дела де­тишки борются с вампиром, которого, как утверждает местная леген­да, можно убить только серебряной пулей. Сказано ¾ сделано. Не по­жалев фамильного серебра, брат с сестрой у местного же оружейника отливают такую пулю. И вот брат в роковую минуту мчится на мото­роллере, то ли от вампира, то ли на встречу с ним. И что можно было прочитать на этом мотороллере ¾ ну конечно «Silver Bullet»! Я с одной стороны чувствовала себя обманутой, а с другой восхитилась ¾ надо же, целый фильм сочинили, и все во славу своей мотомодели!

Ясно, что такая форма телепродукции, как сериалы, не могла остаться в стороне от таких процессов по определению: во-первых, сериалы воспроизводят действительность максимально приближенным к ней способом (кино, например, в огромной степени отличается от других видов искусства именно по этому признаку), во-вторых, они собирают огромную аудиторию, по своему составу являющуюся за­манчивой мишенью для рекламодателя (женская часть населения, на которой лежат преимущественно покупки для дома), в-третьих, к рек­ламе в телесериалах (до, после, и внутри) отношение более доброже­лательное («сериальность» этого жанра, специальная драматургия, ко­торая предусматривает места врезки телерекламы), чем появление в кинофильме.

Несколько лет назад по российским телеканалам прошел сериал «Моя вторая мама». По крайней мере в двух сериях главным действу­ющим лицом был... океанский туристический лайнер с туром по Ка­рибскому бассейну. Он доминировал над всеми сюжетными хитросплетениями и любовными интригами. Его было много. Герои были вклю­чены в самые разнообразные способы проведения времени на корабле: кино, танцы, бар, поездки на острова на лодках, загорание и демонст­рация вечерних туалетов. Нужно ли говорить, что сам лайнер с огром­ной надписью его названия по борту всегда был, так сказать, в кадре, причем крупным планом. Я не удивлюсь, если окажется, что у себя на родине выход этого сериала способствовал резкому увеличению спро­са на услуги, предлагаемые этим круизом.

Это обычная практика для телесериалов. В телесериале «Жесто­кий ангел» супруги-молодожены едут в свадебное путешествие, и суп­руг, в прошлом житель Португалии, по сюжету совсем не обременен­ный излишними знаниями, проводит настоящую экскурсию по столи­це, с наименованиями стилей архитектуры, датировкой строительства и т.д. Туристическая фирма, организующая поездки из Латинской Америки в Европу, несомненно, была в числе спонсоров фильма.

Конечно, такого рода примеры могли быть отслежены скорее традиционным путем ¾ с помощью неспешного многолетнего наблюде­ния, с помощью собирания досье... Но все же и контент-анализ мог бы быть тут активным помощником. Было бы желание финансировать такой проект.

Здесь возникает проблема интерпретации видеоряда, когда захо­дит речь об оценках. Идея определить качество изображаемого объек­та на оценочных весах «хорошо», «плохо» влечет за собой проблемы, которые не всегда просто решаются. Действительно, оценка ¾ это свой­ство предмета, где на правах соавтора активно выступает сам оцени­вающий. Недаром существуют специальные психологические тесты, когда изображения одинаковых человеческих лиц предъявляются на оценку испытуемым (в данном случае ¾ тестируемым) и они дают этим «героям», вернее, их портретам такие взаимоисключающие друг дру­га характеристики, что для психолога эти характеристики становятся предметом для выводов относительно самих испытуемых. Мы гово­рили уже о случаях, когда для выработки решения об оценке изучае­мой характеристики приходится прибегать к «методу судей» и в контент-анализе.

Конечно, у изобразительного ряда есть свои возможности выра­жать чувства, вызывать оценки, достаточно однозначные у всей ауди­тории. Вспомним хрестоматийный киноведческий пример, когда изоб­ражение актера Мозжухина в кинокадре с тарелкой супа и то же изоб­ражение актера с гробом интерпретируется аудиторией по-разному: в одном случае актер воспринимается как комик, в другом ¾ как трагик. Но для анализа содержания это слишком тонкие материи.

Чаще всего изобразительный ряд в СМК ¾ на телевидении ¾ живет по другим законам. Там он чаще всего (и тут могут быть проведены параллели между фото в газете) активно интерпретируется. Телекоммуникатор (в любой ипостаси ¾ диктора, ведущего, репортера и т.п.) как раз старается снабдить визуальный ряд оценками, своими качествами. И вот уже в этом может быть обнаружено поле деятельности и для аналитика содержания. Не оказывается ли изображение и словес­ный комментарий к нему в конфликтном положении?

Хочется привести пример одного исследования влияния подписей под фотографиями на восприятие этих фотографий (аналогия с видео­рядом и словесным комментарием к нему полная). В результате иссле­дования автор получил такой набор возможностей сочетания характе­ра подписи и самой фотографии:

1. Подпись значительно влияет на интерпретацию снимка, она мо­жет сформировать интерпретацию аудитории, коренным образом от­личную от явного содержания снимка.

2. Именно содержание подписи может повлиять на то, чтобы интерпретация снимка произошла в нужном автору подписи направлении.

3. Иногда подпись вызывает реакцию реципиента, прямо противоположную той, которую вызывала своим содержанием фотография; если подпись предполагает в содержании фото смысл, несовместимый с его истинным содержанием, то она, как правило, игнорируется и интерпретация зрителя ориентируется только на снимок1.

Проблема эта чрезвычайно интересная и разработка ее примени­тельно к телевидению кажется весьма плодотворной.

Вообще контент-анализ телевизионных материалов помимо обозначенных проблем имеет и организационные проблемы, связанные с мимолетностью существования этой продукции в эфире. Как правило, если исследование оперирует большим числом переменных, не обойтись без предварительной консервации материала и неоднократного его прокручивания. Иногда исследование осуществляется непосредственно с эфира. Тогда непременным условием становится просмотр материала несколькими кодировщиками, обязательное протоколирование (хотя бы схематичное) эфира, и все равно ¾ количество характеристик, которые могут быть уловлены, уменьшается на порядки...

Таким образом, схематически процесс использования контент-анализа в конкретном эмпирическом социологическом исследовании мож­но представить так: формулировка задач исследования, определяющих выбор единиц наблюдения и разработку категорий анализа; операционализация последних, осуществляемая в инструкции кодировщику; перевод анализируемого текста в совокупность единиц анализа, под­вергаемую счету; представление частотного распределения перемен­ных; статистическая обработка и интерпретация результатов. Часть этого пути мы уже прошли.

Машинный способ анализа текста


Далее мы коснемся возможностей машинной обработки материа­лов способом контент-анализа. Из всех возможностей контент-анализа, которые суммированы в группах 1 и 2, ЭВМ можно поручить задачи анализа текстов, когда в качестве единицы анализа выступает слово. Когда мы говорим, что речь идет о достаточно ограниченном наборе слов, мы имеем в виду ограничен­ность с точки зрения человеческого мышления. Память же компьюте­ра оперирует списком, состоящим из тысяч слов. Когда мы проверяем орфографию напечатанного текста, происходит операция сличения вашего текста с набором слов, уже введенных в память компьютера. И человеку, выступающему тут в качестве «машиниста», кажется, что число таких слов, введенных в память, беспредельно. Тем не менее оно «конечно», и машинный анализ текста возможен, когда в память ЭВМ заложены эти тысячи слов.

И тогда машина при обработке текстов ничем иным не занима­ется, как подсчитывает число материалов, где встречаются те слова, которые интересуют исследователя.

Такие операции находят все большее применение и предложения­ми ¾ провести такой анализ ¾ уже пестрят рекламные странички профессиональных журналов. Дело тут за малым: предусмотреть, напри­мер, возможности синонимического ряда понятий...

Более сложные случаи, когда речь идет о генерализации вывода, не обеспеченного симметричным рядом известных слов, пока неподв­ластны компьютеру, и на этот счет иллюзий пока питать не следует. Другое дело, что компьютер может выступать как машинописный лист фиксации результатов, к которым приходит кодировщик текста. Но и тут существует соображение контроля за этим выводом. Думается, что возможности предъявления такого анализа для контроля пока сдержи­вают применение компьютера в этом качестве.

Но вспомним, как все это начиналось. Группа ученых Гарвардско­го университета в США (рук. Ф. Стоун) в 1961 г. начала разработку принципов подобной машинной обработки, проведя серию анализов самых различных текстов: газет, сочинений членов малых групп, про­граммных речей, произнесенных кандидатами на президентский пост от демократической и республиканской партий США, личных доку­ментов (писем, дневников, автобиографий)1.

В рамках этого исследования было разработано несколько программ со следующими общими требованиями: компьютер отыскивает в тек­сте лингвистические аналоги тем категориям, которые интересуют и оговорены исследователем; подсчитывает частоту употребления этих категорий и их сочетания; выводит результаты в таблицы распределе­ний; группирует текст в зависимости от употребляющихся там катего­рий и т.д.

Эти операции компьютер осуществлял только после того, как в его память были заложены языковые знаки (слова, идиомы, фразы), кото­рые в своих группировках могут быть выражены на понятийном язы­ке социальной теории исследователя и каждая из которых представля­ет из себя определенную переменную величину в его гипотезах. Для этого исследователь составляет словарь своего исследования: поня­тийному слову в качестве его расшифровки даны «носители» его смыс­ла в бытующем в реальности языке.

Построение такого словаря аналогично построению «тезауруса» — языка определенной области человеческого знания, когда ключевым словам из этой области знаний соответствует синонимический ряд общеупотребительных слов. Таким образом, словарная статья в «теза­урусе» ¾ это более крупный семантический блок, чем словарная ста­тья обычного толкового словаря.

Обозреваемое нами комплексное исследование включает следую­щие самостоятельные анализы.

Исследование Д. Данфи связано с изучением малых групп, оно основано на анализе вербального поведения членов малых групп. Це­лью этого изучения было выяснение ролевых различий в группах, свя­зей, отношения к фигуре формального наставника ¾ все это во вре­менном развитии. Материалом для анализа были сочинения испытуе­мых групп. Основными категориями были самоотождествление, величина группы, служащей для испытуемых референтной, действия и эмоции, институциональный контекст и т.д.

Группа исследований была связана с политическими текстами, в частности, анализ М. Смитом, Ф. Стоуном и Е. Гленн программных речей, произнесенных кандидатами на президентский пост от демок­ратической и республиканской партии США в течение 36 лет (от Сми­та и Гувера до Джонсона и Голдуотера).

Исследователи Дж. Нейменвирс и Т. Брейер провели анализ ста­тей, опубликованных в газетах The Times (Англия), Le Monde (Франция), Frankfurtur Allgemeine Zeitung (тогда еще Западная Германия), The New York Times (США), на предмет того, как, по их мнению, об­стоит дело с политической интеграцией западных стран в связи с су­ществованием экономических и военных союзов между ними.

Процесс межгосударственной интеграции понимался как измене­ние следующих четырех элементов: характер принятия решений, касающихся судеб различных стран; обмен между странами почтой, студентами; торговля, иммиграция; мнения масс и элиты по поводу перспектив на этот счет. Показателями изменений в ориентации ана­лизируемых престижных газет были выбраны внимание к нацио­нальным и региональным символам и степень тождественности в ори­ентации газет всех четырех стран.

Даниэл М. Огилви построил специальный словарь для проверки гипотезы о существовании так называемого «комплекса Икара», психологического явления, которое отмечалось по наблюдениям психо­логов за рядом своих пациентов. Огилви решил подвергнуть испыта­нию эту гипотезу, проанализировав текстовые материалы, созданные в рамках разных культур. В качестве такого материала были выбраны сказки ¾ 626 сказок из 44 примитивных сообществ. Контент-анализ этих сказок был предварен созданием так называемого «Икарианского словаря», охватывающего 74 категории и 2500 слов, их наполняю­щих. Для разработки системы категорий использовались разные ис­точники: работы исследователей, описывающих комплекс Икара, истории жизни людей, явно обладавших этим комплексом, тексту наблюдений за ними психотерапевтов и т.д.

Поскольку изначально комплекс Икара определялся как направленность на «полет, падение, огонь, воду, бессмертие и нарциссизм»,, гипотезу о существовании комплекса на уровне анализируемых ска­зок можно было, по мнению автора, считать доказанной, если эти темы окажутся «связанными» в конкретных единицах фольклора, или на определенном этапе окажется возможным по одним темам предсказать появление в анализируемом тексте смежных тем. Итог анализа состо­ял в расчете корреляций между 74 категориями и факторном анализе конечной матрицы.

С самых первых попыток использования электронно-счетных устройств для работы с текстом становились ясными преимущества и недостатки обработки текстового материала с помощью машин ¾ они обеспечивали адекватность анализа огромных текстовых материалов, но требовали огромных усилий по составлению программы ¾ собствен­но «словника», с учетом всех синонимических вариантов понятий, ко­торые надо будет отыскивать в этом море пропускаемых через маши­ну слов. Не случайно, что многие из тех анализов, которые были про­деланы в Гарвардском университете, использовали категориальный аппарат ранее проделанных исследований и «обкатывали» его на ком­пьютерах.

Для начала же авторы системы «Дженерал Инкуайерер» создали отперфорированные тексты с общим количеством слов, равным 6 миллионам. Из этих слов была произведена выборка в 511 тыс. слов. Тек­сты, попавшие в выборку, были просеяны через процедуру поиска клю­чевого слова. В результате осуществления этой процедуры исследова­тели получили распечатку всех случаев употребления интересующих их слов в выбранной совокупности текстов. На реализацию процеду­ры ушло шесть часов машинного времени, а полученная распечатка была толщиной в несколько десятков сантиметров. Одним из самых неожиданных результатов процедуры было то, что для определения смысла ключевого слова оказалось вполне достаточно нескольких слов, расположенных по обе стороны ключевого слова. То есть для ряда за­дач не нужно было иметь значения всего предложения целиком, вклю­чая анализ его синтаксической структуры. Но оставались еще место­имения, идиомы и т.д.

Хотя первые словники создавались исследователями под конкрет­ные задачи и главным тут была идентификация ключевых слов, сами авторы отлично понимали перспективы развития компьютерного де­ла ¾ их размышления о том, что наборная клавиатура, связанная с ком­пьютером, будет обычной принадлежностью школьного класса и де­лового офиса учителя, бухгалтера, психотерапевта, библиотекаря (ясно видно, что эти размышления относились к дореволюционной эпохе ¾ до революции, когда был изобретен персональный компьютер), звучат сегодня как предвидение. Но для того чтобы выполнять все эти ожи­даемые операции, нужно было, чтобы компьютер мог различать не только слова, но и смысл более пространных языковых единиц. Для этого нужно было решение проблемы синтаксического анализа. К се­годняшнему дню частично такие проблемы решены, коль скоро мы доверяем своему компьютеру ¾ при наличии в нем специфических программ - проверку ошибок набранного текста.

Отметим существенный момент в разработке методологии анали­за текста с помощью машины (что помимо всего прочего означа­ло движение в направлении общения человек-машина): как только исследователи вышли на изучение диалога, они осознали, что эта проблема выводит их за пределы узкоспециальных «ведомственных» словарей...

С тех пор машинный метод обработки текстовых массивов все больше находит себе применение. При чем мы имеем в данном случае не те чисто прикладные случаи, когда машина помогает отыскать нуж­ную вам научную литературу по ключевым словам, которые такая ли­тература имеет заранее в виде своеобразной паспортички (или патент изобретения, если вы хотите проверить, не изобрел ли кто уже предла­гаемый вами велосипед); или практику, по которой работает Меж­дународный междисциплинарный Индекс публикаций (Citation In­dex) ¾ индекс представляет из себя распечатку статей из 7000 журна­лов, издаваемых во всем мире, по лицам, упоминаемым там. Каждое упоминание лица классифицируется по источнику: является ли оно автором статьи, упоминается ли в ходе дискуссии, появляется ли его имя в рецензии, в библиографии и т.д. Более детальный вариант этого индекса по социальной проблематике содержит роспись всех статей по ключевым словам.

Так, выпуск 1984 г. содержит данные о 1000000 статей из этих журналов, а поскольку форма его выхода ¾ алфавитный список упоминаемых фамилий ¾ то это составляет 10,5 млн. ссылок. К примеру, в течение нескольких минут мы можем (а этот Индекс есть в Государ­ственной российской библиотеке) определить, какие статьи по этой проблематике напечатаны во всем мире в период, например, мая¾ав­густа 1985 г. Оказалось, что за это время было опубликовано 7 статей (все в американских журналах): три посвящены исследованиям речи лиц с психопатологическими изменениями, статья У. Миллса по со­держанию китайской пропаганды, статья К. Уинника «Контент-анализ журналов с сексуальной тематикой». Все упоминания снабжены указанием названия журнала, тома, номера и страниц.

Уже через десять лет после этого пионерского проекта Ф. Стоуна и его коллег практически повсеместно стали осуществляться проекты контент-аналитических исследований с применением ЭВМ. На со­стоявшемся в 1974 г. в Италии рабочем совещании по проблемам контент-анализа было представлено несколько таких проектов, в ча­стности проект международного исследования газетных заголовков с задачами определения внимания различных газет к местным, общена­циональным и международным событиям, сравнения внимания аме­риканских и европейских газет к проблемам «общего рынка», сравне­ния освещения гражданской войны в Нигерии газетами разных стран и др. Германия была представлена на этой конференции проектом по созданию специализированного словаря для целей анализа содержа­ния текстов1.

Как ни странным это покажется на первый взгляд, именно пример с машинной обработкой текстов иллюстрирует очень важную для понимания сущности контент-анализа мысль. И в другом месте учебни­ка эта мысль не прозвучала бы так явственно. Анализ содержания как метод не обладает магическими качествами - вы не получите из него больше, чем вложили в него. Если нечто значительное, важное, нео­бычное не предусмотрено процедурой, то оно не появится в результа­те анализа, каким бы сложным и кропотливым он ни был.

Говоря о машинной обработке текстов, мы должны уточнить, что сейчас обсуждали случаи, когда компьютер оперирует непосредствен­но текстом. Гораздо более часты случаи, когда ЭВМ используется, грубо говоря, как арифмометр, оперируя с введенными в него кодировочными карточками, которые уже содержат итоги наблюдения за текстом, осуществленного исследователем. Сейчас это уже распространенная практика.



Выбор единиц наблюдения


Даже только начинающие овладевать методом анализа содержа­ния исследователи начинают с вопроса: сколько текстов надо исследо­вать, чтобы исследование считалось корректным? Мне даже кажется, что они не до конца осознают важность этого вопроса ¾ а важность в ответе, которым должно начинаться каждое исследование, где автор заявляет: «Я изучил такое-то количество текстов. Этого достаточно, чтобы сделать выводы о таком-то периоде деятельности источника». Просто начинающего исследователя берет легкая оторопь от осозна­ния сложности, тщательности, пунктуальности, трудоемкости мето­да ¾ подчеркиваем, что эти характеристики должны быть присущи методу всегда ¾ и он задает этот вопрос, чтобы получить логичный ответ, насколько минимальной должна быть выборка изучаемых тек­стов, чтобы по возможности максимальным был период, на который мы распространяем свои выводы.

Вопрос этот вполне логичен. Методология многих наук основана на том, что целое описывается по его части.

Вспомним, что, например, такая отрасль социологии, как зондиро­вание общественного мнения, смогла встать на индустриальные рель­сы не раньше, чем для институтов, специализирующихся на таком зон­дировании, был решен вопрос с научной выборкой. Стали известны законы отбора отдельных индивидуумов, чтобы сравнительно неболь­шое их число ¾ в случае, например, с американским институтом обще­ственного мнения Дж. Гэллапа, это 1500 ¾2000 американцев ¾ позво­лило распространять данные опроса на все население США. Говоря научным языком, с разработкой научной теории выборки была реше­на проблема, как добиться «надежных обобщений при интенсивном изучении относительно небольшого числа случаев». Реально выборка представляла возможность экономично, при большой скорости прове­дения работ, профессионально провести опрос, который зачастую дает более верную информацию, чем сплошное обследование.

Кстати, вспомним, что на заре исследований общественного мне­ния именно выборка подвергалась поистине уничтожающей критике оппонентов изучения общественного мнения. Обыденное сознание никак не могло согласиться с тем, что достаточно опросить всего 1500 человек, чтобы знать, что думают по определенному поводу 150 млн. человек.

Главное, что мы должны себе представить, это то, что существуют различные типы выборок и что далеко не все из них сможет приме­нить на практике контент-аналитик.

Не последняя тут проблема ¾ доступность материала. Хотя библиотеки многих стран уже давно озаботились проблемой сохранности продукции СМК для потомства, пробелов здесь множество. Как пра­вило, хранятся только самые престижные газеты1. Особенно остро сто­ит эта проблема по отношению к продукции радио и телевидения. Это может быть естественным ограничителем при общей разработаннос­ти технологии выборок.

Так, существует большой класс выборок репрезентативных, т.е. таких, которые претендуют на то, чтобы быть представительными для более широкой совокупности. Этот класс можно разделить на две не­равные группы по способу отбора единиц уже для конкретного иссле­дования. Большая часть ¾ это так называемые квотные выборки (или многочисленные модификации их: районированные, стратифициро­ванные, многоступенчатые, послойные и т.п.). При составлении их нужно обладать предварительной информацией обо всей совокупно­сти единиц, из которой производится отбор. В случае, например, с кон­кретной страной нужно знать распределение по количеству населения в каждом регионе, причем надо знать распределение этого населения по полу, возрасту, образованию или другой характеристике, которая, по мнению исследователя, влияет на то конкретное поведение, кото­рое он изучает ¾ например, потребление конкретных средств массо­вой коммуникации.

Понятно, что для аналитика содержания такая возможность отпа­дает. Всякий раз исследователь начинает с «белого листа». Ему как раз и надо знать распределение характеристик текста ¾ это не те достаточ­но постоянные характеристики населения, как пол, возраст, и прочие, которые нужны при определении выборки в исследованиях аудито­рии. Действительно, они для определенного региона могут считаться постоянными. Для больших совокупностей людей меняются мало, а если меняются, то эти изменения тут же становятся известными соответствующим статистическим органам, поскольку это их работа, которая заканчивается тем, что они сразу же информируют социум об этих изменениях.

Существуют и другие выборки в классе репрезентативных ¾ это вероятностные, или случайные выборки. Их построение основывает­ся на том факте, что если для каждой единицы генеральной совокуп­ности, например, населения всей страны, будет выдерживаться равновероятная возможность попасть в число отобранных для исследова­ния, т.е. конкретных людей будут отбирать случайным образом, то такая выборка будет отвечать высшему критерию представительнос­ти ¾ она будет репрезентативна для всего населения страны.

Мы повели разговор о репрезентативной выборке, а именно о ней идет речь, когда встает вопрос, в какой мере выводы исследования по ряду случаев приложимы (характерны, репрезентативны) ко всему явлению в целом, идя на поводу у неискушенного исследователя-аналитика. Репрезентативная выборка представляет лишь один из двух типов выборок, которыми практически (в принципе) исчерпываются все случаи выборок в социальных исследованиях. Другой класс выборок ¾ типологическая выборка ¾ в ходе исследования говорит нам, что наблюдаемое нами в обществе явление есть, оно при этом имеет определенные, зафиксированные в ходе нашего исследования характеристики (хотя может этими характеристиками и не исчерпываться).

Говоря о репрезентативных выборках, мы остановились на том, что один из подвидов их ¾ и только он один ¾ применим в контент-аналитических исследованиях.

Но здесь вероятностная, или случайная выборка ¾ а это как раз тот самый подвид ¾ приобретает некоторые особенности, с которыми специалист не может не считаться.

В самом деле ¾ в случае с исследованиями общественного мнения мы имеем дело с объектом, протяженным в пространстве, скажем, с населением страны. Как ни сложно оперировать с таким объектом (или, как говорят социологи, с генеральной совокупностью исходных еди­ниц), социологи, установив определенную ступенчатость отбора для разных характеристик, обеспечивают для каждого человека, входяще­го в эту генеральную совокупность, искомую равновероятную возмож­ность попасть в выборку.

В случае с исследованиями содержания прессы мы имеем дело с объектом, протяженным во времени. Что тут считать генеральной совокупностью? Всю совокупность текстов с первого дня существова­ния газеты? Десятилетие? Пятилетие? Год? Другими словами ¾ если мы возьмем эмпирическую выборку Гэллапа в 1500 человек за обра­зец и будем строить свою выборку текстов в 1500 единиц (пока отвле­чемся от того, что считать тут единицей: это с людьми все ясно, а с текстом, как говорится, возможны варианты ¾ это могут быть отдель­ные дни/номера газеты целиком или отдельные материалы), то реаль­но мы должны промерить все тексты гигантским циркулем, «шаг» которого будут составлять эти 1500 единиц, от сегодняшнего дня в прошлое. Сделаем пять этих гигантских шагов (или двадцать пять), а потом пойдем в обратном порядке ¾ возьмем в отмеренном простран­стве каждую пятую единицу (или двадцать пятую) и получим идеаль­ную случайную выборку.

Но ¾ где остановиться циркулю? В пятой точке или двадцать пя­той? Это всегда произвольное решение исследователя. Иначе говоря — определение границ генеральной совокупности, из которой будет произведена выборка ¾ это авторитарное решение исследователя и никто ему этого подсказать не сможет. На его выбор должно влиять одно тактическое соображение ¾ его выборка репрезентативна для всего выбранного временного интервала, но не для отдельного периода внут­ри этого интервала. Другими словами, если для исследования выбра­ны 1500 текстов газеты с определенным интервалом внутри периода 1963 ¾1966 гг., то результаты будут относиться ко всему этому периоду, но не к маю месяцу 1964 г. (точно так же выбранные случайным обра­зом 1500 опрошенных по России демонстрируют мнение, репрезента­тивное в целом для России, но не для Красноярского края ¾ такая задача потребует увеличения выборки, при чем все на тех же началах от­бора уже по Красноярскому краю).

Каковы должны быть эти временные границы, повторяем, это воля исследователя. Ответ на этот вопрос теснее всего связан с про­граммой исследования, т.е. с его задачами. Ясно, что логика опреде­ления этих временных границ должна быть одной для выяснения воздействия текстов на аудиторию, процесса, который по самой своей сути является долговременным, и другой ¾ для снятия картины деятельности источника, которая может быть и одномоментной; одной ¾ когда само исследование замышляется для того, чтобы внести коррективы в сегодняшнюю деятельность источника, но она может быть совершенно другой в случае с историко-сравнительными иссле­дованиями.

Во всех случаях, когда речь идет о долговременном процессе, повышается необходимость репрезентативных выборок со случайным отбором единиц наблюдения. Вспомним исследование, связанное с изучением языка идеологий в мировой прессе (см. с. данной работы). Для анализа брался каждый номер престижных газет нескольких стран, вышедший первого и пятнадцатого числа каждого месяца.

Случайность этого отбора уравнивала источники с точки зрения частоты употребления в них политических символов. Поясним свою мысль ¾ определенная газета могла продемонстрировать первого чис­ла какого-то месяца в данном пятилетии необычную даже для нее «гу­стоту», частоту обращения к политической тематике, но эта же газета пятнадцатого числа другого месяца (в другом пятилетии) по причи­нам того, давно ушедшего пятилетия, абсолютно не касалась полити­ки: она вышла под лозунгом «день спорта». Но в пределах одного-двух-трех десятилетий, на которые распространялся анализ, любая другая газета могла быть точно в таком же положении в другие первое и пятнадцатое числа.

В этом смысле справедливо замечание, что большой временной отрезок для отбора и сам механизм случайного отбора (а это мог быть каждый второй и шестнадцатый номер газеты и т.п.) уравняли источ­ники и в этом смысле сделали надежными выводы исследования: они были характерны для всего анализируемого периода деятельности источника.

Такой случайный отбор уравнял газеты еще в одном отношении. Известно, что в газетах разных стран существенно разнятся номера в зависимости от дня недельного цикла. Так, например, американские ежедневные газеты имеют различную толщину в разные дни недели. Это зависит в основном от количества рекламы, размещаемой на стра­ницах газет, а она в свою очередь отражает динамику привычек поку­пателей в течение недели. И тогда выпуски газеты в четверг имеют одну толщину, а субботние ¾ другую. Когда газеты отбираются на боль­шом временном отрезке случайным образом, возрастает вероятность того, что в выборку попадут номера газет разных дней недели.

Когда исследователя интересует современная ему деятельность источника и он хочет ограничиться заведомо небольшим временным периодом для анализа, он должен специально учесть этот фактор. Так, известно, что каждая газета имеет сменные тематические рубрики для каждого дня недели, телевизионные каналы приурочивают особые развлекательные передачи к концу недели и т.д.

Чтобы отразить в выборке недельную цикличность, столь харак­терную для деятельности СМК, у аналитика содержания есть уже оп­робованный метод «конструирования» недели (авторы этого метода ¾ Роберт Джоунс и Рой Картер). По этому методу в годичном выпуске газет отмечаются все выпуски в понедельник, вторник и т.д. Затем бе­рется каждый десятый выпуск из числа выпусков в понедельник, каж­дый десятый выпуск из выпусков во вторник и т.п. Сконструирован­ная таким образом неделя будет репрезентировать весь год, выбран­ный для анализа. Надо сказать, что этот вывод не голословен: исследователи, рекомендовавшие такой подход к отбору единиц для анализа, в ходе своих сравнительных исследований показывали, что точно такие же результаты получаются, если анализировать весь мате­риал за год сплошь.

Интересный вариант выборки с использованием такой недели содержит исследование Ч. Окигбо (отделение массовых коммуникаций, Университет Нигерии).

После отбора четырех газет ¾ объекта исследований, репрезентирующих разные формы собственности, разные политические направ­ления: частное предприятие, наиболее элитарную газету, государствен­ную собственность/контроль, газету ¾ собственность управления штата ¾ формы, которые, по мысли автора, в значительной мере опреде­ляют отбор новостей (механизм отбора новостей был предметом ис­следования), автор использовал следующий механизм построения выборки. На первом этапе из годичной подшивки каждой газеты за 1986 г. (52 недели) методом случайного отбора была взята одна сплошная неделя для каждой газеты ¾ это была неделя с понедельника 10 марта по понедельник 17 марта 1986 г. Причем, поскольку воскресные но­мера газет в этой стране скорее напоминают еженедельник (большой объем, множество редакционных материалов и аналитических статей), они были изъяты из анализа. К этим семи номерам была прибавлена сконструированная неделя (случайным образом был отобран понедельник из всех понедельников и т.д.; в итоге в выборку попал понедель­ник 14 июля, вторник 9 сентября, среда 14 мая, четверг 28 августа, пятница 7 февраля, суббота 26 июля и понедельник 20 октября). Та­ким образом, исследование было осуществлено на 14 номерах анали­зируемых газет1.

Но начинающий аналитик содержания, как и его оппоненты, дол­жен отчетливо сознавать, что в таком случае выводы его исследования относятся к этому обозначенному как основание для выборки году, но не к каждой неделе в отдельности.

И все-таки вопрос «сколько» остается. И здесь мы опять обраща­емся к изначальным задачам исследования: если мы анализируем раз­нородный материал, например, совокупный теле- или радиодень с их разнообразием рубрик или весь номер газеты, где есть информационные и очерковые материалы, редакционные статьи и теоретические «подвалы», справочные материалы и уголок юмора, надо выбирать больший объем; если в этой совокупности мы имеем дело с отдельной передачей или жанровым куском газеты как с объектом анализа, мы ограничиваемся меньшим объемом.

И здесь самое место «закрыть» еще один вопрос: о единицах, кото­рые мы выбираем ¾ дни (выпуски) или отдельные материалы. Согла­симся, что разница существенная ¾ проанализировать 1500 газетных выпусков или 1500 отдельных материалов. Исходя из тактики случай­ного отбора, это должны быть отдельные материалы: только они обра­зуют совокупность, уменьшение которой в тысячу или в десять тысяч раз (как в опросах общественного мнения) делает посильным, а зна­чит, и осуществимым анализ текстовой продукции.

Но тактика вероятностного случайного отбора требует, чтобы исходные единицы были, образно говоря, хорошо перемешаны1: едини­цы должны иметь равновероятную возможность попасть в выборку, это обязательное условие такого отбора. Теоретики вероятностного метода приводят в качестве примера в таких случаях урну, в которой перемешаны разноцветные шары или лотерейные билеты.

Если обсуждать с этой точки зрения текстовую продукцию СМК, то мы убеждаемся, что она существует в виде устоявшихся многосту­пенчатых структур: каждая полоса газеты имеет сложившуюся струк­туру информации (по тематике, по локальности, по расположению официальных материалов и справочных документов). Даже в преде­лах более простого случая, например одной передачи на телевидении, сложились определенные модели сосуществования отдельных мате­риалов ¾ как самый красноречивый пример такого рода ¾ программа «Время».

В таком случае отбор отдельных материалов может привести к значительным систематическим искажениям. Как правило, контент-аналитики, оперируя сравнительно небольшим искомым числом отдель­ных материалов (сопоставимым с вышеуказанными 1500¾500 едини­цами), случайно отбирают их в пределах одного теледня или одного выпуска газеты. Примеры со сконструированной неделей, о которой мы говорили, или с отбором каждого первого и пятнадцатого номера каждой газеты на протяжении десятилетий в исследовании языка по­литической пропаганды могут служить тут иллюстрациями.

Все вышеизложенные соображения о сложности обоснования вы­борки в контент-аналитических исследованиях объясняют, почему на практике за всю историю применения этого метода исследователи ¾ авторы одноразовых, эпизодических «замеров», «зондажей» содержа­ния СМК объясняют свою выборку на уровне здравого смысла: дос­тупностью единиц наблюдения, возможностью изучить данный объем в короткий срок и т.д.

Практически за этим стоит то, что аналитики всякий раз имеют ¾ за редкими исключениями ¾ дело с типологическими выборками: они скрупулезно констатируют, что в деятельности источника есть в дос­таточно короткий, точно ими фиксируемый отрезок времени. Социо­логи знают, что все социальные исследования чрезвычайно чувстви­тельны к фактору времени. Тем не менее, поскольку ¾ как мы можем судить из ретроспективного анализа применения контент-анализа в мировой социологии ¾ границы этого отрезка времени подвижны, мы можем сформулировать несколько методических правил, которые по­зволят начинающим аналитикам содержания определиться со своей выборкой.

Прежде всего исследователь должен учитывать реальную периодичность, цикличность, ритмичность в деятельности анализируемых СМК или отдельных газет, радио- и телеканалов. Ясно, например, что при анализе передачи, которая выходит в эфир один раз в месяц, и которая выходит несколько раз в день (информационные выпуски), мы должны будем предусмотреть ¾ если нас интересует их сравнение ¾ такой промежуток времени, чтобы обе эти передачи были представле­ны в нем равновесомо.

Если мы сравниваем ежедневную общенациональную газету с районной, которая имеет другую ¾ более редкую ¾ периодичность, соответственно, номеров для анализа ежедневной газеты мы можем брать меньше. Поможет принять тут правильную тактику такое методологи­ческое объяснение, что чем чаще воспроизводятся в деятельности ис­точника какие-то характеристики (а комплекс определенных характе­ристик программы «Время» воспроизводится, например, ежедневно), тем меньше единиц для наблюдения за этим источником нужно выб­рать по сравнению с другим источником, характеристики которого воспроизводятся реже.

Если мы интересуемся какой-либо одной характеристикой в деятельности источника, то мы при определении выборки руководству­емся следующими соображениями. Рассмотрим их на примере программы «Время», на характеристике «Обоснование коммуникатором выбора факта». Допустим, что мы на основании пробного пилотажно­го исследования, предварительного знакомства с этой телевизионной информационной программой убедились, что существуют такие виды этого обоснования:

1 ¾ сюжеты с лексической маркировкой времени события;

2 ¾ сюжеты с лексической маркировкой качественных признаков события и факта;

3 ¾ сюжеты без лексического обоснования выбора факта.

Начиная отслеживать материал (точка отсчета, начало отсмотра произвольно задается самим исследователем в зависимости от его ин­тереса к определенному временному периоду), мы фиксируем все слу­чаи появления разных видов «обоснования выбора факта». Как только появилась наиболее редко встречающаяся характеристика, мы можем закончить наше микроисследование. Мы получили результаты клас­сического типологического исследования: мы получили количествен­ное распределение массива информации по одной интересующей нас характеристике. Оказалось, что нам понадобилось проанализировать для этого 6¾7 телевыпусков программы «Время» (табл. 3.3).



Достарыңызбен бөлісу:
1   ...   5   6   7   8   9   10   11   12   ...   28




©dereksiz.org 2024
әкімшілігінің қараңыз

    Басты бет