курсовые,контрольные,дипломы,рефераты
Московский высший институт управления.
Архангельский филиал.
Кафедра социологии.
Реферат :
Методы сбора социологической информации.
Студент : Рыжков Сергей Викторович.
Факультет : Экономический, 1 курс. № АЭ-195959
Научный руководитель : Дрегало Александр Алексеевич.
Степень : Профессор, доктор философских наук.
Архангельск - 1996
П Л А Н Р А Б О Т Ы :
Введение. . . . . . . . . . . . . . . . . 3
Программа, цель, задачи исследования. . . 4
Программа. Ее содержание.
Цели и задачи исследования.
Выборка. . . . . . . . . . . . . . . . . 6
Технология конструирования выборок.
Типы выборок.
Методы сбора информации . . . . . . . 8
Прямое наблюдение
Анализ документов
Интервью.
Анкетные опросы.
Заключение. . . . . . . . . . . . . . . 45
Список литературы. . . . . . . . . . . . 46
1. Введение.
Социология - наука, изучающая общество. Эта наука призвана узнавать общественное мнение по тем или иным вопросам, и тем самым способствовать улучшению условий социальной (общественной) жизни каждого из нас. Конечно речь идет не только об обществе в целом, но и о личности, как неотъемлемой части общества.
Социология особенно важна в наше нестабильное время. Она должна помогать правящим структурам поддерживать какую-то стабильность в обществе, таком хрупком в последнее время. Все это более или менее понятная сторона социологии. После того, как мы узнаем общественное мнение, уже будет ясно - что надо сделать, чтобы в следующий раз мнение по этому вопросу было лучше.
А как узнать мнение общества? Каковы методы сбора социологической информации?
Ответ на этот вопрос и будет целью данной работы.
Для начала, опишу вкратце основные начальные процедуры социологического исследования (программа, цель исследования, выборки), а затем перейду к основному вопросу, т.е. методам сбора социологической информации (опрос, анкета, наблюдение).
2. Программа, цель, задачи исследования.
Программа социологического исследования нужна для того чтобы:
1) логично, ясно представить цели, задачи исследования
2) очертить объект исследования
3) найти, адекватные цели, решения
4) решать практические задачи в ходе теоретического исследования
5) позволяет быстро выявить возможные ошибки.
Программа - этап самостоятельного теоретического поиска. Это может быть работа в масштабах группы лиц (отдела), а может - процесс работы института в течении года.
Содержание программы:
1) Проблемы исследования.
Проблема - есть противоречие между замыслом, целью и результатом; между ожидаемым и реальностью.
Под проблемной ситуацией понимают противоречие между сознанием потребностей и незнанием, как это сделать, незнанием средств и методов достижения цели.
2) Объект исследования - это область социальной жизни или реальности, которая содержит противоречия и представляет интерес для исследования. Объект ограничен местом жительства, работы.
3) Предмет исследования - область социальной жизни, содержащая противоречия отношения людей к чему-то.
Цель исследования - общая направленность - ожидаемый конечный результат. Задачами исследования является конкретизация цели.
Для исследования следует произвести эмпирическую интерпретацию понятий - перевод общих терминов на язык подлежащий измерению, т.е. создать более точные, упрощенные понятия. Например, дисциплина труда:
1) Отношение к трудовым нормам
2) Отношение к распорядку
3) Прогул
Операционализация понятий - исследователь должен изучить порядок исследования объекта. Дробление понятий на составляющие.
Исследования объекта упираются в построение гипотез - обоснованное предположение о структуре социального объекта, о характере связей между элементами, о факторах, которые детерминируют связи.
Правила исследования, предъявляемое к гипотезам:
1. Гипотеза не должна содержать не проверенных понятий.
2. Гипотеза не должна противоречить известным научным фактам.
3. Гипотеза не должна быть излишне сложной.
4. В гипотезе должны быть способы ее проверки.
Все, выше перечисленное, составляет программу социологического исследования. Теперь обратимся к реализации этой программы.
3. Выборка.
Выборка - часть генеральной совокупности, подмножество элементов, которое избирается для изучения.
Генеральная совокупность - множество элементов, возможных социальных объектов, подлежащих изучению согласно гипотезам в рамках программы.
Исследователь должен научиться сопоставлять генеральную и выборочную совокупности. Часть генеральной совокупности можно изучать, если характеристика этой части соответствует характеристике генеральной совокупности; т.е. выборка всегда должна представлять все основные характеристики генеральной совокупности.
Чаще всего для формирования выборки используются следующие характеристики:
1) Пол
2) Возраст
3) Образование
4) Род занятий
Когда берутся другие показатели, то это говорит о специфичности исследования. Например - инвалиды, ветераны и т.д.
Объем выборки зависит от ряда причин, в том числе и от задачи исследования.
При общей выборке вероятность ошибки составляет 5-10%.
При надежной выборке вероятность ошибки - 3-5%.
Записывается это так: Р = 0,05 - 0,03
Для примера можно привести следующие данные:
Ошибка выборки не более Р = 0,05 :
N - генеральная совокупность
n - количество опрошенных
N |
500 |
1 000 |
2 000 |
3 000 |
10 000 |
100 000 и более |
n |
222 |
286 |
333 |
350 |
385 |
398 |
Обычно, для того чтобы исследовать мнения по Архангельской области, опрашивают от 450 до 1 000 человек.
Типы выборок :
1. Случайная выборка
1) Лотерейный метод
2) Метод равных интервалов (шаг)
3) Метод случайных чисел (по таблицам случайных чисел)
2. Целевая выборка
3. Адресная выборка (районированная)
1) Метод сеточки (при помощи карт местности)
2) Метод спирали (при помощи карт местности)
4. Методы сбора информации
Существует три основных класса методов сбора социологической информации:
1) Прямое наблюдение
2) Анализ документов
3) Опросы, которые делятся на два подкласса:
а) интервью
б) анкетный опрос
ПРЯМОЕ НАБЛЮДЕНИЕ
Под наблюдением в социологии подразумевается прямая регистрация событий очевидцем.
Наблюдение может носить различный характер. Иногда социолог самостоятельно наблюдает происходящие события. Иногда он может пользоваться данными наблюдений других лиц.
Наблюдение бывает простым и научным. Простое - это то, которое не подчинено плану и ведется без определенно разработанной системы. Научное наблюдение отличается тем, что:
а) Оно подчинено ясной исследовательской цели и четко сформулированным задачам.
б) Научное наблюдение планируется по заранее обдуманной процедуре.
в) Все данные наблюдения фиксируются в протоколах или дневниках по определенной системе.
г) Информация, полученная путем научного наблюдения, должна поддаваться контролю на обоснованность и устойчивость.
Наблюдение классифицируется:
1) По степени формализованности выделяют неконтролируемое (или нестандартизованное, бесструктурное) и контролируемое (стандартизованное, структурное). В неконтролируемом наблюдении пользуются лишь принципиальным планом, а при контролируемом - регистрируют события по детально разработанной процедуре.
2) В зависимости от положения наблюдателя различают соучаствующее (или включенное) и простое (невключенное) наблюдения. Во время включенного наблюдения исследователь имитирует вхождение в социальную среду, адаптируется в ней и анализирует события как бы “изнутри”. В невключенном (простом) наблюдении исследователь наблюдает “со стороны”, не вмешиваясь в события.
В обоих случаях наблюдение может производиться открыто или инкогнито.
Одна из модификаций включенного наблюдения носит название стимулирующего наблюдения. Этот способ подразумевает воздействие исследователя на события которые он наблюдает. Социолог создает определенную ситуацию, для того чтобы стимулировать события, что дает возможность оценить реакцию на это вмешательство.
3) По условиям организации наблюдения делятся на полевые (наблюдения в естественных условиях) и на лабораторные (в экспериментальной ситуации).
Процедура любого наблюдения складывается из ответа на вопросы: “Что наблюдать?”, “Как наблюдать?” и “Как вести записи?”. Постараемся найти на них ответы.
На первый вопрос отвечает программа исследования, в частности состояние гипотез, эмпирические индикаторы выделенных понятий, стратегия исследования в целом.
При отсутствии четких гипотез, когда исследование проводится по фомлулятивному (примерному) плану, применяют простое или бесструктурное наблюдение. Цель такого предварительного наблюдения заключается в том, чтобы придумать гипотезы для более строгого описания наблюдаемого объекта. При этом используется следующее:
1) Общая характеристика социальной ситуации, включающая такие элементы, как: сфера деятельности (производственная, непроизводственная, уточнение ее особенностей и т.д.); правила и нормы, регулирующие состояние объекта в целом ( формальные и общепринятые, но не закрепленные в инструкциях или распоряжениях); степень саморегуляции объекта наблюдения (в какой мере его состояние определяется внешними факторами и внутренними причинами).
2) Попытка определить типичность наблюдаемого объекта в данной ситуации, относительно других объектов и ситуаций; экологическая Среда, область жизнедеятельности, общественная, экономическая и политическая атмосфера, состояние общественного сознания на данный момент.
3) Субъекты или участники социальных событий. В зависимости от общей задачи наблюдения их можно классифицировать: по демографическим и социальным признакам; по содержанию деятельности (характер труда, сфера занятий, сфера досуга); относительно статуса в коллективе или группе (руководитель коллектива, подчиненный, администратор, общественный деятель, член коллектива...); по официальным функциям в совместной деятельности на изучаемом объекте (обязанности, права, реальные возможности их осуществления; правила, которым они следуют строго и которыми принебрегают...); по неофициальным отношениям и функциям (дружба, связи, неформальное лидерство, авторитет...).
4) Цель деятельности и социальные интересы субъектов и групп: общие и групповые цели и интересы; официальные и неформальные; одобряемые и не одобряемые в данной среде; согласованность интересов и целей.
5) Структура деятельности со стороны: внешних побуждений (стимулы), внутренних осознанных намерений (мотивы), средств, привлекаемых для достижения целей (по содержанию средств и по моральной их оценке), по интенсивности деятельности (продуктивная, репродуктивная; напряженная, спокойная) и по ее практическим результатам (материальные и духовные продукты).
6) Регулярность и частота наблюдаемых событий: по ряду указанных выше параметров и по типичным ситуациям, которые ими описываются.
Наблюдение по такому плану позволяет более хорошо разобраться в объекте наблюдения.
По собранным предварительным данным задачи наблюдения уточняются. Некоторые стороны наблюдаемых событий изучаются более детально, другие вовсе опускаются.
Таким образом, после предварительного, наблюдение переходит в стадию более формализованного поиска.
Составлению жесткой процедуры контролируемого наблюдения предшествует детальный анализ проблемы на основе теории и данных неконтролируемого наблюдения. Теперь отдельные явления, события, формы поведения людей должны быть интерпретированы в понятиях логики исследования, они приобретают смысл индикаторов каких-то более общих свойств или действий.
Поучительную технику регистрации наблюдаемых событий разработали московские социологи в рамках исследовательского проекта “общественное мнение” (руководитель исследования Б.А.Грушин). В числе одного из каналов выражения общественного мнения были выделены собрания. Для регистрации данных использовалась картотека наблюдения, включающая девять различных бланков оценки: ситуации перед началом собрания, организационного периода, регистрации действий докладчика или выступающего, регистрации реакций аудитории на выступление, описания общей ситуации во время прений, ситуации при принятии решений собрания, в частности при обсуждении поправок и дополнений к проекту решения, ситуации по окончании собрания и карточка общей характеристики собрания.
Вот как выглядит карточка индикаторов для регистрации отношения участников собрания к выступающему - докладчику, участнику дискуссии.
Индикаторы отношения участников собрания к выступающим
путем прямого наблюдения реакций аудитории
Элементы наблюдаемого поведения |
Сила проявления реакции по группам (шкальные оценки) |
Особые заметки наблюдателя, заранее не формализуемые |
А) Одобрительные реплики, возгласы, аплодисменты. Б) Неодобрительные реплики и т.д.. В) Требование дополнительной информации. Г) Разговоры, связанные с обсуждаемым вопросом. Д) Вопросы к выступающему. Е) Отсутствие реакции (нейтральное отношение). Ж) Призывы к соблюдению порядка. З) Призывы к соблюдению регламента. И) Разговоры, тему которых определить невозможно. К) Посторонние разговоры. Л) Занятие посторонними делами. |
1, 2, 3, 4, 5, 6 1, 2, 3, 4, 5, 6 1, 2, 3, 4, 5, 6 К каждой строке элементов наблюдаемого поведения дана 6-членная номинальная шкала, пункты которой: 1 - президиум собрания 2 - большинство аудитории 3 - примерно половина аудитории 4 - меньшинство аудитории 5 - несколько человек 6 - один - два человека |
Наблюдение большой аудитории собрания производится несколькими лицами, которые придерживаются единой инструкции. подготовке протокола регистрации данных наблюдения предшествует не только разработка общей концепции, но и неоднократные нестандартизованные наблюдения на разных объектах ( в нашем случае - собраниях разных организаций и коллективов).
Следует ли наблюдателю вмешиваться в наблюдаемый процесс?
Ответ на этот вопрос зависит от цели исследования. Если цель исследования состоит в том, чтобы описать и проанализировать (диагностировать) ситуацию, то вмешательство исказит картину и может привести к нежелательному для исследования искажению информации.
Для этого существуют способы добиться минимальных ошибок при диагностическом наблюдении. Один из них заключается в том, чтобы исследователь сделал так, что люди не знают, что за ними наблюдают. Другой способ - создать ложное представление о цели наблюдения. Конечно эти способы могут показаться безнравственными, но чтобы добиться правдивости информации, исследователю лучше не показывать своих целей, особенно в том случае, если узнав о них люди смогут неправильно истолковать задачи исследования.
Если же цель исследования заключается в принятии определенных управленческих решений, то вмешательство будет полезно, так как позволит изменять ход событий и оценивать полученные результаты. Именно этим целям служит стимулирующее включенное наблюдение.
Преимущества включенных наблюдений очевидны: они дают наиболее яркие, непосредственные впечатления о среде, помогают лучше понять поступки людей и действия социальных общностей. Но с этим же связаны основные недостатки такого способа. Исследователь может потерять способность объективно оценивать ситуацию, как бы внутренне переходя на позиции тех, кого он изучает, слишком “вживается” в свою роль соучастника событий. Поэтому как правило, итогом включенного наблюдения является социологическое эссе, а не строго научный трактат.
Имеются и нравственные проблемы включенного наблюдения: насколько вообще этично, маскируясь под рядового участника какой-то общности людей, в действительности исследовать их?
Пути повышения надежности данных при наблюдении.
В полевых условиях, при простом бесструктурном и невключенном наблюдении вести записи очень сложно. Это уже дело навыков и изобретательности исследователя. Можно применять заранее разработанные коды. Можно применять маскировочные приемы (например ученику на предприятии вести записи, якобы связанные с работой). Можно использовать хорошую память и регистрировать наблюдения позже, в спокойной обстановке.
Структуризованное наблюдение предпринимает более строгие приемы ведения записей. Здесь используются бланки - протоколы, разлинованные по пунктам наблюдения с кодовыми обозначениями событий и ситуаций.
Пример: Наблюдатели и сотрудники исследовательского коллектива, которые исследовали собрания, расчленили зоны наблюдения (президиум, выступающий, сектор участников собрания из 15-20 человек) и по шкале времени фиксировали происходящее, пользуясь кодами. В протоколе (см.схему ниже) в каждой строке делается отметка пункта номинальной шкалы с учетом времени. Напомню, что другой наблюдатель регистрирует по соответствующей инструкции действия ораторов, после чего можно синхронизировать реакции аудитории на выступления с трибуны собрания.
Частоту и интенсивность событий в данном случае регистрируют с помощью шкал ранжирования по предыдущей схеме, графа 2. Современная техника позволяет использовать магнитофон, кино- или фотоаппарат, видеозаписи, обеспечивающие подлинность регистрации наблюдаемого.
Протокол регистрации событий на основе индикаторов
отношения участников собрания к выступающим
Время |
Элементы наблюдаемого поведения и реакции, кодируемые в номинальной шкале |
Особые отметки, примечания |
||||||||
0 - 5 мин 6 - 10 мин ............................................ |
а | б | в | г | д | е | ж | з | и... |
Надежность (обоснованность и устойчивость данных повышается, если выполнять следующие правила:
а) Максимально дробно классифицировать элементы событий, подлежащих наблюдению, пользуясь четкими индикаторами. Их надежность проверяется в пробных наблюдениях, где несколько наблюдателей регистрируют по единой инструкции одни и те же события, происходящие на объекте, аналогичном тому, который будет изучаться.
б) Если основное наблюдение осуществляется несколькими лицами, они сопоставляют свои впечатления и согласовывают оценки, интерпретацию событий, используя единую технику ведения записей, тем самым повышается устойчивость данных наблюдения.
в) Один и тот же объект следует наблюдать в разных ситуациях (нормальных, и стрессовых, стандартных и необычных), что позволяет увидеть его с разных сторон.
г) Необходимо четко различать и регистрировать содержание, формы проявления наблюдаемых событий и их количественные характеристики (интенсивность, регулярность, периодичность, частоту).
д) Важно следить за тем, чтобы описание событий не смешивалось с их интерпретацией. Поэтому в протоколе следует иметь специальные графы для записи фактуальных данных и для их истолкования.
е) При включенном или невключенном наблюдении, выполняемом одним исследователем, особенно важно следить за обоснованность интерпретации данных, стремясь к тому, чтобы перепроверить свои впечатления с помощью различных возможных интерпретаций. Например, бурная реакция собрания на выступление может быть следствием одобрения, недовольства по поводу высказанного оратором, реакцией на его шутку или реплику из зала, на допущенную им ошибку или оговорку, на постороннее действие во время выступления... Во всех этих случаях делаются особые заметки, поясняющие протокольную запись.
ж) Полезно прибегнуть к независимому критерию для проверки обоснованности наблюдения. Данные наблюдений “со стороны” можно проконтролировать с помощью интервью с участниками событий; материалы включенного наблюдения желательно проверить невключенными по той же программе или по имеющимся документам.
Место наблюдения среди других методов сбора данных.
Основным недостатком этого метода является необъективность наблюдателя. Человек очень редко оценивает ситуацию абсолютно беспристрастно (ему свойственно делать выводы). Личностные особенности наблюдателя определенно сказываются на его впечатлениях.
Наблюдению не подлежат события прошлого, многие явления и процессы массового характера, вычленение небольшой части которых делает их изучение непредставительным.
Наблюдение используется в основном как дополнительный метод, который позволяет собрать материалы для начала работы или помогает проверить результаты других методов сбора информации.
ДОКУМЕНТАЛЬНЫЕ ИСТОЧНИКИ
Документальной в социологии называют любую информацию, фиксированную в печатном или рукописном тексте, на магнитной ленте, на фото- или кинопленке. В этом смысле понятие документации отличается от общеупотребительного: обычно мы называем документами официальные материалы.
По способу фиксирования информации различаются: рукописные и печатные документы; записи на магнитной ленте. С точки зрения целевого назначения выделяются материалы, которые были избраны самим исследователем.
Пример: Американский социолог У.Томас и польский Ф.Знанецкий исследовали по документам жизнь польских эмигрантов в Европе и Америке. Они попросили одного польского крестьянина написать автобиографию и получили от него 300 страниц рукописного текста.
Эти документы называют целевыми. Другие - не зависимые от социолога документы называют наличными. Обычно они и составляют документальную информацию в социологических исследованиях.
По степени персонификации документы подразделяются на личные и безличные.
Личные - документы индивидуального учета (библиотечные формуляры, анкеты и бланки, заверенные подписью), характеристики, выданные данному лицу, письма, дневники, заявления, мемуарные записи.
Безличные - статистические или событийные архивы, данные прессы, протоколы собраний.
В зависимости от статуса документы делятся на официальные и неофициальные.
Официальные - протоколы, правительственные материалы, постановления, заявления, коммюнике, стенограммы официальных заседаний, данные государственной и ведомственной статистики, архивы и т.д., отчетность.
Неофициальные - личные документы, а также составленные частными гражданами безличные документы (например, статистические обобщения, выполненные другим исследователем на основе собственных наблюдений).
Особая группа документов - средства массовой информации, газеты, журналы, радио, телевидение, кино.
По источнику информации документы делятся на первичные и вторичные. К первичным относится прямое наблюдение. Ко вторичным - обработка данных прямого наблюдения, обобщение или описание на основе первичных источников.
Еще можно классифицировать документы по содержанию: например, литературные данные, исторические и научные архивы, архивы социологических исследований.
Проблема достоверности документальной информации.
Не следует путать такие понятия как надежность, подлинность самого документа с достоверностью сообщающихся в нем сведений.
Достоверность в первую очередь зависит от источника доступного документа. Конечно, официальные, личные, документы из первых рук намного надежней, чем какие-либо другие.
Правила работы с документами.
1. “Золотое правило” - четко различать описание событий и их оценку. (Это правило применимо к любой информации). Факты безусловно лучше, чем мнение и оценка.
2. Анализировать намерения составителя документа. Например отчет сотрудника предприятия может быть составлен в более благоприятном свете, чем обстоят дела на самом деле. А если взять критику газеты, то можно говорить о придирчивом изложении фактов.
3. Важно знать метод получения данных для составления документа (из первых рук, факты, другие источники).
4. Если документ содержит статистические данные, то следует выяснить, на чем основана классификация.
5. Важно уяснить общую обстановку при которой составлялся документ. Она влияет на объективность составителя независимо от его намерений.
Особую осторожность нужно соблюдать при работе с личными документами, такими как: автобиографии, дневники, мемуары, письма и т.д.
Вот несколько условий доверия к информации из личных документов.
(а) Можно верить сообщениям, если они никак не затрагивают интересы автора; или (б) наносят определенный ущерб автору; (в) видимо, достоверны те сведения, которые в момент регистрации автором были общеизвестны; достоверны детали событий, несущественные с точки зрения автора документа, а также (д) сведения к которым автор относится недоброжелательно.
Проверка подлинности документов, анализ мотивов, побуждений, условий составления, целевой установки автора, ситуации в которой он действовал, характера его окружения - вот те факторы, от которых зависит достоверность информации из личных документов.
Традиционный (классический) анализ документов в отличие от простого ознакомления с ними или прочтения для приобретения нового знания - это именно метод исследования, которое, как всякое научное исследование, предполагает выдвижение определенных гипотез, тщательное изучение существа анализируемого материала, логики текста, обоснованности и достоверности приводимых сведений. Это интеллектуальный анализ при котором исчерпывается все содержимое документа.
Огромную роль играет опыт исследователя, глубина его знаний по предмету и интуиция.
Приемы качественно-количественного анализа документов.
При качественно-количественном анализе документов необходимо перевести информацию целевых документов на язык исследования.
Качественный анализ - необходимое условие для всех количественных операций. Но не всегда целесообразна квантификация документов.
Не следует прибегать к количественному анализу если документы уникальны, если описаны очень сложные явления, если данных недостаточно или они неполные (нерепрезентативны).
Количественный анализ уместен если:
а) требуется высокая степень точности при сопоставлении однопорядковых данных
б) достаточно много материала, чтобы оправдать усилия по его обработке и он репрезентирует области изучения
в) материала настолько много, что нельзя обойтись без суммарных оценок
г) изучаемые начальные характеристики появляются с достаточной частотой
Наиболее целесообразно использовать количественный анализ, если квантифицируемые тексты сопоставляются с иными, также количественными характеристиками. Например сопоставление мнений подписчиков о газете с ее тиражом.
Квантификация текстового материала получила в мире большое распространение и в 40-х годах для нее была разработана специальная процедура, названная “контент-анализом”.
Контент-анализ - перевод в количественные показатели массовой текстовой или записанной на пленку информации с последующей статистической ее обработкой. Его основные операции были разработаны американскими социологами Х.Ласуэллом и Б.Берельсоном.
Основные процедуры контент-анализа.
Контент-анализ начинается с выявления смысловых единиц, в качестве которых используют:
а) Понятия, выраженные в словах и отдельных терминах. Это понятия из области экономики: интенсификация, технический прогресс, методы хозяйствования, оптимизация управления и др.; из политики: интернационализм, демократия, разрядка, мирное сосуществование, перестройка; нравственные или правовые символы: почин, активность, инициативность, нарушение законности и т.д.; научные: модель, система, космическое пространство и т.п.
Анализ текста по содержанию понятий несет немало социологической информации. Например, по частоте употребления понятий, связанных с наукой и новой техникой, можно определить, в какой мере источник ориентирован на предмет ускорения научно-технического прогресса.
б) Тема, выраженная в целых смысловых абзацах, частях текстов, статьях, радиопередачах и т.д.
По тематике можно более полно представить содержание документа, которое свидетельствует о определенной направленности взглядов, интересов, ценностных ориентаций и норм деятельности.
в) Имена исторических личностей, политиков, выдающихся ученых и деятелей искусства, передовиков производства.
Это говорит о влиянии чьих-то идей на общественное мнение и о престижности той или иной концепции. Сюда же можно отнести упоминание организаций, учреждений, общественных институтов.
г) целостное общественное событие, документ, факт, произведение, случай и т.п. несут определенный смысл и тоже могут быть приняты за единицу анализа. Частота и длительность (во времени) упоминания общественного события или государственного решения (например, борьба за трезвый образ жизни) - свидетельство его важности для общества.
Итак, смысловые единицы анализа выделяются на основе содержания гипотез исследования, подсказываются методологическими посылками программы.
Надежность информации, полученной контент-анализом, обеспечивается следующими способами:
а) Обоснование полноты объема выделяемых смысловых единиц, предложенное В.Н.Каюровой, может быть доказано следующим образом.
Полигон наполнения текста смысловыми единицами контент-анализа как способ обоснования полноты объема выделения смысловых единиц:
Первоначально выделяются все смысловые единицы ил первого анализируемого текста, далее из второго - те же плюс дополнительные, ранее не встречавшиеся, из третьего документа - опять те же, что уже встречались в двух предыдущих плюс дополнительные и т.д. После изучения очередных 3-5 текстов, в которых не попадается ни одной новой смысловой единицы, ранее фиксированной в предыдущих документах, можно полагать, что “поле” смысловых единиц из изучаемого массива исчерпано.
Из рисунка видно, что в итоге изучения 20 случайно отобранных из всего массива текстов было выделено суммарно 120 единиц контент-анализа, что исчерпывает “поле”, т.е. всю выборочную совокупность документов. Конечно при изучении всего массива могут попасться новые смысловые единицы, относящиеся к предмету и ранее не предусмотренные. В этом случае они включаются в анализ дополнительно.
б) Контроль на обоснованность содержания смысловых единиц с помощью судей. Специалисты в данной области обсуждают, насколько предложенные качественные единицы соответствуют поставленным задачам.
В нашем исследовании 6 экспертов независимо друг от друга классифицировали 120 понятий, отнесенным к деловым и личностным качествам инженера, в 6 общих категории (творческие качества, исполнительские и т.д.), причем 86% понятий были классифицированы однозначно минимум четырьмя судьями. Остальные, более спорные, подвергались специальному обсуждению и после согласованного решения относились в соответствующую общую категорию.
в) Обоснованность по независимому критерию. например, данные контент-анализа дневников или сочинений учащихся с целью выявить их профессиональную склонность выборочно проверяются путем опросов, или по данным наблюдений, тестом по известной группе.
г) Устойчивость данных определяется при помощи кодирования одного текста разными кодировщиками на основе единой инструкции. Можно использовать стабильную единицу анализа и разные единицы счета (по частотам смысловых единиц и по физической протяженности одновременно).
Процедура подсчета. В общем виде процедуры подсчета при контент-анализе аналогичны стандартным приемам классификации по выделенным группировкам.
Крайне трудоемкие процедуры обработки данных контент-анализа существенно облегчаются при использовании ЭВМ, что также немало способствует широкому распространению этой техники изучения документальных источников.
Оценка метода документального анализа.
Документы нередко выступают в роли главного источника информации дополненной опросом или прямым наблюдением.
Социолог должен проявить недюжинную изобретательность в поисках подходящих документов, подчас весьма неожиданных.
Пример: Советский демограф В.И.Переведенцев остроумно проверил гипотезу о влиянии этнических факторов на миграцию населения. Он сопоставил данные об интенсивности миграции коренного населения союзных республик с данными Всесоюзной переписи 1959 г. о доле лиц коренной национальности (по республикам), не считающих язык своей национальности своим родным языком. Оказалось, что эти пропорции совпадают почти идеально. Так интенсивность миграции украинцев (в пропорции к русским) 11%, а доля украинцев, не говорящих на родном языке - 12,3%, для белорусов - соответственно 15% против 15,8%, для народов Закавказья - 5% против 4,6%, народов Средней Азии - около 1% против 1,5%, для казахов - 4% против 1,6%, для народов Прибалтики - 4% против 3,5%. Очевидно, что этнический фактор существенно влияет на миграцию.
Главные недостатки описанного метода состоят в отмеченных выше проблемах получения достоверной информации из биографических материалов и в том, что при изучении человеческой деятельности в документах почти не отражается ее процесс, а лишь результаты.
Анализ документов - важный метод сбора информации при формулятивном плане исследования (для выдвижения гипотез и общей разведки темы) и на стадии работы по описательному плану. В экспериментальных исследованиях возникают значительные трудности перевода языка документов на язык гипотез, но, как показывает опыт, и эти затруднения можно преодолеть при умелом обращении с материалом.
Наконец, огромное и вполне самостоятельное значение имеют для социолога данные государственной статистики, многочисленные данные ЦСУ, которыми надо уметь пользоваться, а также знать, с какой регулярностью они собираются и публикуются.
ОПРОСЫ
Опросы - незаменимый прием получения информации о субъективном мире людей, их склонностях, мотивах деятельности, мнениях.
Опрос - почти универсальный метод. при соблюдении надлежащих предосторожностей позволяет получить не менее надежную информацию, чем при исследовании документов или наблюдении. Причем эта информация может быть о чем угодно. Даже о том что нельзя увидеть или прочитать.
Впервые официальные опросы появились в Англии в конце XVIII века, а в начале XIX века в США. Во Франции и Германии первые опросы были проведены в 1848 году, Бельгии - 1868-1869 гг. И далее начали активно распространятся.
Искусство использования этого метода состоит в том, чтобы знать, о чем спрашивать, как спрашивать, какие задавать вопросы и, наконец, как убедиться в том, что можно верить, полученным ответам.
Для исследователя надо в первую очередь уяснить, что в опросе участвует не “средний респондент”, а живой, реальный человек одаренный сознанием и самосознанием, который воздействует на социолога так же как и социолог на него.
Респонденты не беспристрастные регистраторы своих знаний и мнений, а живые люди, которым не чужды какие-то симпатии, предпочтения, опасения и т.п. Поэтому, воспринимая вопросы, они на одни из них не могут ответить из-за недостатка знаний, на другие - не хотят отвечать или отвечают неискренне.
Разновидности опросов.
Существуют два больших класса опросных методов: интервью и анкетные опросы.
Интервью - проводимая по определенному плану беседа, предполагающая прямой контакт интервьюера с респондентом (опрашиваемом), причем запись ответов последнего ведется либо интервьюером (его ассистентом), либо механически (на пленку).
Имеется множество разновидностей интервью.
1) По содержанию беседы различают документальные интервью (изучение событий прошлого, уточнение фактов) и интервью мнений, цель которого - выявление оценок, взглядов, суждений; особо выделяются интервью со специалистами-экспертами, причем организация и структура интервью со специалистами существенно отличается от обычной системы опроса.
2) По технике проведения - делятся на свободные, нестандартизованные и формализованные ( а также полустандартизованные) интервью.
Свободные - длительная беседа (несколько часов) без строгой детализации вопросов, но по общей программе (“путеводитель интервью”). Такие интервью уместны на стадии разведки в формулятивном плане исследования.
Стандартизованные интервью предполагают, как и формализованное наблюдение, детальную разработку всей процедуры, включая общий план беседы, последовательность и конструкцию вопросов, варианты возможных ответов.
3) В зависимости от особенностей процедуры интервью может быть интенсивным (“клиническим” т.е. глубоким, длящимся иногда часами) и фокусированным на выявление достаточно узкого круга реакций опрашиваемого. Цель клинического интервью - получить информацию о внутренних мотивах, побуждениях, склонностях опрашиваемого, а фокусированного - извлечь информацию о реакциях субъекта на заданное воздействие. С его помощью изучают, например, в какой мере человек реагирует на отдельные компоненты информации (из массовой печати, лекции и т.п.). Причем текст информации предварительно обрабатывают контент-анализом. В фокусированном интервью стремятся определить, какие именно смысловые единицы анализа текста оказываются в центре внимания опрошенных, какие - на периферии, и что вовсе не осталось в памяти.
4) Так называемые ненаправленные интервью носят “терапевтический” характер. Инициатива течения беседы принадлежит здесь самому респонденту, интервьюер лишь помогает ему “излить душу”.
5) Наконец, по способу организации интервью делятся на групповые и индивидуальные. Первые применяются относительно редко, это планируемая беседа, в процессе которой исследователь стремиться вызвать дискуссию в группе. методика проведения читательских конференций напоминает данную процедуру. Телефонные интервью используются для быстрого зондажа мнений.
Опрос по анкете.
Этот метод предполагает жестко фиксированный порядок, содержание и форму вопросов, ясное указание способов ответа, причем они регистрируются опрашиваемым либо наедине с собой (заочный опрос), либо в присутствии анкетера (прямой опрос).
Анкетные опросы классифицируют прежде всего по содержанию и конструкции задаваемых вопросов. Различают открытые опросы, когда респонденты высказываются в свободной форме. В закрытом опросном листе все варианты ответов заранее предусмотрены. Полузакрытые анкеты комбинируют обе процедуры. Зондажный или экспресс - опрос применяется в обследованиях общественного мнения и содержит всего 3-4 пункта основной информации плюс несколько пунктов, связанных с демографическими и социальными характеристиками опрашиваемых. Такие анкеты напоминают листы всенародных референдумов. Опрос по почте отличают от анкетирования на месте: в первом случае ожидается возвращение опросного листа по заранее оплаченному почтовому отправлению, во втором - анкетер сам собирает заполненные листы. Групповое анкетирование отличается от индивидуального. В первом случае анкетируют сразу до 30-40 человек: анкетер собирает опрашиваемых, инструктирует их и оставляет для заполнения анкет, во втором - он обращается индивидуально к каждому респонденту. Организация “раздаточного” анкетирования, включая опросы по месту жительства, естественно, более трудоемка, чем, например, опросы через прессу, также широко используемые в нашей и зарубежной практике. Однако последние непредставительны в отношении многих групп населения, так что скорее могут быть отнесены к приемам изучения общественного мнения читателей данных изданий.
Наконец, при классификации анкет, используют также многочисленные критерии, связанные с темой опросов: событийные анкеты, анкеты на выяснение ценностных ориентаций, статистические анкеты (в переписях населения), хронометражи суточных бюджетов времени и т.д.
При проведении опросов не надо забывать, что с их помощью выявляются субъективные мнения и оценки, которые подвержены колебаниям, воздействиям условий опроса и других обстоятельств. Чтобы минимизировать искажение данных, связанное с этими факторами, любую разновидность опросных методов следует проводить в сжатые сроки. Нельзя растягивать опрос на долгое время, так как к концу опроса могут измениться внешние обстоятельства, а информация о его проведении будет передаваться опрашиваемыми друг другу с какими-либо комментариями, и эти суждения станут влиять на характер ответов тех, кто позже попадет в состав респондентов.
Независимо от того, прибегаем ли мы к интервью или анкетному опросу, большинство проблем, связанных с надежностью информации, оказываются для них общими.
Для того, чтобы анкетный опрос был более эффективным, надо соблюдать ряд правил, которые помогают правильно задавать ход анкетирования и уменьшить количество ошибок при исследовании.
Вопросы обращенные к респондентам, не изолированы - они звенья одной цепи, и как звенья, каждый из них связан с предыдущим и последующим (эту взаимосвязь Л.С.Выгодский назвал “влияние смыслов”). Анкета - не механическая последовательность вопросов, которые могут размещаться в ней как угодно или как удобно исследователю, а особое целое. Она обладает собственными свойствами, не сводимыми к простой сумме свойств отдельных составляющих ее вопросов.
В самом начале задаются простые вопросы, а не по логике исследователя содержащейся в программе, чтобы не обрушивать на отвечающего серьезные вопросы сразу, а дать ему освоиться с анкетой и постепенно переходить от простого к более сложному (правило воронки).
Эффект излучения - когда все вопросы логически взаимосвязанны и логически сужают тему, у респондента возникает определенная установка, согласно которой он будет отвечать на них - такое влияние вопроса называют эффектом излучения или эффектом эха и проявляется оно в том, что предшествующий вопрос или вопросы направляют ход мыслей респондентов в определенное русло, создают некоторую мини-систему координат, в рамках которой формируется или выбирается вполне определенный ответ.
Иногда возникают проблемы связанные с последовательность вопросов. Расхождения в ответах на один и тот же вопрос не должны быть обусловлены разной их последовательностью.
Так, например, если низкооплачиваемому рабочему задать вопрос “Намереваетесь ли Вы в ближайшее время уволиться с данного предприятия?” после вопроса о заработной плате, вероятность получения утвердительного ответа повышается. А если тот же вопрос поставить после выяснения, скажем, перспектив роста з/платы, возрастает вероятность получить отрицательный ответ.
Факт сопряженности ответов на разные вопросы учитывается при составлении анкеты. Для этого, например, вводятся буферные вопросы.
Пока можно лишь предполагать, что при помощи анкеты, достигается большая изолированность ответов на каждый вопрос, чем при непосредственном общении с интервьюером. Опрашиваемому не надо заботиться о своем образе в глазах партнера по общению (конечно, при условии анонимности), как во время интервью. Поэтому, видимо, здесь характер сопряженности ответов выражен слабее. Однако это не доказано.
Общие и частные вопросы. Анкета начинается с наиболее частных вопросов и постепенно их конкретизирует (правило воронки). Это позволяет постепенно вводить респондента в ситуацию. Но общее решение не всегда предполагает конкретное, в то время как последнее сильно влияет на общее (люди охотнее обобщают частности, чем занимаются дедукцией).
Пример: Общие вопросы самооценки об интересе к политике и религии, поставленные до и после частных вопросов о политическом и религиозном поведении респондентов, набрали неравное количество “голосов”. Во втором случае респонденты заявили о своем интересе гораздо чаще. В то же время общие оценки экономической и энергетической ситуации оказались в весьма незначительной степени подверженными воздействию постановки частных вопросов о доходах и источниках энергии респондента до и после них. Это дает основание предполагать, что общие и частные вопросы влияют друг на друга неоднозначно. Распределение ответов на общие вопросы зависит от предшествующей постановки частного вопроса на ту же тему сильнее, чем наоборот. Кроме того эта зависимость обусловлена также и содержанием обсуждаемого явления.
Применение вопросов-фильтров.
Назначение фильтров состоит в том, чтобы оказывать влияние на ответы последующих вопросов. Эти вопросы позволяют выделить группу людей, ответы которых оказываются основанными не только на общих представлениях, но и на личном опыте:
“Посещает ли Ваш ребенок детскую музыкальную школу?
- да
- нет
Если да, кто его обычно сопровождает туда?
- кто любо из родителей
- бабушка, дедушка и т.п.”
Эти вопросы сберегают время тех к кому следующий за фильтром вопрос не адресован.
Использование фильтров приводит к пропускам ответов. Вызываются эти пропуски не только сознательным переходом части опрашиваемых к вопросам, на которые они могут ответить, минуя не относящиеся к ним, но и некоторыми другими факторами. Так например выяснилось, что использование серии фильтрующих вопросов (“Если у Вас высшее образование, то...?”; “Если у Вас высшее гуманитарное образование, то...?”; “Если у Вас высшее гуманитарное образование и Вы проходили практику в средней школе, то...?”) хотя и является очень удобным для социолога способом расположения вопросов, чрезвычайно усложняет восприятие анкеты респондентами. Иногда это приводит к настолько существенному числу пропущенных ответов, что все исследование оказывается под угрозой.
Вопрос с преамбулой.
Вопрос о фактах, как любой другой, может быть воспринят как оценочная характеристика респондента, поэтому целесообразно в некоторых случаях задавать его в такой форме, которая несколько ослабляет его оценочный характер. Например: “Одни люди ежедневно убирают квартиру, другие делают это от случая к случаю. Как чаще всего поступаете Вы?”
Содержащееся в преамбуле к вопросу указание на то, что далеко не все люди поступают так, как, кажется, принято позволяет респонденту более свободно рассказать о своем поведении.
Вопросы таблицы.
Вопросы таблицы очень удобны для исследователя. Это трудные вопросы при которых респонденту приходится прилагать ряд усилий для ответа на них.
В таких вопросах речь идет о вещах, ответить на которые можно лишь тогда, когда используются знания и умственные способности респондентов. После таких вопросов желательно переходить к более простым.
Пример:
“Какими источниками информации Вы пользуетесь, чтобы быть в курсе событий общественной жизни?”
О событиях | ||||||
Внутри страны | За рубежом | |||||
посто-янно | когда как | редко | посто-янно | когда как | редко | |
Радио | ||||||
Телевидение | ||||||
Политические информации | ||||||
Газеты | ||||||
Беседы с товарищами | ||||||
Общественно - политические журналы | ||||||
Лекции |
Такие вопросы не следует повторять часто, т.к. у респондентов возникает утомление, рассеивание внимания, возникает эффект излучения.
Так, например, в одном исследовании респондентам предлагался список одних и тех же тем. В первом случае требовалось оценить их действенность, во втором - оперативность, в третьем - полноту освещения проблем. Предъявление этого списка во второй, а тем более в третий вызвало у респондентов ощущение, что повторяется не только список, но и критерии оценивания. Многие участники опроса, взглянув на третью таблицу, говорили: “Я вам уже отвечал”, “Это уже было” и т.п., пропускали ее, оставляли без ответа.
Однообразие заполнения таблиц ведет к тому, что повышается опасность получить механические заполнения, бездумные ответы. Избрав однажды для ответа оценку “3”, респондент может ее фиксировать на протяжении всей таблицы независимо от того, какова действительная оценка и даже независимо от содержания вопроса.
Проблема монотонности.
С эффектом излучения связано в значительной мере и влияние единообразных вопросов на ответы респондентов. Как в случаи с таблицами, так и во многих других, особенно когда респондентам предлагается несколько вопросов, сформулированных по одной и той же синтаксической схеме, анкета оказывается монотонной. Это приводит к увеличению доли непродуманных ответов или их пропуску. Для того чтобы приодолеть монотонность, рекомендуются следующие приемы: “разбавлять” таблицы и вопросы, заданные в одинаковой синтаксической форме, другими вопросами; варьировать категории для ответа (в первом случае попросить респондента выразить согласие или несогласие, во втором - оценить, в третьем - решить, верно или неверно то или иное утверждение, в четвертом сформулировать ответ самостоятельно и т.п.); шире использовать разнообразные функционально-психологические вопросы, “гасящие взаимовлияние ответов”; разнообразить оформление анкеты.
Функционально-психологические вопросы.
Для того чтобы создать и поддерживать интерес к анкете, снимать возникающее напряжение, переводить респондента от одной темы к другой, в анкете применяются специальные вопросы, получившие название функционально-психологических.
Эти вопросы служат не столько для сбора сведений, сколько для обеспечения отношений общения между исследователем и респондентами. Эти вопросы служат не только побуждением к ответам, они содержат разнообразную информацию: пояснения и оправдания высказываний социолога, обращенные к респондентам, некоторые комментарии, воспринимаемые как признаки более симметричного общения, более равноправного обмена информацией.
К функционально-психологическим вопросам относятся контактные вопросы и буферные вопросы.
Контактные вопросы.
Любое общение начинается с фазы адаптации. Эта фаза предусматривает восприятие общения к респондентам, знакомство с целью исследования и инструкцией о заполнении анкеты.
Первый вопрос анкеты оказывается контактным. Можно рассчитывать, что по причине взаимосвязи всех вопросов анкеты, если человек ответит на первый вопрос, то может ответить и на все остальные.
Ряд требований к первому вопросу анкеты:
1) Контактный вопрос должен быть очень простым. Здесь часто используются вопросы чисто событийного характера - например, стажа работы, района местожительства, привычки, заинтересованность в проблемах.
2) Контактный вопрос должен быть очень общим, т.е. касаться всех респондентов. Поэтому нежелательно начинать анкету с фильтра.
3) Контактный вопрос рекомендуется делать настолько широким, чтобы на него мог ответить любой респондент. Отвечая, человек начинает верить в свою компетентность, чувствовать себя уверенно. У него возникает желание развивать свои мысли дальше, высказываться полнее. Поэтому анкету лучше начинать с того, что принимается всеми, что наиболее понятно.
Вовсе не обязательно, чтобы контактные вопросы содержали искомую информацию. Главная их функция - в облегчении взаимодействия. Ответы на контактные вопросы вовсе не обязательно вовлекать в научный анализ в связи с содержательными проблемами. С другой стороны, в методическом плане эти ответы имеют большое значение: в зависимости от их содержания можно определить отношение опрашиваемых к опросу, его влияние на их добросовестность, искренность и т.п.
Буферные вопросы.
Довольно редко анкета бывает посвящена какой-то одной теме. Но даже в рамках одной темы обсуждаются различные аспекты. Резкие и неожиданные переходы от одной темы к другой могут произвести на респондентов неблагоприятное впечатление.
Буферные вопросы предназначены для смягчения взаимовлияния вопросов в анкете. Во первых, как уже сказано они играют роль своего рода “мостиков” при переходе с темы на тему. Например, после обсуждения ряда производственных проблем дается такая формулировка: “Свободное время - это не только время, необходимое нам для восстановления затраченных на работе сил. Прежде всего это возможность для всестороннего развития личности. Поэтому просим Вас ответить на ряд вопросов о занятиях помимо работы”.
С помощью буферного вопроса (в такой функции здесь выступил не собственно вопрос, а преамбула к нему) исследователь поясняет респондентам ход своих мыслей.
С помощью таких “буферов” исследователь не просто предлагает респондентам переключить свое внимание на другую тему, но и поясняет, зачем это нужно. Например после вопроса о досуге дается такая формулировка: “Большую часть своей жизни человек проводит на работе. Огорчения и радости, успехи и неудачи в труде небезразличны для нас. Поэтому неудивительно, что мы хотим поговорить с Вами о работе”.
Во вторых буферные вопросы предназначены для того, чтобы нейтрализовать эффект излучения. В таком случае в качестве буферных могут выступать любые содержательные вопросы, не связанные непосредственно с тем предметом, который обсуждается в вопросах, взаимовлияние которых предполагает социолог.
Завершая обсуждение значения функционально-психологических вопросов в конструкции анкеты, отметим: как и любые другие, их формулировки могут оказаться небезразличными для респондентов и, следовательно, влиять на содержание и наличие их ответов. Знание социологом, что тот или иной вопрос выступает как функционально-психологический, еще не обеспечивает того, что он исполнит свою роль так, как предполагается. Чтобы предположения социолога оправдались необходимо проводить специальные методические эксперименты в этой области.
Обстановка анкетного опроса.
Очень большую роль играет то, как поставлена обстановка проведения анкетного опроса. Прежде всего надо дать понять респондентам, что все их ответы абсолютно анонимны. Это позволит получить более надежную информацию в ответах. Влияет на респондентов и присутствие посторонних лиц. Для создания более благоприятной атмосферы во время опроса, необходимо принять меры по присутствию людей непосредственно связанных с анкетой (исследователь, респонденты). Место проведения опроса тоже играет свою роль. Оно должно быть знакомо респонденту. Важно, чтобы он чувствовал себя свободно в таком месте. Помещение не должно быть слишком официальным (кабинет управляющего предприятие), или слишком неофициально (раздевалка). Многое зависит от того, о чем вопросы. Если в анкете задаются вопросы о предприятии на котором проходит анкетирование, ответы скорее всего будут неискренни. Надо уделить внимание и времени проведения анкеты. Она не должна длиться слишком долго, чтобы не утомлять респондентов (у них есть и более важные дела).
5. Заключение.
В данной работе, я постарался разобрать основные методы сбора социологической информации. Надо сказать, что это было очень интересно. Много нового узнаешь о науке, которой прежде не интересовался вовсе. В социологии, по моему, сочетаются многие направления человеческих знаний (психология, философия, логика, естествознание и т.д.). Социологу необходим большой опыт и запас знаний для того, чтобы хорошо научиться исследовать человеческое общество.
Ну и конечно встает вопрос о большой важности этой науки для многих сфер деятельности человека. В будущем социологию наверняка ждет большое распространение. Конечно она и сейчас распространена, но не так как хотелось бы. Например было бы неплохо в наше время практиковать социологию на крупных предприятиях, как это делается за рубежом. Это сильно помогло бы принимать правильные решения руководителям, которые толком не знают о том, что творится в коллективах их предприятий. Зачастую принимаются решения, которые противоречат мнению коллективов и общественности, чего помогли бы избежать социологические исследования.
6. Список литературы.
1. Бутенко И.А. “Анкетный опрос как метод общения социолога с респондентом”, Москва, 1989 год.
2. Ноэль Э. “Массовые опросы. Введение в методику демоскопии”, Москва, 1987 год.
3. Ядов В.А. “Социологические исследования: методология, программы, методы”, Москва, 1987 год.
Методы сбора социологической информации
Методы социального прогнозирования
Методы социологических исследований
Методы социологических исследований
Миграционная политика государства
Миграционные процессы в мире
Миграция трудовых ресурсов в Россию
Мировая урбанизация на пороге XXI века
Молодіжні рухи в україні 19-20 сторіччя
Молодёжная субкультура: проблемы и пути решения
Copyright (c) 2024 Stud-Baza.ru Рефераты, контрольные, курсовые, дипломные работы.