База знаний студента. Реферат, курсовая, контрольная, диплом на заказ

ИСУ Экономика и управление Тестирование в ИСУ

 

ВВЕДЕНИЕ

Особым методом исследования систем управления, наиболее популярным в современных условиях и, пожалуй, достаточно эффективным является метод тестирования. 

В управлении при помощи тестирования можно исследовать проблемы использования ресурсов (в частности, важнейшего из них – времени), уровень квалификации персонала, распределение функций управления, сочетание формального и неформального управления, стиль управления и многие другие.

Тестирование являются достоверным индикатором будущих успехов при исследовании систем управления, и признается универсальным методом в исследования, оно экономически эффективно и способно приносить материальную выгоду предприятию.

Цель курсового исследования – изучить методологию и организацию тестовых исследований систем управления, разработать рекомендации по совершенствованию управления на ООО «Эксквизит» на основе тестирования.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Рассмотреть понятие и сущность тестов;

2. Охарактеризовать виды тестов и сферу их применения на предприятии;

3. Изучить критерии качества тестов;

4. Рассмотреть принципы организации и проведения тестирования;

5.Определить состав и выбор методов тестирования;

6. Дать характеристику этапов тестирования.

Объект исследования – тестирование в исследовании систем управления.

Предмет – совершенствование управления ООО «Эксквизит» на основе тестирования.

В первой главе курсового исследования речь идет о теоретических основах применения тестирования в исследовании систем управления: приведены виды тестов, сфера их применения на предприятии, критерии качества тестов.

Во второй главе представлены методология и организация тестовых исследований систем управления, в третьей – даны характеристика деятельности организации и рекомендации по совершенствованию управления на основе тестирования.

При написании курсовой работы был использован широкий круг литературы.

Подробно рассмотреть понятие, сущность, виды тестирования помогли учебники таких авторов, как Анастази А., Батаршева А.В., Короткова А.В.; критерии качества тестов – Дураковой И.Б. При исследовании методологии  и организации тестирования большую роль сыграли учебные пособия Игнатьевой А.В.,  Десслера Г. При написании работы использовались следующие журналы: «Управление персоналом», «ЭКО: экономика и организация промышленного производства», «Высшее образование в России».

1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ПРИМЕНЕНИЯ ТЕСТИРОВАНИЯ В ИССЛЕДОВАНИИ СИСТЕМ УПРАВЛЕНИЯ

 

1.1. Понятие и сущность тестов

 

Существует множество определений теста. Тест - это удовлетворяющая критериям исследования эмпирико-аналитическая процедура. Очень общее определение. Но есть определения и более конкретные. Например, тест - это система высказываний, позволяющая получить объективное отражение реально существующих отношений между людьми, их свойств, признаков и количественных параметров. Но можно сформулировать более точное определение теста относительно проблем исследования управления. Тест - это метод изучения глубинных процессов деятельности человека, посредством его высказываний или оценок функционирования системы управления. Сфера применения тестирования не ограничивается только психологической проблематикой [11, с.81].

Большую роль в исследовании систем управления при помощи тестирования играет конструкция теста.

Тест включает набор высказываний и оценок по определённой проблеме или ситуации. Оценки могут быть упрощённые (типа «согласен» - «не согласен» или шкалированные (типа «совершенно верно», «верно», «скорее верно, чем неверно», «трудно сказать» и.т.д.). Шкала может иметь цифровые оценки в виде рейтинговых коэффициентов или выбора степени согласия.

Конструкция теста должна предполагать возможность обработки его результатов по определённым статистическим программам.

Каждый тест имеет ключ, позволяющий обработать полученную информацию в соответствии с целями тестирования [11, с. 81].

В исследовании систем управления при любом психологическом диагностировании на основе вы­явления психологических свойств личности принимается ква­лифицированное решение о наличии у испытуемого (клиента) определенного психологического состояния. При психологиче­ском консультировании в исследовании систем управления, прежде чем давать какие-либо советы клиенту, квалифицированный психодиагност должен правильно поставить диагноз, оценить суть проблемы, волнующей клиента.

Состояние клиента тоже определяется как в начале, так и в конце психокоррекционной работы. В эффе­ктивности принимаемых коррекционных мер должен убедиться не только экспериментатор, но и сам клиент. Ведь вера в успех является одним из важнейших факторов эффек­тивности любого терапевтического воздействия.

В обоих случаях основными психодиагностическими средст­вами выступают наблюдение, беседы и тестирование. Тестиро­вание является основным инструментарием практического психолога, специалиста по психодиагностике и находит широкое применение исследовании систем управления [2, с. 12].

Тестирование развивалось и продолжает развиваться нарастающими темпами, оказывая эффективное содействие в решении широкого круга вопросов в различных сферах повседневной жизни [1, с. 16].

История тестирования насчитывает несколько сотен лет. Первые публикации Френсиса Гальтона (1884) и Джеймса Мак-Кина Кеттела (1890) о тестовом методе имели своих сторонников и противников. Многие восторженно приветствовали новый метод. Увидели в нём возможность увязать научные притязания психологии с запросами практики. В целом же статус метода оставался неопределён. Между тем в начале 30-х годов тесты в образовании, в сфере профессионального отбора и профессиональной ориентации начинают широко использоваться, не смотря на то, что они не были обеспечены серьёзным психологическим инструментарием. Прошли долгие годы, прежде чем удалось преодолеть методологический тупик в психологии, согласовать теории, концепции, интуитивные догадки с эмпирическими результатами. Особенно важным оказался вывод, что всякий метод несёт в себе неизбежность погрешности измерений.

Современный тест – это теоретически и эмпирически обоснованная система заданий, позволяющая получать измерения соответствующих психологических свойств. Теоретическое обоснование предполагает всесторонний анализ теста и результатов его применения в свете достижения современной науки. Эмпирическое обоснование теста связано с обращением к опыту, измерениям, эксперименту [7, с.132].

Тестирование выступает в качестве одного из основных мето­дов психологической диагностики в исследовании систем управления, позволяющих получать сопос­тавимые количественные и качественные показатели степени развитости изучаемых психологических свойств или состояний работника на предприятии. Тесты (от англ. test - опыт, проба) - это стандарти­зированные методики психодиагностики, представляющие собой серию относительно коротких испытаний (задач, вопросов, ситу­аций и т. п.). С помощью таких испытаний с известной вероятностью определяется уровень развития у индивида психологиче­ских свойств, необходимых теоретических знаний, практических умений, навыков и других личностных характеристик. С помо­щью тестов можно изучать и сравнивать между собой характе­рологические свойства различных людей, выставлять дифферен­цированные и сопоставимые оценки. Тестирование предполагает четкую процедуру сбора и обработки первичных данных, после­дующий качественный анализ их и интерпретацию. Здесь "первичными" называются данные, полученные в ходе тестирования до их обработки методами математической статистики [2, с. 13].

По форме представления тесты можно разделить на два основных типа: стандартизированные и проективные. Стандартизированные в свою очередь делятся на два подтипа: тест-опросники и тест-задания.

Стандартизированными называются тесты, прошедшие этап стандартизации (проверку на валидность и надёжность, соответствие другим требованиям, предъявляемым к тестам). Такие тесты ориентированы на оценку и могут служить надёжным средством психодиагностики.

Тест-опросник содержит серию вопросов, по ответам на ко­торые судят о психологических качествах испытуемого. В тест-­задании испытуемому предлагается серия соответствующих за­даний, по итогам выполнения которых определяют наличие или отсутствие и степень развития у него характерологических черт (свойств личности).

Достоинством стандартизированных тестов является воз­можность дифференцированного их применения (серии стан­дартизированных тестов разрабатываются применительно к различным возрастным группам людей, уровню образования, жизненному опыту и профессии). С помощью стандартизиро­ванных тестов получают количественные оценки, по которым можно сравнивать выраженность психологических свойств ис­пытуемого с их выраженностью в популяции.

Недостатком стандартизированных тестов является опреде­ленная возможность влияния испытуемого на результаты тес­тирования в соответствии с одобряемыми характерологически­ми чертами личности. Эти возможности увеличиваются, если обучаемые знают содержание теста, а также методику оценки поведения и изучаемых психологических качеств личности.

Другим недостатком стандартизированных тестов является определенная трудность обеспечения индивидуального подхода к испытуемым в процессе тестирования. У людей с понижен­ной стрессоустойчивостью, как отмечает А.Г. Шмелев, возника­ют определенные нарушения саморегуляции, они начинают волноваться, ошибаться в элементарных для них вопросах. Во-время заметить такую реакцию на тест - задача, которая по силам лишь квалифицированному и добросовестному экспери­ментатору [2, с.14].

В определенных условиях применение стандартизированных тестов (тест-опросников и тест-заданий) становится просто не­целесообразным. Это относится к тем случаям, когда испытуе­мые не желают признавать у себя отрицательные личностные качества и мотивы поведения либо просто не в состоянии осоз­нать их наличие. В этих ситуациях прибегают к использованию проективных тестов.

Проективные тесты предназначены для изучения психологических особенностей людей и их поведения, особенностей, которые вызывают негативное отношение со стороны самих испытуемых. В основе проективных тестов лежит механизм проекции, согласно которому неосознаваемые психологические свойства личности и недостатки поведения индивид склонен приписывать другим людям. О психологических особенностях испытуемого судят на основании того, как он воспринимает и оценивает соответствующие ситуации, поведение людей, какие личностные качества и мотивы он им приписывает.

Проективные методики обладают определёнными достоинствами. Человек в своём восприятии жизненных ситуаций (отображение которых представлено в проективных тестах) преобразует их сообразно своей индивидуальности, своего видения жизненных коллизий. Проективные методики как бы «портретируют» свою индивидуальность человека, не прямо, а косвенным путём позволяют изучать его эмоциональные особенности и невротические реакции [2, с. 15].

Единой классификации проективных тестов не существует. Наиболее распространённой является классификация в разработке Л.Ф. Бурлачука и С.М. Морозова. В сокращённом виде ниже приводится эта классификация по описанию И.Б. Гришпун.

1. Конститутивные тесты. Содержание работы испытуемого является придание смысла материалу, его структурирование. Наиболее популярным конститутивным тестом является тест Роршаха (тест «чернильных пятен»).

2. Конструктивные тесты, предполагающие создание (конструирование) целого из отдельных частей. Среди конструктивных проективных тестов известен так называемый тест мира.

3. Интерпретативные тесты, предполагающие толкование, интерпретацию событий, предлагаемых ситуаций, изображений. Из интерпретативных наиболее популярен «тест тематической апперценции» (ТАТ), созданный в 1935 г. Г. Мюрреем и К. Морганом (США).

4. Катартические тесты, предполагающие творческую деятельность в особо организованных условиях. Ярким примером таких тестов является психодрама, чаще рассматриваемая как метод психотерапии, но выступающая и как психодиагностическое средство. (Предложена Дж. Морено в 1946 г.).

5. Экспрессивные тесты, предполагающие рисование или аналогичную деятельность на свободную или заданную тему. Из экспрессивных методов широко распространены так называемые рисуночные тесты («Нарисуй человека», предложенный К. Маховер в 1948 г.; «Дом-дерево-человек», разработанный Дж. Буком в 1948 г., и др.).

6. Импрессивные тесты, требующие выбора, предпочтения одних стимулов другим. Среди импрессивных проективных тестов наибольшую популярность приобрёл так называемый тест Люшера, или тест цветовых предпочтений (предложен М. Люшером в 1948 г.).

7. Аддитивные тесты, предполагающие завершение фразы, рассказа и др. Среди этих тестов широко известен тест «Незаконченные предложения» [2,с.17].

1.2. Виды тестов и сфера их применения на предприятии

 

Единой системы классификации тестов в исследовании систем управлении к настоящему времени ещё не выработано. Наиболее распространённой является система деления тестов по предмету диагностирования, т.е. по тому качеству, которое оценивается с помощью предъявляемого теста.

Общая схема деления тестов на виды и подвиды представлена в приложении А.

Проективные тесты, о которых говорилось выше, входят в состав личностных тестов, а тесты креативности – в состав тестов способностей.

Тесты достижений конструируются в основном на учебном материале и предназначены для оценки уровней овладения знаниями, умениями и навыками, а также для определения общей и профессиональной подготовки применительно к конкретным предметам и курсам обучения. Как правило, тесты достижений рассчитаны на групповую работу в классе, аудитории колледже, вузе. К тестам достижений относятся также и тесты, используемые для целей профессионального отбора (подбора). Целесообразно применение тестов достижения в целях профориентации молодёжи.

Психологические тесты – это инструменты или, употребляя широкий термин, орудия. Психологические тесты классифицируются по разным основаниям. Наиболее распространённой является деление психологических тестов на виды, при котором в качестве основания взят предмет диагностики. Так, по предмету диагностики психологические тесты делятся на интеллектуальные (тесты интеллекта), тесты способностей, социально-психологические тесты и личностные (тесты личности) [2, с. 20].

Интеллектуальные тесты предназначены для исследования и качественной оценки (измерения) уровня интеллектуального развития индивида. К группе наиболее известных и широко применяемых тестов интеллекта относятся тесты Д. Векслера (предназначены для измерения уровней развития мышления и отдельных когнитивных процессов – восприятия, внимания, воображения, памяти и др.), батареи тестов Станфорд-Бине диапазона способностей – от простого манипулирования до абстрактных рассуждений, дифференцированных по возрастному критерию). Применение этих тестов интеллекта позволяет выявить личностные качества испытуемых: уровни их активности и мотивированности, уверенности, настойчивости, сосредоточенности и др. Среди интеллектуальных тестов они занимают ведущее место в зарубежной психологической диагностике. На основе применения батарей тестов Станфорд-Бине и аналогичных им шкал умственного развития Бине-Симона рассчитываются количественные показатели уровней интеллектуального развития испытуемых (IQ, англ. – Intelligence Quotient). Этот коэффициент (IQ) адекватен понятию «интеллект» и рассчитывается по формуле:

IQ = (Умственный возраст / Хронологический возраст) * 100        (1)  

Тесты способностей – это методики, диагностирующие уровень развития общих и специальных способностей, определяющих успех обучения, профессиональной деятельности и творчества. Тесты способностей включают задания не только на интеллект, но и на память, восприятие, ручную и пальцевую моторику. Они широко используются в США для профессиональной ориентации и расстановки кадров в армии, на флоте, в государственных учреждениях.

 Разновидностью тестов способностей являются тесты креативности.

Тесты креативности - совокупность методик для изучения и оценки творческих способностей личности [2, с. 22].

Социально-психологические тесты делятся на личностные и социометрические тесты.

Личностные тесты – это психодиагностические методики, направленные на оценку эмоционально-волевых компонентов психической деятельности индивида (отношений, мотивации, интересов, эмоций, особенностей поведения) в определённых социальных ситуациях. С помощью таких тестов выявляются устойчивые индивидуальные особенности человека, определяющие его поступки. Условно личностные тесты по предмету и цели можно разделить на три большие группы. К первой из них относятся многофакторные личностные опросники, дающие разнообразную комплексную оценку степени развитости психологических свойств личности ( 16-факторный личностный опросник Р. Кэттелла (16PF), Миннесотский многофакторный опросник  (ММPI). Ко второй группе относятся проективные тестовые методики, разрабатываемые на основе неопределённых стимулов. Испытуемым предлагается интерпретировать, дополнять, развивать эти стимулы. Третью группу составляют тестовые методики, выявляющие отдельные устойчивые особенности личности (темперамент, отдельные характерологические черты личности, мотивационные и эмоциональные проявления и др.).

Социометрические тесты представляют собой своеобразные стандартизированные методики измерения межличностных отношений в малых группах. При ответах на косвенные вопросы испытуемые делают последовательный выбор членов группы, людей, предпочитаемых или отвергаемых в определённых конкретных ситуациях. Такие методики применяют для изучения динамики внутренних межличностных отношений в различных возрастных группах, выявления замкнутых группировок, степени внутригрупповой сплочённости, мотивационной структуры группы и её конфликтных зон [2, с. 23].

Традиционно назначение психологических тестов состояло в том, чтобы измерять различия между людьми или между реакциями одного человека в разных условиях. Одной из ранних проблем, побудивших к разработке психологических тестов, было выявление умственно отсталых. Помимо этого, мощный импульс первоначальному развитию тестов был задан стремлением удовлетворить нужды образования. Имеются в виду знаменитые тесты Бине, с которых и началось интеллектуальное тестирование. В настоящее время школы входят в число основных пользователей тестов. Распределение детей по способностям с целью максимально использовать возможности разных типов школьного обучения, выявление умственно отсталых, с одной стороны, и одарённых учеников – с другой стороны, образовательное и профессиональное консультирование учащихся средних школ и студентов колледжей, отбор в профессиональные и другие специальные школы – вот лишь некоторые примеры использования тестов в образовании [1, с. 17].

Отбор и распределение персонала на промышленных предприятиях – ещё одна важная область применения психологического тестирования. От оператора на линии сборки или делопроизводителя до управленцев высшего звена вряд ли найдётся работа, для которой тестирование не оказалось бы полезным при решении вопроса о найме, распределении обязанностей, переводе на новое место, повышении по службе или увольнении. Эффективное применение тестов в большинстве таких ситуаций, особенно касающихся высококвалифицированной работы, возможно лишь тогда, когда тесты используют в качестве дополнения к специальному собеседованию с кандидатами, создающему условия – в виде биографического контекста – для правильной интерпретации тестовых показателей конкретного кандидата. Тем не менее, тестирование составляет важную часть полной программы управления трудовыми ресурсами [1, с. 17].

Тесты обычно используются в качестве вспомогательных средств при принятии решений, связанных с профессиональной деятельностью, включая индивидуальное профконсультирование и решения руководителей организаций, касающиеся подбора и расстановки кадров. Соответствующие структуры торгово-промышленного сектора, правительственных учреждений всех уровней, от федерального до местного, и различных родов войск используют практически все доступные виды тестов для принятия кадровых решений. Нередко комплексные батареи способностей и тесты специальных способностей разрабатывались именно для подобного применения, как и ситуационные тесты. Всё большее применение в этой сфере находят личностные и биографические опросники [1, с. 535].

Весьма близкое по целям применение психологического тестирования имеет место в вооружённых силах при отборе и распределении военнослужащих.

Использование тестов в индивидуальном консультировании постепенно расширилось от узконаправленных советов относительно учебных и профессиональных планов до рассмотрения всех аспектов жизни человека. Усиливается использование тестов для улучшения самопонимания и личностного роста. Совершенно очевидно, что тесты применяют при решении широкого круга практических проблем. Однако не следует забывать и о том, что такие тесты – важное средство фундаментальных исследований. Психологические тесты служат стандартизированными инструментами исследования разнообразных проблем при исследовании систем управления.

1.3. Критерии качества тестов

 

К тестам предъявляются определённые требования. Основными из них являются валидность, надёжность, наличие тестовых норм, социальная адаптация тестовых методик.

Определяя одинаковые для всех психологических методов диагностики пригодности критерии, Г.Шанц, например, не выделяет особо тестирование, считая, что оно – по показателям качества – должно вписываться в сравнимый– пятиэлементный – ряд других инструментов отбора:

1.          надежность;

2.          валидность;

3.          объективность;

4.          экономичность;

5.          полезность [4, с.114].

Валидность (англ. valid - действительный, пригодный, имею­щий силу) - один из важнейших критериев качества теста, оз­начающий пригодность теста для измерения того, что он по за­мыслу должен измерять; или иначе: соответствие тестовой ме­тодики измеряемому концепту. Если, например, проводится те­стирование испытуемых на определение их интеллектуальных способностей, то вряд ли целесообразно с помощью одного и того же теста оценивать еще и типы их темперамента. Про­верка теста на валидность включает ряд процедур, главными из которых являются процедуры валидизации (валидации). Опре­деляется валидация посредством корреляции результатов тес­тирования с успешностью выполнения соответствующей дея­тельности. К примеру, если с группой испытуемых проведено тестирование на определение общих способностей, то процесс валидации можно представить как установление корреляцион­ных связей полученных данных тестирования с результатами обследования этих же испытуемых на предмет выявления общих способностей по другим проверенным и надежным методикам. Валидность считается достаточно высокой, если коэффициент корреляции будет более 0,6. При значении коэффициента корреляции 0,45-0,65 валидность считается вполне удовлетворительной [2, с. 54].

Надёжность - один из важных критериев его качества, отно­сящегося к точности психологических измерений. Чем выше надежность теста, тем относительно свободнее он от погреш­ностей измерений. Надежность теста рассматривается как ус­тойчивость (стабильность) результатов при повторном тестиро­вании на той же выборке испытуемых. Повторное тестирова­ние обычно проводится через две недели после первого тести­рования. Считается, что при коэффициенте корреляции более 0,75 уровень надежности теста вполне приемлем.

Каждый тест следует сопровождать сведениями о его надёжности. Сообщаемая мера надёжности характеризует тест только в случае его проведения в стандартных условиях и с людьми, имеющими сходство с теми, кто входил  в состав нормативной выработки. Следовательно, при описании теста нужно точно указывать и характеристики этой выборки, вместе с типом измеренной на ней надёжности.

Теоретически, разновидностей тестовой надёжности может быть очень много, однако практическое применение находят лишь несколько типов надёжности. Поскольку все типы надёжности касаются степени согласованности или соответствия между двумя независимо полученными множествами показателей, их все можно выразить в виде коэффициента корреляции, который способствует измерению надёжности теста.

Существуют приёмы проверки надёжности тестов. Они включают повторное тестирование, параллельное тестирование, приём раздельного коррелирования (внутренняя корреляция высказываний), использование дисперсионного анализа, факторный анализ [11, с. 82].

Выделяют следующие типы надёжности:

·           ретестовая надёжность (самый очевидный и понятный метод определения надёжности результатов теста – его повторное проведение;

·           надёжность взаимозаменяемых форм (один из способов избежать трудностей, с которыми приходится сталкиваться при определении ретестовой надёжности, - использование взаимозаменяемых форм теста);

·           надёжность эквивалентных половин теста (меру надёжности можно определить и на основании однократного применения единственной формы теста, пользуясь для этого различными процедурами расщепления теста на две равноценные половины) и др. [1, с. 114].

Надежность (достоверность) тестирования формально выводится из аксиом классической теории тестов. Исходным пунктом является предположение, что дисперсия наблюдаемых значений суммарно составлена из дисперсии истинных значений и дисперсии ошибок:

                                                                                     (2)

Путем ряда преобразований далее показывают, что достоверность теста изображается формулой:

                                                                                           (3)

Достоверность, соответственно, равна доли истинной дисперсии от общей дисперсии. Если общая дисперсия безошибочна, достоверность достигает максимального значения 1. При практическом нахождении достоверности появляется проблема невозможности эмпирически обнаружить оценки, которые встречаются в вышеприведенных равенствах. Для возможности определения величины ошибки и этим – величины истинной оценки как вспомогательная конструкция вводится понятие параллельного, или эквивалентного измерения. Два измерения называются параллельными, если их истинное значение и дисперсия значений ошибок одинаковы, отсюда также следует, что при параллельных измерениях ожидаемые оценки(среднее значение) и дисперсия наблюдаемых оценок одинаковы. С помощью этого предположения можно показать, что соотношение между двумя параллельными измерениями (rx, y) как раз соответствует  определению достоверности, а именно равно отношению истинной дисперсии к наблюдаемой:

                                                                                          (4)

Таким образом, достоверность инструмента теста можно определить в обход двух параллельных измерений.

Формулу 3 можно преобразовать:

                                                                                    (5)

Используя формулу (1) получаем:

                                                                               (6)

Или

                                                                                 (7)

Значение, выведенное из равенства достоверности, называется стандартной ошибкой текста. Она выявляет среднее отклонение ошибки от истинного значения [4, с.117].

Проблемы валидности и надежности тес­но взаимосвязаны. Однако валидность рассчитывается относи­тельно объекта исследования (применительно к испытуемым), надежность же - относительно предмета психодиагностическо­го исследования (психологических свойств или черт личности).

Надежность не обязательно предполагает валидность. Она является необходимым, но недостаточным условием валидно­сти. Справедливо следующее неравенство: валидность  надеж­ность. Это означает, что валидность теста не может превышать его надежность [2, с. 54].

Под объективностью понимается степень, в которой результаты тестирования не зависят от  проверяющего. Объективность налицо, если разные исследователи одного проверяемого пришли к идентичным результатам [4, с.114].

Норма теста определяется в результате тестирования большой выборки испытуемых определенного возраста и пола с после­дующим усреднением полученных oценок и дифференциацией по ряду релевантных показателей. Согласно Р.С Немову, нор­ма теста - это средний уровень развития большой совокупно­сти людей, похожих на данного испытуемого по ряду социально-демографических характеристик.

Понятие «норма теста» связано с понятием «репрезентативность». Репрезентативность (франц. representatif – показательный) – свойство выборочной совокупности представлять характеристики генеральной совокупности. Репрезентативность означает: с некоторой наперёд заданной или определённой статистической погрешностью можно считать, что представляемое в выборочной совокупности распределение изучаемых признаков соответствует их реальному распределению [2, с. 55].

Для установления нормы теста и стандартизации тестовой методики требуется предварительно определить обоснован­ность выборки и провести статистические расчеты по опреде­лению их репрезентативности. Операции по анализу и расчету тестовых норм (а следовательно, и проверке их на репрезента­тивность) проводятся с использованием математических мето­дов (в основном на компьютере). В случае негативных резуль­татов (отсутствия устойчивых тестовых норм) прибегают к обследованию более широкой выборки или отказываются от пла­на использования данного теста.

Всякие нормы со временем, как правило, изменяются в со­ответствии с изменяющимися условиями социально-культурной жизнедеятельности людей. Р.С Немов отмечает, что «нор­мы интеллектуального развития, установленные в первой чет­верти нашего века, не подходят для его последней четверти, так как за это время уровень развития мышления людей значи­тельно вырос». В соответствии с установленным среди психологов правилом один раз в пять лет нормы теста, особенно интеллектуального, должны пересматриваться.

Валидность, надежность, соответствие тестовым нормам (ре­презентативность) являются основными требованиями психо­метрии. Их объективный характер, возможность перепроверки результатов тестирования являются гарантией достоверной психологической информации.

Социальная адаптация тестовых методик – данное требование выдвинуто сравнительно недавно. И связано это с необходимостью адаптации тестовых методик, заимство­ванных из других стран, к новым региональным и социальным условиям. Р.С Немов по этому поводу пишет: "Если, например, созданный в Европе тест интеллекта впервые применяется в стране, где доминирующим в структуре интеллекта является не словесно-логическое, а образное или практическое мышление, то он обязательно должен быть социокультурно адаптирован. В противном случае, применяя его в первоначальном, неадаптированном варианте, мы, скорее всего, получим низкие результаты, которые не будут соответствовать уровню развития мышления у жителей данной страны».

Работа по переоценке тестовых методик по своему объему фа­ктически соответствует конструированию оригинальной методи­ки. « С этой точки зрения заимствование зарубежных общедиагностических тестов способностей, черт характера, интересов и т.п. вовсе не оказывается кратчайшим путем к психодиагностике. Этот путь кажется короче только тем, кто сознательно или по неведению пренебрегает принципами психометрики» [2, с. 56].

Таким образом, применение тестирования в исследовании систем управления является достаточно важным моментом.

Тестирование – исследование высказываний, позволяющих получить объективное отражение свойств и количественных параметров деятельности людей. Тест – система высказываний или оценок по комплексу вопросов, в которых закодирована какая-либо проблема.

 В управлении при помощи тестирования можно исследовать проблемы использования ресурсов (в частности, важнейшего из них – времени), уровень квалификации персонала, распределение функций управления, сочетание формального и неформального управления, стиль управления и пр. Тестирование составляет важную часть полной программы управления трудовыми ресурсами. Наиболее полно сущность тестов раскрывается в их классификации. Большую роль в исследовании при помощи тестирования играет конструкция теста. Тест включает набор высказываний и оценок по определённой проблеме или ситуации. При составлении теста необходимо учитывать его основные характеристики: валидность, надежность, соответствие тестовым нормам.

К побочным критериям качества тестов относятся:

 - нормируемость;

 - сравнимость;

 - целесообразность(полезность);

 - экономичность.

2. МЕТОДОЛОГИЯ И ОРГАНИЗАЦИЯ ТЕСТОВЫХ ИССЛЕДОВАНИЙ СИСТЕМ УПРАВЛЕНИЯ

 

2.1. Принципы организации и проведения тестирования

 

При исследовании систем управления важную роль играет организация и проведение тестирования.

Система управления – это совокупность двух взаимодействующих подсистем (управляющей и управляемой – объект управления), образующих новую систему – систему управления. Эффективность управления системой рассматривается как степень достижения цели функционирования [9, c.4].

Система управления предприятием должна отвечать современным рыночным условиям:

·           обладать высокой гибкостью производства, позволяющей быстро менять ассортимент изделий (услуг). Это обусловлено тем, что жизненный цикл продукции (услуг) стал короче, а разнообразие изделий и объём выпуска разовых партий – больше;

·           быть адекватной сложной технологии производства, требующей совершенно новых форм контроля, организации и разделения труда;

·           учитывать серьёзную конкуренцию на рынке товаров (услуг), в корне изменившую отношение к качеству продукции, потребовавшую организовать послепродажное обслуживание и дополнительные фирменные услуги;

·           учитывать требования к уровню качества обслуживания потребителей и времени выполнения договоров, которые стали слишком высокими для традиционных производственных систем и механизмов принятия управленческих решений;

·           учитывать изменение структуры издержек производства;

·           принимать во внимание необходимость учёта неопределённости внешней среды.

Для решения представленных проблем существует объективная необходимость в исследованиях, анализе существующего положения  [9, c.4].

При проведении тестирования следует использовать следующие методологические принципы:

1. Проблема – это противоречие, которое предстаёт нам иногда в качестве абсурда (неожиданно, непривычно, необъяснимо, нелогично, абстрактно). Методология работы с проблемой обеспечивает качественное планирование исследования, и его организацию.

2. Принцип оценки: любые события, явления, противоречия мы оцениваем по критериям важности, объективности, актуальности, связи с другими явлениями, сложности.

3. Принцип распознавания. Всегда возникает необходимость отождествления, сравнения, определения класса явления, принадлежности к определённой типологической группе. Это позволяет глубже понять новое явление, определить его свойства и характер, сделать оценку более существенной.

Методологические принципы исследования помогают найти эффективный вариант его проведения, целенаправленного осуществления. Принципы – это правила деятельности, которые её, с одной стороны, ограничивают, а с другой стороны – поддерживают, потому что они отражают концентрированный опыт успешного исследования [5, с. 18].

Организация проведения тестирования во многом зависит от верного подбора и соблюдения принципов тестирования (приложение Б). К основным принципам тестирования, которые находят своё применение в исследовании систем управления, относятся принципы действенности и достоверности.

Действенность теста – точность, с которой тест, интервью и т.п. оценивает то, для чего он был разработан, или выполняет предопределённую ему функцию. Действенность отвечает на вопрос: «Оценивает ли этот тест то, для оценки чего он был предназначен?». Действенность теста всегда определяется по тому, что он оценивает. При найме на работу термин «действенность» означает, что тест относится к выполнению данной работы, другими словами, что результаты теста должны дать представление о способности человека выполнять определённую работу. Если это не подтверждается, то дальнейшая проверка не имеет никакого смысла. Тестирование характеризуется двумя основными параметрами, показывающими его действенность: эффективностью критериев и действенностью содержания [3, c. 100].

Эффективность критериев – эффективность, основанная на том, что баллы теста (прогноз) связаны с уровнем исполнения (критерий). Эффективность критериев указывает на то, что тест («прогноз») находится в соответствии с требованиями, предъявляемыми к данному виду деятельности («критерий»). Демонстрация действенности критериев предполагает доказательство того, что те, кто успешно проходят испытания, хорошо работают, и наоборот. То есть тест действенен, если люди, набравшие большее количество очков при тестировании, наилучшим образом соответствуют данной деятельности. С точки зрения психики, прогноз – это оценка, которую вы стараетесь связать с критерием – выполнение реальной работы.

Действенность содержания – тест, содержание которого эффективно, содержит ряд задач и навыков, действительно необходимых для выполнения рассматриваемой работы.

Действенность содержания – набор задач и навыков, включённых в тест, необходимых для выполнения рассматриваемой работы.

Основная задача – определить содержание работы в виде поведенческих стереотипов, затем случайным образом осуществить набор этих задач и образцов поведения и включить их в тесты. Примером служит тест на скорость печатания при найме машинистки. Если этот тест – достоверный образец работы машинистки, то он, возможно, содержательно действенен.

Доказательство содержательной действенности теста на практике сложнее, чем в теории. Доказать, что задания, предлагаемые испытуемым при тестировании, на самом деле являются образцом задач, выполняемых в процессе реальной работы, и что условия тестирования адекватны реальным рабочим условиям, не всегда легко [5, c. 197].

Помимо действенности имеется другая важная характеристика теста – достоверность.

Достоверность – постоянство баллов, набранных одним и тем же человеком при повторном тестировании с теми же эквивалентными тестами.

Достоверность теста оценивает его устойчивость, т.е. постоянство результатов, полученных одним и тем же испытуемым при повторном прохождении подобного или похожего теста.

Существует несколько способов оценки стабильности или достоверности теста. Например, человеку делается один и тот же тест в два различных момента времени и результаты сравниваются. Это называется оценкой повторного тестирования, это означает, что во второй раз предоставляется эквивалентный тест. Это называется эквивалентной оценкой. Другой способ определения достоверности теста – определение его внутренней устойчивости [16, c. 197].

Выделяют также следующие принципы тестирования.

1. Принцип научной обоснованности предполагает высокий научный потенциал тестирующего, его профессиональную практическую подготовку на основе профессионально-этических стандартов в области тестирования. Соблюдение этого принципа способствует устранению ошибок диагноста и артефактов (искусственных, ложных фактов, полученных в результате неправильного применения тестовых методик).

2. Принцип обеспечения суверенных прав личности испытуемых означает исключение обманного пути в тестовом исследовании систем управления. Это принцип охраняет право индивида отказываться от участия в тестировании, защищает тайну его личности.

3. Принцип объективности выводов предусматривает беспристрастный подход к результатам тестирования со стороны пользователя. На него не должны оказывать влияние общее впечатление о личности обследуемого, симпатии и антипатии, субъективное состояние и настроение.

4. Принцип эффективности предлагаемых рекомендаций обеспечивает соблюдение соответствующих мер предосторожности, направленных против неправильного использования и неверной интерпретации полученной информации, передаваемой испытуемому.

5. Принцип конфиденциальности предполагает предоставление информации только тем, кому она предназначается.

6. Принцип профессиональной тайны обеспечивает неразглашение содержания тестовых методик и результатов их применения без персонального согласия того лица, которое было обследовано [2, с. 68].

В обще виде морально-этические нормы могут быть представлены в виде правил, которые должны соблюдать любые пользователи тестирования.

1. Тестирование должно проводиться при участии профессионального психолога – специалиста по психодиагностике или при последующем его участии в качестве консультанта.

2. Человека нельзя подвергать обследованию против его воли или обманным путём. Человек, если это не оговорено законом, имеет право знать результаты своего тестирования испытуемый должен быть информирован о целях тестирования и способах использования его результатов.

3. Тестирующий должен обеспечить конфиденциальность информации, полученной от испытуемого на основе «личного доверия».

2.2. Состав и выбор методов тестирования

 

В настоящее время  практика тестирования насчитывает множество методических приёмов и подходов использование которых позволяет решать множество проблем в сфере управления предприятием.

Более изощрённые в методологическом отношении исследования последних двух десятилетий оказали существенную поддержку применению тщательно сконструированных личностных тестов при принятии кадровых решений в разнообразных контекстах. Важный и ещё недостаточно исследованный вопрос касается определения наиболее релевантных измерений личности по отношению к конкретным специальностям или семействам специальностей. Например, в то время как одни виды работы могут требовать высокой степени общительности, другие требуют от работника прямо противоположного качества [1, с. 398].

Пытаясь добиться систематической классификации черт личности, некоторые специалисты обратились к факторному анализу. Этот метод идеально подходит для сокращения числа категорий, необходимых для объяснения поведенческих феноменов путём поиска устойчивых паттернов в их появлении. Существует множество способов применения факторного анализа в исследовании черт личности. Один из этих способов сосредоточен на использовании данных личностных вопросников, иллюстрируется серией исследований Гилфорда и его сотрудников. Вместо того чтобы коррелировать суммарные показатели по существующим опросникам, эти исследователи вычисляли интеркорреляции между отдельными пунктами из многих личностных опросников. В качестве промежуточного продукта данного исследования были разработаны три личностных опросника, объединённые со временем в один инструмент – Гилфорда-Циммермана обследования темперамента. Этот опросник даёт отдельные показатели для 10 черт, а каждый показатель основывается на 30 разных пунктах. Примеры   этих черт включают сдержанность, доминирование, эмоциональную устойчивость и дружелюбность.

Значительная часть текущих исследований сосредоточена на выяснении полезности «Пятифакторной модели» структуры личности – в её различных формах – для предсказания критериев выполнения работы.

«Пятифакторная модель» (Fife-Factor Model или сокращённо, FFM) символизирует необычайный уровень согласия среди исследователей личности, принадлежащих к самым разным школам факторно-аналитических исследований. Конкретный вид, в котором эта модель представлялась, послужил причиной серьёзной её критики. По существу, FFM – это попытка использовать иерархическую модель анализа с целью упростить ставшую необозримой коллекцию данных об эмоциональном поведении индивидуумов. Следовательно, она предоставляет информацию, с которой легче работать при оценивании конкретных людей и прогнозировании их поведения в отдельных ситуациях. Факторы этой модели являются описательными, а не объяснительными, и они не относятся к разряду тех, что лежат в основе отдельных заданий или специфических тестов, из которых они извлечены.

Хотя некоторые исследователи на протяжении последних лет сходились во мнении, что пять факторов – как раз то число, которое необходимо для объяснения большинства корреляций между огромным количеством дескрипторов личности, наиболее подходящее для конкретных целей число факторов было бы лучше охарактеризовать как 52.

Согласно данной модели выделяют пять главных областей исследования: нейротизм, экстраверсия, открытость опыту, уживчивость, сознательность [1, с. 399].

Популярность рассматриваемой модели в исследованиях отбора персонала не случайна. В конце концов, эти пять (2) факторов были извлечены в результате обработки обширных массивов данных описания личности и представляют собой модель для характеристики нормальных личностей, в отношении которой существует довольно высокая степень согласия среди специалистов. Каждая из областей, охватываемых данной моделью, широко применима ко всем видам повседневного поведения, включая выполнение профессиональных обязанностей. Например, измерение «Эмоциональная устойчивость» является существенным в работе, связанной с быстрым принятием решений в условиях психического напряжения, такой как охрана правопорядка, скорая медицинская помощь и т.д. С другой стороны, «Уживчивость» является совершенно необходимым качеством для любой работы, которая предполагает широкие контакты с людьми. Впрочем, неудивительно, что именно фактор «Сознательность» выявился вцелом ряде метааналитических исследований как наиболее универсальный и существенный личностный предиктор выполнения работы. Тем не менее, пока ещё далеко до полного согласия как по поводу определения конструкта «Сознательность», так и в отношении признания его первенства [1, c. 554].

На современном этапе развития практика тестирования обладает достаточно большим количеством разнообразных проективных методик. Главную отличительную особенность проективных методик нужно искать в относительно неструктурированной задаче для испытуемого, т.е. задаче, допускающей почти неограниченное разнообразие возможных ответов. Одна из самых популярных проективных методик связана с использованием чернильных пятен Роршаха, который был первым, кто применил чернильные пятна для диагностического исследования личности в целом. Ещё одной методикой подобного типа является комплексная система Экснера, который разработал комплексную систему, объединившую элементы, отобранные из пяти основных подходов к оценке результатов соответствующего теста. В этой комплексной системе Экснер предлагает стандартизированные процедуры проведения, подсчёта показателей и интерпретации, отобранные на основе эмпирических сравнений разнообразных способов. Главное значение здесь придаётся не содержанию, а структурным переменным. Согласно Экснеру, цель обработки ответов – получение   структурной   сводки, которая образует ядро его системы и служит основой для большинства интерпретационных постулатов.

Серьёзная попытка придать методике чернильных пятен психометрическую направленность была предпринята Уэйном Хольцманом [1, с. 454].

Хотя все обсуждавшиеся до сих пор проективные методики требуют вербальных ответов, среди методик этой группы есть и полностью вербальные, т.е. использующие слова и в качестве стимульного материала, и в ответах. Часть таких вербальных методик может применяться как в устной, так и в письменной форме, но все они пригодны для письменного предъявления при групповом тестировании.

Методикой, опередившей волну проективных тестов является тест словесных ассоциаций, эта методика впервые была описана Гальтоном. Процедура проведения теста состоит в предъявлении испытуемому серии не связанных между собой слов, на каждое из которых его просят отвечать первым пришедшим на ум словом. Первые психологи-экспериментаторы, так же как и первые тестологи, работавшие с умственными тестами, видели в таких ассоциативных тестах средство для изучения процессов мышления.

Другая вербальная проективная методика – завершение предложений – широко используется как в научных исследованиях, так и в клинической практике. Примером такой широко используемой формы является Бланк незаконченных предложений Роттера, состоящий из 40 основ предложений. Множество других тестов завершения предложений разработано для оценки различных изучаемых популяций и для применения в разнообразных областях научных исследований и психодиагностики. Некоторые интересные современные разработки в этой области включают инструменты, предназначенные для обнаружения симуляции при освидетельствовании на предмет нетрудоспособности, предсказания эффективности управления и оценивания таких конструкторов, как защитные механизмы; эти инструменты могут быть полезными и при оценке личности.

Методики действия являются достаточно широкой и аморфной категорией проективных методик, которая включает довольно много форм относительно свободного самовыражения. Отличительной особенностью всех этих методик является то, что они использовались и как терапевтические, и как диагностические процедуры. Считается, что благодаря предоставляемым ими возможностям выразить себя, человек не только обнаруживает свои эмоциональные затруднения, но и облегчает свои страдания. К наиболее часто используемым методам из этой категории относятся методики рисования и игровые методики.

Оценочной процедурой, особенно полезной при сборе мнений равных по положению людей, является методика выдвижения кандидатур. когда эта методика используется для индивидуальной оценки, количество выборов, полученных любым отдельным человеком, может распознать потенциальных лидеров (получивших много выборов), равно как и членов группы, оказавшихся в изоляции (редко или совсем не упоминавшихся) [1, с. 510].

Достаточно распространённой является методика вынужденного выбора, которая в своей сущности требует от респондентов сделать выбор между двумя описательными терминами или фразами, которые выглядят одинаково приемлемыми, но различабтся валидностью. Задания, построенные по типу вынужденного выбора, могут состоять из 3,4 или даже 5 пунктов. В таких случаях респонденты должны указать, какая из фраз является для них наиболее, а какая наименее характерной. В ещё одном варианте требуется выбрать между двумя контрастирующими ответами в рамках одной и той же черты, оцениваемыми по единой шкале. Преимущество данной методики заключается в том, что она обеспечивает получение нормативных, а не ипсативных показателей, и потому не накладывает искусственных ограничений на взаимосвязи между разными шкалами. В качестве примера можно назвать Индикатор типов Майерс-Бриггс.

 

2.3. Последовательность и характеристика этапов тестирования

 

Применение тестов в исследовании систем управления всегда связано с выполнением исследовательских или практических задач, с совместной деятельностью тестирующего и тестируемого. Важное значение при этом имеет соблюдение техники психологического тестирования. Процесс тестирования может быть разделён на три этапа: выбор тестовой методики, непосредственное тестирование, интерпретация результатов тестового исследования.

Выбор тестовой методики зависит от ряда взаимодействующих факторов, основными из которых являются области применения тестов, цели и задачи исследования. К областям применения тестовых методик относятся: система образования; профессиональная подготовка, профессиональный отбор (подбор), определение профессиональной пригодности определение профессиональной пригодности; психологическое консультирование; психологическая коррекция; психотерапевтическая работа; судебная практика [2, с. 57].

Выбор тестовой методики зависит также от целей и задач исследования, которые ставит перед собой тестурующий. Так, при индивидуальной работе с клиентами такими задачами могут быть:

- составление плана необходимой профилактической или консультационной работы с испытуемым;

- составление рекомендаций по изменению соответствующих психологических факторов, затрудняющих нормальную трудовую деятельность на предприятии, снижающих мотивацию к труду  и т.п.

Однако существует и ряд социально-психологических просветительских задач (передавать психологические знания, умения и навыки; проводить индивидуальное и групповое консультирование по вопросам взаимоотношений с другими людьми, проблемам самоуправления, самовоспитании и саморазвитии и др.).

На начальном этапе тестирования составляется раппорт. В контексте проведения тестирования термин «раппорт» относится к попыткам проводящего тест специалиста вызвать у испытуемых интерес к тесту, добиться от них сотрудничества и содействовать тому, чтобы их реакции соответствовали целям теста.

Практическая подготовка специалистов по тестированию, помимо овладения методиками проведения различных тестов, предусматривает и обучение приёмам установления рапорта. При установлении рапорта, так же как и при других процедурах тестирования, единообразие условий – существенный фактор получения сравнимых результатов [1, с. 31].

Следующим этапом является непосредственное тестирование. Существуют определённые строгие правила, которые следует соблюдать при проведении тестирования. Эти правила сводятся к следующему:

1. Прежде чем использовать выбранную тестовую методику по прямому назначению, специалист подробно знакомится с нею, убеждается, что тесты отвечают предъявляемым к ним требо­ваниям, после чего пробует тест на самом себе (в крайнем случае - на другом человеке). Профессионализм психолога пред­полагает умение ставить опыты на себе, в том числе опыты по применению к самому себе соответствующих тестовых методик.

2. Перед началом выполнения теста проводится тщательный инструктаж испытуемых, им разъясняются цели и задачи тес­тирования, порядок и правила выполнения тестовых заданий, основные положения сопровождающей тест инструкции.

3. Во время проведения тестирования психолог следит за работой испытуемых. Последние должны работать самостоятельно, независимо друг от друга, без посторонней помощи, способной изменить результаты тестирования. Отдельные уточняющие вопросы в процессе тестирования испытуемый задаёт, обращаясь непосредственно к психологу, проводящему тестирование [2, с. 60].

Завершающим этапом тестирования является интерпретация результатов исследования.

Каждая тестовая методика должна сопровождаться обоснованной и выверенной программой обработки и интерпретации результатов тестирования. Такая программа включает в себя и применение статистико-математической обработки первичных данных (к примеру, установление корреляционных связей ме­жду различными показателями психологических свойств лично­сти испытуемых, порядок и способы расчетов социометриче­ских индексов и т.п.).

Интерпретация результатов исследо­вания во многом зависит от продуктивного взаимодействия клиента с психологом-диагностом. На это справедливо указы­вает Г.С. Абрамова. Ее рассуждения на этот счет сводятся к сле­дующему.

Анализ и интерпретация данных исследования проводятся с целью точной оценки свойств, состояний или уровня психического развития, достигнутого индивидуумом или группой. Полученная в результате этого психологическая информация позволяет решать следующие задачи:

- выявлять состояния развитости соответствующего психологического свойства у индивидуума и определять динамику развития этого свойства в течение определённого времени;

- устанавливать реальные изменения в поведении индивида (группы) под влиянием учебно-воспитательных воздействий;

- разделять обследуемых на подгруппы для последующей дифференцированной работы с ними с учётом достигнутого результата их развития;

- определять профессиональную пригодность индивида или группы для выполнения своих служебных обязанностей;

- разрабатывать рекомендации для последующего проведения психокоррекционной работы;

- составлять прогнозные оценки развития качеств личности испытуемых;

- разрабатывать предложения и рекомендации для индивида по выбору его жизненного пути (режим работы и отдыха, проведение досуга, образ жизни, выбор профессии, брачного партнёра и т.п.), а также по проблемам самообразования, саморазвития, самоорганизации, самовоспитания [2, с. 62].

Таким образом, методология тестовых исследований систем управления имеет достаточно сложное содержание. Эффективное проведение тестирования во многом определяется соблюдением принципов тестирования (действенности и достоверности) и  верным выбором основных методов тестирования (метод факторного анализа, проективные методы и др.). Процесс проведения тестирования включает в себя три основных этапа: выбор тестовой методики непосредственное тестирование, интерпретация результатов исследования. Точное соблюдение техники тестирования позволяет решить ряд важных задач в области управления предприятием (подбор сотрудников с необходимыми личностно-профессиональными качествами, повышение мотивации работников и т.д.).

Важные рекомендации по проведению тестирования включают в себя:

1.          Тестирование эффективнее применять в комбинации с другими методами исследования систем управления.

2.          Необходимо оценить действенность теста в конкретной организации, недостаточно удостоверится в том, что этот тест оказался действенным в похожих организациях.

3.          Необходимо вести подробные записи результатов тестирования.

4.          Важно использовать услуги специалиста психолога.

5.          Очень важны условия тестирования.

6.          Необходимо периодически проверять тесты на действенность.

3. СОВЕРШЕНСТВОВАНИЕ УПРАВЛЕНИЯ ООО «ЭКСКВИЗИТ» НА ОСНОВЕ ТЕСТИРОВАНИЯ

3.1. Организационно-экономическая характеристика ООО «Эксквизит» выявление проблем и перспектив его развития

ООО «Эксквизит» занимается производством и продажей обуви по доступной широким массам населения цене, занимаясь к оптовой, так и розничной торговлей. Необходимым условием для успешной работы в рыночных условиях явилось освоение ООО «Эксквизит» современных маркетинговых технологий, проведение структурных и организационно-кадровых мероприятий для обеспечения гибкого реагирования достаточно крупного производства на конъюнктурные изменения на рынке обуви.

Предприятием накоплен исключительный опыт работы в рыночной экономике, сформирован трудно оцениваемый кадровый потенциал, освоены современные технологии управления, обеспечено практически полное отсутствие такого бича российских предприятий как коррупция, воровство, некомпетентность, безответственность при принятии управленческих решений.

Приводимые результаты в части субъективных условий обеспечения деятельности достигнуты комплексом жестких мер к руководителям, специалистам и персоналу. В настоящее время предприятие представляет собой достаточно крепкий автономно функционирующий хозяйственный механизм, имеющий определенный запас прочности, четкие производственные и инвестиционные программы, слаженный коллектив, способный решить стоящие перед ним задачи.

Перечисленные положительные результаты ООО «Эксквизит» достигнуты в условиях, когда подавляющее большинство производителей обуви практически простаивают или испытывают серьезнейшие финансовые затруднения.

Руководство предприятия уделяет внимание не только качеству выпускаемой продукции, но и культуре обслуживания клиентов, внешнему и моральному облику работников предприятия, их уровню образования и профессионализма. Высокие требования предъявляются в вопросе чистоты и порядка в целом на предприятии, его отдельных подразделениях, производственных и торговых помещениях.

  ООО «Эксквизит» приступило к разработке и ведению системы качества на основе международных стандартов «Управление качеством продукции» ИСО 9000, обеспечивающей контроль качества на всех этапах деятельности предприятия.

С этой целью на предприятие создана рабочая группа специалистов под руководством начальника отдела планирования и прогнозирования. Ежемесячно проводятся заседания комиссии, где обсуждаются и намечаются планы мероприятий по разработке и созданию систем качества. Информацию о политике и планах предприятия в области качества доводят до персонала на совещаниях по качеству, которые проводятся в цехах.

Ежемесячно главным инженером предприятия проводится «День качества», на котором оперативно решаются вопросы улучшения качества продукции и труда, где присутствуют и участвуют в обсуждении рядовые работники предприятия. Наряду с этим уделяется особое внимание обучению персонала предприятия методам работы с ориентиром на повышение качества товара и снижение ее цены, подготовке инженерных кадров, владеющих современными методами управления качеством.

Выделяются необходимые ресурсы для изучения прогрессивного опыта по управлению качеством, на приобретение необходимой литературы, различных прикладных программ. Для улучшения качества и скорости исполнения работы, на предприятии установлена мощная локальная компьютерная сеть, во всех подразделениях и отделах установлена оргтехника.

В целях обеспечения эффективности реализации политики и планов предприятия по улучшению качества продукции на комбинате проводится целенаправленная работа по совершенствованию структуры управления производством и сбытом продукции. В соответствии с утвержденными генеральным директором «Концептуальными основами и практическими рекомендациями по созданию службы маркетинга на ООО «Эксквизит»  создана маркетинговая служба, в обязанности которой входит сбыт продукции. Руководство акционерного общества активно участвует в работе с потребителями посредством личных контактов, на выставках, презентациях, что дает возможность изучения потребностей других организаций. Специалисты ООО «Эксквизит»  являются членами общества «Защиты прав потребителей», принимают активное участие в разработке требований безопасности продукции, в проведении экспертизы качества продукции и соблюдении правил торговли.

Особое значение среди видов деятельности  имеют маркетинг и производство ООО «Эксквизит» продукции в соответствии с установленными техническими условиями при оптимальных затратах. На ООО «Эксквизит»  в рамках разработанных «Концептуальных основ и практических рекомендаций по созданию службы маркетинга на ООО «Эксквизит»  ведется реорганизация сбытовой структуры и создание службы маркетинга. Разработан «План маркетинга», позволяющий определить рыночный спрос (количество, ассортимент), стоимость и сроки производства продукции, план дает четкое определение требований покупателей продукции на основе постоянного анализа контрактов.

Ежегодным бизнес-планом предприятия определяется порядок, последовательность, сроки и затраты на выполнение взаимосвязанных действий, намеченных на достижение желаемого конечного результата по следующим показателям:

·           объем производства в натуральном выражении;

·           реализация продукции;

·           экономические показатели;

·           качество продукции;

·           расширение рынков сбыта.

Планирование групп товаров осуществляется на основе анализа качественных характеристик конкурентов, объемов их выпуска, стоимости и т.д., основываясь на информации об их технических достижениях. В бизнес-плане поставлены цели по существенному сокращению брака.

В табл. 1 представлены основные экономические показатели производственной и сбытовой деятельности  ООО «Эксквизит»  за последние годы.

Таблица 1

Основные экономические показатели производственной и сбытовой деятельности за 2001-2005 гг.

Наименование показателей	Ед. изм.	Всего	2001 г.	2002 г	2003 г.	2004 г.	2005 г.
Готовая  продукция, всего	шт.	27680	4420	5840	5840	5840	5840
Средняя цена изделия	руб./шт.	714	700	710	720	720	720
Объём реализации, всего	тыс.руб.	19763,52	3094,00	4146,40	4204,80	4204,80	4204,80
Себестоимость	руб./шт	418	410	420	420	420	420
Рентабельность	%	58.5	58.6	59.2	58.3	58.3	58.3
Прибыль, всего	тыс. руб.	8193.28	1281.8	1693.6	1752	1752	1752

На ООО «Эксквизит» налажена обратная связь с покупателями продукции в виде тестов:

«Тест для розничных продавцов продукции, выпускаемой ООО  «Эксквизит»;

 «Тест для оптовиков продукции, выпускаемой ООО  «Эксквизит»;

 «Потребительский тест покупателей  продукции ООО  «Эксквизит».

Подобная информация помогает определить характер и объем проблем, связанных с продукцией, своевременно принимать управленческие решения.

Ценовая политика ООО «Эксквизит» направлена для достижения следующих целей:

-        стабилизации цен, прибыльности и рыночной позиции;

-        достижение наиболее высоких темпов роста продаж;

-        максимизации рентабельности всех активов предприятия.

Свою деятельность служба маркетинга и служба производства строит на основе постоянного изучения и развития рынка сбыта продукции, выпуска конкурентоспособных товаров в соответствии с целями предприятия. На ежедневных оперативных совещаниях перед рядовыми исполнителями ставятся задачи. Доводится информация о выполнении определенных критериев качества продукции за прошедшую смену.

Анализ и корректировка планов и целей предприятия происходит на основании проводимой на предприятии аналитической деятельности по результатам опроса конечных потребителей продукции, отчетов и наблюдений продавцов как фирменных, так и торгующих нашей продукцией магазинов, сбора информации через дилерскую сеть, оптовую и мелкооптовую торговлю, писем покупателей.

Ежегодно готовится приказ о ходе реализации бизнес-плана в текущем году, где подводят итоги достигнутых показателей проведенной работы, в том числе по выполнению организационно-технических мероприятий по качеству выпускаемой продукции и ставятся задачи на следующий календарный год.

В прошлом году значительно обновилась служба розничной и оптовой торговли, создан отдел маркетинга. Все это осуществляется благодаря созданному резерву кадров.

На ООО «Эксквизит» внедрена единая информационная сеть поступления, сбора и обработки информации. На базе физической сети FAST ETHERNET 100 Мбит/сек. функционируют сети NOVELL 4.11. и WINDOWS NT 4.0 . Обработка данных и документооборот строится на базе прикладного программного обеспечения MICROSOFT OFFICE - 97.

ООО «Эксквизит» является пользователем сетевого варианта информационно-поисковой системы «Консультант Плюс», «Деловые бумаги», пользователем сети ИНТЕРНЕТ.

Внедрение единой информационной сети поступления, сбора и обработки информация позволяющей производить обработку информации в системе (вход – процесс - выход) позволяет отделу планирования прогнозирования и финансового анализа проводить ежедневный оперативный анализ поступления ресурсов, их переработки, выхода готовой продукции. Своевременное информационное обеспечение руководителей 1 и 2 ранга, дает возможность оперативного принятия решений - важнейшего показателя качества работы ООО  «Эксквизит».

Использование информации сети ИНТЕРНЕТ позволяет анализировать уровень цен на все основное виды закупаемых сырья и материалов, а также приобретать техническую документацию о новейших разработках.

Ведущие наименования продукции, выпускаемой предприятием, имеют хорошую репутацию среди потребителей, что подтверждается результатами опросов и анкетирования.

ООО «Эксквизит» оценивают как предприятие, которое сумело сохранить и повысить качество своих товаров. Несмотря на активную экспансию аналогичных импортных товаров, спрос на продукцию предприятия не только не изменился, но и существенно возрос. Качество продукции ООО  «Эксквизит» подтверждается еще и постоянно расширяющейся географией продаж (табл. 2).

Регион	К общему объему,%
	2003 г.	2004 г.	2005 г.
Краснодарский край	39.0	40.0	40.0
Кабардино-Балкария	12.0	13.0	15.0
Ингушетия	3.0	4.0	3.0
Дагестан	16.0	17.0	15.0
Ростовская область	5.0	5.0	5.0
Карачаево-Черкесия	7.0	6.0	7.0
Ставропольский край	10.0	10.0	10.0
Туркмения	2.5	2.5	3.5
Чехословакия	5.5	2.5	3.5

Обновление ассортимента за эти годы составило более 80%. Многие модели, производимые на ООО  «Эксквизит» уникальны.

3.2. Разработка теста, организация и проведение тестирования

 

На предприятии ООО  «Эксквизит» трудится более 900 человек, для семей многих из которых заработная плата на  является единственным источником доходов.

Согласно данным, приведенным ниже (рис.1), численность работников на предприятии за последние 8 лет неуклонно растет, что в первую очередь объясняется постоянным ростом объемов производства и продаж выпускаемой продукции.

Рис. 1. Рост численности персонала

Эффективное использование потенциала работников включает:

-        планирование и совершенствование работы с персоналом;

-        поддержку и развитие способностей и квалификации работников.

Всего на предприятии работает 939 человек, в том числе служащих 120, занятых производством заявленной продукции 276 работников.

Основной задачей кадровой службы на предприятии является:

-       проведение активной кадровой политики,

-       обеспечение условий для инициативной и творческой деятельности работников с учетом их индивидуальных особенностей и профессиональных навыков,

-       разработка совместно с финансово-экономической службой материальных и социальных стимулов,тесное взаимодействие с профсоюзным комитетом в вопросах медицинского обслуживания, организацией общественного питания, развитие физкультуры и спорта, социальной защите отдельных категорий работающих.

ООО «Эксквизит» использует традиционные приемы экономической мотивации. В рассматриваемой организации применяется повременная система оплаты труда, причем используется ее повременно-премиальная разновидность.

Основная ставка заработной платы зависит от  положения работника в иерархической структуре компании. Таким образом, повышение заработной платы происходит в соответствии с продвижением работника вверх по служебной лестнице. Сумма премии, получаемой каждым работником, определяется, как некоторый процент от ее максимально возможного размера. Размер общей прибыли, полученной организацией, практически не оказывает влияния на размер премии, получаемой работником. Это объясняется тем, что если прибыль не была получена, но не из-за каких-либо недочетов в деятельности данного работника, то он не может быть лишен премии.

Наряду с премиями в организации существует также и система штрафов. Она выражается в лишении премии либо уменьшении ее   размеров   за разного   рода     нарушения   трудовой   дисциплины,   правил   техники безопасности, разглашение служебной тайны.

Кроме традиционных форм материального стимулирования сотрудников в фирме применяются и некоторые менее традиционные формы. Так, например, администрация фирмы с целью повысить сплоченность коллектива, а также заинтересовать   сотрудников    в   высоких  показателях  работы,  за  счет  прибыли приобретает   для   своих   сотрудников   билеты   на концерты известных эстрадных, оперных и других артистов.

Администрация фирмы не забывает и о важных как личных (рождение ребенка, день рождения сотрудника), так и общих праздниках (Новый год, 8 Марта, 23 февраля и др.). Сотрудники ценят не только материальную сторону этих мероприятий, но и внимание администрации к личности каждого, а также возможность в неформальной обстановке пообщаться с коллегами. Таким образом, руководство фирмы как бы сочетает вместе экономические стимулы с неэкономическими.

Наряду  с  вышеперечисленными  стимулами  используются  также  и чисто  неэкономические. В основном это личные благодарности  работникам, выносимые начальниками, создание администрацией благоприятных возможностей  для изучения таких необходимых   в   работе дисциплин, как маркетинг, психология, банковское дело.

Для изучения используемой в ООО «Эксквизит» мотивационной системы было проведено тестирование 5 рядовых работников, отобранных методом случайной выборки. Тестируемым оценить по девятибалльной шкале некоторые характеристики организации. Полученные результаты приведены в табл.1.

Рассчитан по  формуле (1)    общую   оценку   каждой    характеристики      с учетом ее отдельности и затем  по    формуле (2)  определяем  общую удовлетворенность работников

                              ,                                                          (8)

где    Е — общая оценка каждой характеристики с учетом ее важности; W — важность каждой характеристики;

— средний балл, полученный каждой характеристикой:

                                                                               , (9)

где S — общая удовлетворенность работников.

Таблица 3

Удовлетворенность работников характеристиками организации

Респонденты Характеристики		1		2		3		4		5		bср		W		E
1		2		3		4		5		6		7		8		9
Удовлетворенность стимулами, используемыми в организации		7		8		7		8		9		7,8		5		39
Удовлетворенность способом их использования		8		7		7		9		7		7.6		5		38
Отношение сотрудников к ним		7		9		8		9		8		8,2		9		73,8
Степень их взаимодействия друг с другом	7		5		4		6		7		5,8		4		23,2
Уровень сознательности работников	8		7		6		7		8		7,2		7		50,4
Удовлетворенность сотрудников работой	7		8		9		8		8		8		9		72
Информированность сотрудников о положении дел на предприятии, перспективах развития и т. п.	5		6		5		5		6		5,4		4		21,6
Взаимодействие работников в организации	6		4		3		8		7		5,6		7		39,2
Мера влияния каждого сотрудника на цели организации	5		6		4		8		8		6,2		8		49,6
Удовлетворенность сотрудником уровнем принятия решений	7		6		7		9		8		7,4		7		51,8
Удовлетворенность сотрудников методами контроля, используемыми в организации	6		6		5		7		7		6,2		7		43,4
Уровень децентрализации в организации	5		2		3		8		7		5		5		25
Уровень участия работников в процессе принятия решений	5		5		6		7		8		6,2		9		55,8
	5 – 5,9		2 - 4		3 - 4		5 – 6,9		6 - 7		__		__		__
	6 - 7		5 - 6		5 - 7		7 – 7,9		7 - 8		__		__		__
	8 - 9		7 - 9		8 - 9		8 - 9		8 - 9		__		__		__
Сумма	__		__		__		__		__		86,6		86		582,8

Где а — интервал низших оценок; а — интервал средних оценок; а -  интервал высших оценок; bср — средний балл, полученный каждой характеристикой; W — важность каждой характеристики; Е — общая оценка каждой характеристики с учетом ее важности.

В результате анализа табл. 2 можно сделать вывод о том, что наиболее удовлетворительно сотрудники относятся к стимулам, они удовлетворены работой, меньше же всего они удовлетворены уровнем децентрализации и степенью информированности работников.

Что же касается общей удовлетворенности работников, то она составляет приблизительно 6,77, что соответствует высокому уровню (от 0 до 3 — низкий, от 3 до 6 — средний, от 6 до 9 — высокий уровень).

3.3. Анализ результатов тестирования и разработка рекомендаций по совершенствованию управления

 

Далее полученные результаты необходимо проанализировать с учетом субъективных данных опрашиваемых: для каждого из них были выделены интервалы высших, средних и низших оценок выставленных им характеристик (табл. 3). Каждому интервалу присвоен определенный балл: низшему — 1, среднему — 2, высшему — 3. Просуммировав баллы, выставленные характеристикам, можно более точно определить уровень удовлетворенности каждой из них (табл. 4).

Таблица 4

Респонденты Характеристики	1	2	3	4	5	S
1	2	3	4	5	6	7
Удовлетворенность стимулами, используемыми в организации	2	3	2	3	3	13
Удовлетворенность способом их использования	3	3	2	3	2	13
Отношение сотрудников к ним	2	3	3	3	3	14
Степень их взаимодействия друг с другом	2	2	1	1	3	9
Уровень сознательности работников	3	3	2	2	3	13
Удовлетворенность сотрудников работой	2	3	3	3	3	14
Информированность сотрудников о положении дел на предприятии, перспективах развития и т. п.	1	2	2	1	1	8
Взаимодействие работников в организации	2	1	1	3	2	9
Мера влияния каждого сотрудника на цели организации	1	2	1	3	3	10
Удовлетворенность сотрудником уровнем принятия решений	2	2	2	3	3	12
Удовлетворенность сотрудников методами контроля, используемыми в организации	2	2	2	2	2	10
Уровень децентрализации в организации	1	1	1	3	2	8
Уровень участия работников в процессе принятия решений	1	2	2	2	3	10

Как показывают данные табл. 3, с учетом субъективного мнения самую высокую удовлетворенность работников ООО «Эксквизит» вызывают характеристики организации 1, 2, 3, 5, 6, а самую низкую — 4, 7, 8, 12.

Основываясь на проведенном исследовании, можно сказать, что для усиления и воздействия мотивационных факторов в мотивационной структуре организации необходимо произвести некоторые изменения.

Для улучшения морального климата в организации было бы желательно повысить информированность работников о положении дел на предприятии и перспективах развития, а также степень децентрализации. Все это позволяет сделать вывод, что основной проблемой является плохая организация коммуникации, в частности, путей, идущих сверху вниз, т. е. от руководства к рядовым сотрудникам, и коллективное взаимодействие.

Таким образом, необходимо ввести в организации практику проведения общих собраний, что, ввиду небольших размеров организации, не будет слишком сложно. На них будут подводиться итоги работы фирмы и намечаться перспективы дальнейшей деятельности. Проводить такие собрания стоит в конце недели, месяца.

Выплата премий носит в организации весьма субъективный характер, так как их размер устанавливается руководителем, который делает выводы об эффективности деятельности сотрудника за последний месяц, основываясь практически только на собственном мнении. Это обуславливает неизбежность ошибок при распределении премий и, следовательно, может породить недовольство сотрудников. Кроме того, добросовестный работник не должен лишаться премии из-за отсутствия прибыли, однако в случае, если организация не получит прибыль, выплатить премию скорее всего будет невозможно. Чтобы избежать этого, нужно создать резервный фонд, в который бы шли ежемесячные отчисления от прибыли.

ЗАКЛЮЧЕНИЕ

 

Исследование выступает как одна из основных функций управления, как подход к управлению, обеспечивающий качество управленческих решений, и как средство совершенствования управления (профессионализм, инновационность, мотивация и пр.).

На нынешнем этапе развития экономики для эффективной деятельности организации требуются ответственные и инициативные работники, высокоорганизованные и стремящиеся к трудовой самореализации личности. Обеспечить эти качества работника только с помощью традиционных форм стимулирования и строгого внешнего контроля, зарплаты и наказаний невозможно. Сотрудники, которые осознают смысл своей деятельности и стремятся к достижению целей организации, могут обеспечить получение, как собственных высоких результатов, так и общего успеха компании. Для формирования таких работников, изучения мотивационной системы ООО «Эксквизит» применяется тестирование.

Цель любого исследования заключается в поиске наиболее эффективных  вариантов построения системы управления и организации ее функционирования и развития. Следовательно, на каждом предприятии необходимо регулярно проводить исследования действующей системы управления, в том числе системы мотивации, для того чтобы своевременно выявлять ее существенные недостатки, ведущие к неудовлетворенности персонала, а имеющийся людской потенциал использовать для получения более высоких результатов производственной деятельности.

Для изучения используемой в ООО «Эксквизит» мотивационной системы было проведено тестирование 5 рядовых работников, отобранных методом случайной выборки. Тестируемым было предложено оценить по девятибалльной шкале некоторые характеристики организации.

Основываясь на проведенном исследовании, можно сказать, что для усиления и воздействия мотивационных факторов в мотивационной структуре организации необходимо произвести некоторые изменения:

 -  повысить информированность работников о положении дел на предприятии и перспективах развития, а также степень децентрализации.

 -  необходимо ввести в организации практику проведения общих собраний, что не будет слишком сложно. На них будут подводиться итоги работы фирмы и намечаться перспективы дальнейшей деятельности. Проводить такие собрания стоит в конце недели, месяца.

 -  добросовестный работник не должен лишаться премии из-за отсутствия прибыли, однако в случае, если организация не получит прибыль, выплатить премию скорее всего будет невозможно. Чтобы избежать этого, нужно создать резервный фонд, в который бы шли ежемесячные отчисления от прибыли.

Все это позволяет сделать вывод, что основной проблемой является плохая организация коммуникации, в частности, путей, идущих сверху вниз, т.е. от руководства к рядовым сотрудникам, и коллективное взаимодействие.

Выплата премий носит в организации весьма субъективный характер, так как их размер устанавливается руководителем, который делает выводы об эффективности деятельности сотрудника за последний месяц, основываясь практически только на собственном мнении. Это обуславливает неизбежность ошибок при распределении премий и, следовательно, может породить недовольство сотрудников.

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

 

1. Анастази, А. Н. Психологическое тестирование [Текст]: учебник / А.Н. Анастази, С.Л. Урбина. СПб.: Питер, 2003. 688 с.

2. Батаршев, А.В. Тестирование: основной инструментарий практического психолога [Текст]: учебное пособие / А.В. Батаршев. М.: Дело, 1999. 240 с.

3. Десслер, Г. Управление персоналом [Текст]: учебное пособие / Г. Десслер. М.: Бином, 1997. 432 с.

4. Дуракова, И.Б. Управление персоналом: отбор и найм. Исследование зарубежного опыта [Текст]: учебное пособие / И.Б. Дуракова. М.: Центр, 1998. 160 с.

5. Евченко, А.В. Методы исследования систем управления [Текст]: учебное пособие / А.В. Евченко, Э.Н. Кузьбожев. Курск.гос.техн. ун-т. Курск, 2001. 168 с.

6. Егоршин, А.П. Организация работы с персоналом [Текст] / А.П. Егоршин // Управление персоналом. 1998. №1. С. 8-11.

7. Елачинцева, Г.Н. Из истории тестов [Текст] / Г.Н. Еланчицева // Высшее образование в России. 2003. № 3. С. 131-132.

8. Жуковский, И.И. Стиль руководителя/ И.И. Жуковский  // Управление персоналом 2005. № 4. С. 67 - 77.

9. Игнатьева, А.В. Исследование систем управления [Текст]: учебное пособие / А.В. Игнатьева, М.М. Максимцов. М.: ЮНИТИ-ДАНА, 2002. 157 с.

10. Казанцев, А.К. Практический менеджмент: в деловых играх, хозяйственных ситуациях, задачах и тестах [Текст] / А.К. Казанцев, В.И. Подлесных. М.: ИНФРА-М, 1999. 367 с.

11. Коротков, Э.М. Исследование систем управления [Текст]: учебник / Э.М. Коротков. М.: ООО Издательско-консалтинговая компания «ДеКа», 2000. 288 с.

12. Мишурова, И.В. Управление мотивацией персонала [Текст]: учебно-практическое пособие / И.В. Мишурова, П.В. Кутелев. М.: ИКЦ «Март», 2003. 224 с.

13. Николаева, Е.И. Тестирование без мифов [Текст] / Е.И. Николаева // ЭКО: экономика и организация промышленности производства. 2002. № 8. С. 166-179.

14. Сурков, С.А. Использование социально-психологических тестов для управления развитием персонала [Текст] / С.А. Сурков // Управление персоналом. 2003. № 3. С. 60-62.

15. Управление организацией [Текст]: учебник / под ред. А.Г. Поршнева, З.П. Румянцевой. М.: ИНФРА-М, 1999. 669 с.

16. Управление персоналом организации [Текст]: учебник / под ред. А.Я. Кибанова. М.: ИНФРА-М, 2001. 638 с.

17. Харзеева, С.Э. Педагогический контроль в высшем профессиональном образовании: методические рекомендации к изучению темы по курсам «Психология и педагогика», «Технология профессионального ориентированного обучения» [Текст] / С.Э. Харзеева. Курск. гос. техн. ун-т, Курск, 2004.- 24 с.

ИСУ Экономика и управление Тестирование в ИСУ ВВЕДЕНИЕ Особым методом исследования систем управления, наиболее популярным в современных условиях и, пожалуй, достаточно эффективным является метод тестирования.  В управлении при по

 

• 14:21 05 Июля 2016
  Российско-китайский медуниверситет откроет магистерскую программу по TCM
• 01:21 05 Июля 2016
  На форуме МГУ Россия и Китай обсудят научно-образовательное сотрудничество
• 11:00 04 Июля 2016
  Реморенко: "ЕГЭ-туризм" в России сходит на нет
• 10:52 04 Июля 2016
  Летняя российско-австрийская школа откроется в Москве
• 15:31 01 Июля 2016
  В СПбГУ могут воссоздать географический факультет

Заказать уникальную работу