Доказательство или опровержение – важно ли это?
Вы можете счесть, что моя исследовательская одержимость доказательством или опровержением – академичный способ загубить дело. В собственную защиту могу сказать, что ежегодно миллиарды долларов впустую тратятся на обучение методам продаж, причем без малейшего доказательства эффективности или неэффективности последних. Ни одна другая сфера бизнеса не проявляет подобную небрежность в вопросах тестирования своих продуктов или методов. Цивилизованное общество рухнет, если производственные разработчики будут так же безразлично относиться к эффективности продукта, как большинство организаций по разработке учебных программ. Сложность измерения эффективности того или иного подхода к продажам не является поводом не предпринимать подобных попыток, – скорее, наоборот, трудности делают измерение еще более необходимым. Оставив всякие попытки как можно точнее измерить эффективность обучения продажам, мы по-прежнему будем терять миллиарды долларов, которые можно было бы потратить на повышение продуктивности в какой-либо другой сфере. Меня не особенно волнует, будет это доказательство или опровержение, но я страстно поддерживаю все, что предоставит лучшее измерение и проверку, потому что без подобных тестов моя профессия – обыкновенная профанация. Если вы простите мне сию недолгую проповедь, то, надеюсь, поймете, что моя забота о тщательной и скрупулезной оценке – в ваших интересах.
Причина, по которой мы проводим все эти измерения и тесты, в том, что нам необходимо убедиться в работоспособности того материала, который мы вам преподаем. Раньше в армии говорили: «Если оно движется – застрели его, если стоит на месте – покрась». Команда Huthwaite перефразировала это высказывание: «Если оно движется, измерь его, если не можешь измерить – застрели». Измерение и тестирование стали для нас навязчивой идеей.
Стадии опровержения
Движимые энтузиазмом по отношению к точному измерению подхода СПИН, я и мои коллеги по команде Huthwaite потратили огромное количество времени на борьбу с проблемами доказательства и опровержения. Прежде чем измерять рост продуктивности, мы решили пройти два других теста, или возможности опровержения, как назвал бы их Поппер.
Тест 1. Эти навыки делают встречи эффективнее? Как мы могли узнать, что преподаем правильные навыки? Прежде чем начать отвечать на сложные вопросы по поводу измерения продуктивности, нужно было проверить, работают ли данные модели. Предположим, что мы обучаем команду по работе с крупными клиентами традиционной модели продаж недорогих товаров, которая предусматривает постановку открытых и закрытых вопросов, предоставление преимуществ и последующее использование техник закрытия для получения обязательства. Из доказательств, представленных ранее, маловероятно, что выбор этой модели повысит эффективность продаж крупным клиентам. Даже значительный рост продуктивности после тренинга может быть результатом воздействия других факторов. То есть, прежде чем мы начнем измерять увеличение продуктивности, нам следует протестировать навыки, которым мы обучаем людей.
Вообще говоря, мы знали, что модели СПИН прошли этот тест, так как они появились в результате исследований успешных продаж. То есть существовала высокая вероятность того, что освоение навыков СПИН позволит продавцам повысить эффективность работы. Однако если мы хотим провести настоящее оценочное исследование, то вынуждены пойти намного дальше. Придется ответить на конкретный вопрос об отдельных продавцах, чью эффективность мы собираемся измерять. Мы не могли положиться на исследования, проведенные нами в других компаниях, на других рынках или с другими группами. Что, если эта группа отличается от остальных? Не было гарантий, что СПИН сработает в этой группе только потому, что срабатывал в других местах. Окончательный оценочный тест мы должны были начать с исследования того, как выглядит успешная встреча для группы людей, которых мы собираемся учить. Мы не могли пойти на риск и позволить факторам, уникальным с точки зрения их географической, рыночной, продуктовой специфики организации продаж, лишить наши результаты законной силы. Если бы этот тест представил нам твердые доказательства того, что преподаваемые нами навыки работают в данной группе, это исключило бы еще один источник опровержения (рис. А. 6).
Тест 2. Как мы узнаем, что люди пользуются новыми навыками? Следующий шаг в наших поисках опровержения – выяснить, действительно ли после обучения люди используют в своей работе полученные навыки. Однажды я попался на этом тес те. Мы измеряли повышение продуктивности в группе продавцов одного из отделений компании General Electric. Спустя шесть месяцев после обучения СПИН продажи в среднем вырос ли на 18 %. Могли ли мы отнести это на свой счет? Увы, нет. Наблюдая, как эти люди продавали до и после обучения, мы установили, что частота использования типов поведения СПИН осталась практически на том же уровне, что и до обучения. Мы вновь отвергли предположение, что рост эффективности связан с применением нашей модели.
Рис. А. 6. Стадии доказательства или опровержения
Этот тест, измеряющий влияние обучения на поведение людей во время встречи, крайне редко проводится разработчиками учебных программ. Очень жаль. Лично мы, проанализировав количество изменений в поведении, имевших место после наших учебных программ, узнали много нового об эффективной разработке тренингов. Уверен, что прочие разработчики тоже оценили бы полезность такого рода измерений, в отличие от обычных тестов-улыбок «тренинг-оказался-хорошим-потому-что-люди-говорят-что-им-нравится». Обычно подобным тестом оценка тренинга и ограничивается.
Постепенно мы разрабатывали спецификацию для очень сложного метода, который намеревались использовать для оценки эффективности наших моделей СПИН. Метод предполагал следующие стадии оценки:
– Понаблюдать за работой группы продавцов, сотрудничающих с крупными клиентами, чтобы выяснить, пользуются ли они типами поведения СПИН в успешных встречах чаще, чем в неудачных. Если да, то первый тест мы прошли – теперь мы знаем, что для этой группы людей модель срабатывает.
– Научить группу пользоваться методами СПИН, которые мы пытаемся оценить.
– После обучения присутствовать на встрече вместе с каждым продавцом из группы, чтобы определить, чаще ли они стали пользоваться во время встречи изученными типами поведения. Если да, мы прошли второй тест – мы знаем, что люди активно используют новые навыки.
– С учетом пройденных тестов измерить рост продуктивности по сравнению с контрольными группами.
Метод представляется сложным, но другой альтернативы мы не видели. Более простые оценочные тесты не выдерживали тщательной проверки. Автор ряда книг и корпоративный эксперт по планированию Майкл Ками однажды сказал мне: «На любой сложный вопрос существует простой ответ, и этот ответ будет неверен». Нам пришлось согласиться с ним, ибо если мы хотели получить объективную оценку комплексной проблемы, то были вынуждены добиваться ее посредством сложных методов.
Тест с компанией Kodak: почти у цели
Мы показали наш план оценки нескольким клиентам в надежде заинтересовать их. Это мягко выражаясь, а грубо говоря – мы хотели уговорить их оплатить очень дорогой тест. Большинство клиентов, предвидя размер грозящих им затрат, предложили нам проводить оценочные тесты где-нибудь в другом месте. Некоторое время мы очень надеялись провести полный тест с Kodak – организацией, имевшей глубокие традиции тщательного тестирования новых методов. Компания Kodak предполагала использовать тренинги на основе СПИН в своих филиалах по всему миру, занимавшихся крупными продажами, поэтому оценочный тест был бы совершенно логичным первым шагом. Мы пришли к соглашению протестировать модель путем наблюдения группы продавцов отделения по работе в области здравоохранения. Естественно, модель СПИН работала именно так, как предсказывало наше исследование. Извлекающие и направляющие вопросы встречались более чем в два раза чаще в успешных встречах, чем в неудачных.
