Training Seems Like an Obvious Good Thing—But Is It?

Training appears to be an obvious benefit: we give people access to knowledge, mentors, and development programs, and they become more productive. Unfortunately, this is far from always the case.

Scroll for a Russian translation below / Русская версия ниже

Today, I’ll tell you the story of the famous Cambridge-Somerville Youth Study, the world’s first randomized experiment in the history of preventive criminology. The project, conceived by Harvard professor Richard Cabot, began in 1939. Its goal was to test whether mentorship and education could reduce juvenile delinquency.

The experiment involved 506 “troubled” boys from Cambridge and Somerville (Massachusetts, where Harvard is located), who were randomly assigned to two groups: a control group and an experimental group. Boys in the experimental group received mentorship, academic support, and access to YMCA programs, scouting, and summer camps. The control group, on the other hand, received no special care, though they were required to report regularly. The program lasted five and a half years and ended in 1945.

At first glance, the program’s results looked… I-de-al. Participants said the program changed their lives, gave them new opportunities, and helped them develop important skills. But when researchers analyzed their actual outcomes—which was done at least three times, in 1948, 1956, and 1975—they found that participants:

• Had more arrests than the control group

• Had more problems with alcohol and mental health

• Had shorter lifespans

• Saw no significant career advantages compared to those who didn’t participate

The program not only failed to help but actually made things worse! Why? There are a couple of hypotheses. The first: labeling people as “troubled” isn’t exactly helpful. And the second, which seems even more plausible to me: grouping troubled people together is a bad idea. Troubled people reinforce each other’s problems through social dynamics.

How Common Is This? Very.

Today, as experiments like these are more frequent, we know of many similar ineffective programs: DARE, Scared Straight, countless workplace and school mental health initiatives, and of course, the hit of recent years—corporate diversity and inclusion programs, most of which not only fail to improve psychological safety in teams but actually make things worse.

But… why do participants themselves feel like these programs help? Here are a few reasons why participant feedback can’t be trusted:

1. Short-term inspiration ≠ long-term change.

People can’t objectively assess the impact of training. They think a workshop is useful if it inspires them. They leave feeling, “I’ve improved”—but they don’t develop new habits, and within a few months, their behavior remains unchanged.

2. The brain can’t compare counterfactual alternatives.

Participants can’t compare their lives to an alternate reality—one where they didn’t take part in the program. They assume they would have been worse off without it, that they “understood everything,” that they will definitely act differently now. But in reality, this often doesn’t happen, and they have no way to check.

3. People don’t like admitting they wasted their time.

The sunk cost fallacy makes us defend our experiences, even if they were useless.

So, How Can Training Actually Lead to Change?

1. Don’t use what we already know doesn’t work! Use scientifically supported methods, avoid pseudoscience. Anything that sounds too simple (“There are 4 types of people!”) is probably pseudoscience.

2. A personal frustration of mine: There’s no point in sending people to a presentation skills workshop if they only give presentations once a quarter. They won’t have enough practice to reinforce what they learned, and in six months, they’ll forget everything. Create environments at work where skills can be practiced, where it’s safe to make mistakes.

3. Evaluate results based on real behavior, not just satisfaction. Check what has actually changed for participants after 3–6 months. No way to measure behavior? See point 2—this person doesn’t need training.

Don’t get me wrong: it’s important that participants enjoy the experience. If the trainer isn’t inspiring, it’s no good. I’ve had training sessions myself where I felt “meh” even though I was presenting evidence-based material. But we must not confuse “enjoyed it” with “it works.” Those are two very different things.

***

Обучение кажется очевидным благом, но так ли это?

Обучение кажется очевидным благом: мы даём людям доступ к знаниям, наставникам, программам развития, и они становятся продуктивнее. К сожалению, это происходит далеко не всегда. В образовании есть много примеров того, как после измерения результатов они оказывались нулевыми — а то и вовсе отрицательными. Расскажу вам сегодня историю про знаменитое исследование Cambridge-Somerville Youth Study, первый в мире рандомизированный эксперимент в истории превентивной криминологии. Проект, задуманный профессором Гарварда Ричардом Кэботом, стартовал в 1939 году. Цель его была проверить, может ли наставничество и образование снизить уровень подростковой преступности.

В эксперименте участвовали 506 «проблемных» мальчиков в возрасте из Кембриджа и Сомервилля (штат Массачусетс, это где Гарвард), которых случайным образом распределили в две группы: контрольную и экспериментальную. Мальчики из экспериментальной группы получали поддержку в виде наставничества, академической помощи, а также доступа к программам YMCA, скаутским и летним лагерям. Контрольная группа, напротив, оставалась без специальной заботы, хотя им предлагалось регулярно отчитываться. Программа продолжалась пять с половиной лет и завершилась в 1945 году.

На первый взгляд, результаты программы выглядели… И-де-аль-но. Участники говорили, что программа изменила их жизнь, дала им новые возможности и помогла развить важные навыки. Но когда исследователи проанализировали их реальные результаты — а это делалось не меньше трех раз, в 1948, 1956 и 1975 году, выяснилось, что у них:

• Было больше арестов, чем у контрольной группы

• Было больше проблем с алкоголем и психическим здоровьем

• Продолжительность жизни оказалась ниже

• Не было значительных карьерных успехов по сравнению с теми, кто не участвовал в программе

Программа не только не помогла, но даже ухудшила результаты людей! Почему? Есть пара гипотез. Первая: помечать людей как «проблемных» не очень помогает и вторая, которая кажется мне даже более рабочей: объединять проблемных людей в группы — плохая идея. Проблемные люди взаимно усиливают проблемность друг друга за счет социальной динамики.

Насколько такое часто встречается? Постоянно! Сегодня, когда такие эксперименты не редкость, мы знаем значительное число подобных неэффективных программ: DARE, Scared Straight, огромное количество попыток повлиять на ментальное здоровье людей на работе и в школах, и конечно, хит последних лет, корпоративные программы по разнообразию и инклюзивности, большинство из которых не только не улучшают психологическую атмосферу в командах, но даже портят их.

Но… Почему же самим участникам кажется, что программы помогают? Вот несколько причин, почему отзывам участников нельзя доверять:

1. Краткосрочное вдохновение ≠ долгосрочные изменения.

Люди не могут объективно оценить эффект обучения. Им кажется, что тренинг полезен, если он вдохновляет. Они выходят с чувством «я стал лучше» — но они не вырабатывают новые привычки, и через несколько месяцев их поведение не меняется.

2. Мозг не умеет сравнивать контрфактические альтернативы.

Участники не могли сравнить свою жизнь с альтернативной реальностью — где они НЕ участвовали в программе. Они думали, что без неё им было бы хуже, что они «все поняли», что теперь они точно будут действовать по-другому. Однако фактически этого может не происходить, и у них нет способа проверить.

3. Люди не любят признавать, что потратили время впустую.

Когнитивное искажение «ошибка невозвратных затрат» заставляет нас защищать полученный опыт, даже если пользы от него не было.

Что делать, чтобы обучение реально приводило к изменениям?

1. Не используйте то, про что мы уже знаем, что это не работает! Используйте научно поддержанные методы, избегайте псевдонауку. Все, что звучит слишком просто («Есть 4 типа людей!»), скорее всего, псевдонаука.

2. Моя личная боль: нет смысла отправлять на тренинг по презентациям людей, которые делают презентации раз в квартал. У них не будет достаточно практики, чтобы отработать полученные на тренинге навыки, а через полгода они все забудут. Создавайте на рабочих местах среду, в которой отработка навыков возможна, где можно безопасно делать ошибки.

3. Оценивайте результаты не только по удовлетворённости, но и по реальному поведению. Проверяйте, что изменилось у людей на горизонте 3-6 месяцев. Нет возможности оценить поведение? См пункт 2, этому человеку тренинг не нужен.

Не поймите меня неправильно: очень важно, чтобы участникам нравилось. Если тренер не вдохновляет — ну его. У меня у самого были тренинги, после которых я говорил «ну меня», хотя я произносил на них вполне обоснованные наукой тезисы. Однако, не нужно путать «понравилось» и «работает». Это отчетливо разные вещи.

***

В ближайшую субботу у меня будет семинар под названием «Наука и псевдонаука в корпоративном образовании». Мы будем разбирать, что действительно меняет людей, а что создаёт лишь иллюзию прогресса и как отличить одно от другого. Это семинар о том, как не делать лишнего. Вот ссылка: https://www.kapterev.com/ru/scienceandpseudoscience.html