Думай «почему?». Причина и следствие как ключ к мышлению - Джудиа Перл

class="p1">Гуанлей Хон, профессор кафедры развития человека в Чикагском университете, исследовала имеющиеся данные и нашла, что улучшения в экзаменационных баллах становятся незначимыми, если принимать во внимание этот осложнитель. На этом этапе Гуанлей Хон легко могла бы прийти к умозаключению о том, что «Алгебра для всех» успеха не имела, но она этого не сделала, потому что следовало принять во внимание еще один фактор — на этот раз не осложнитель, а опосредующую переменную.

Любой хороший учитель знает, что успехи школьников зависят не только от того, чему их учат, но и от того, как именно учат. Когда стали вводить программу «Алгебра для всех», изменилась не только программа девятого класса. Хуже успевающие школьники оказались в одних классах с хорошо успевающими, и им оказалось трудно нагонять. Это привело к целому ряду негативных последствий: разочарованиям, прогулам и, конечно, снижению оценок на экзаменах. Кроме этого, в классах, где вместе учились школьники разной успеваемости, отстающие ученики, получали меньше внимания со стороны учителя, чем в классах, усредненных по успеваемости. Наконец, преподаватели, вероятно, внутренне сопротивлялись предъявляемым к ним новым требованиям. Учителям, привыкшим вести курс «Алгебра I», вероятно, не доводилось учить плохо успевающих школьников, а учителя, которые много занимались с отстающими, скорее всего, не так хорошо умели преподавать алгебру. Все перечисленное и составляло непредвиденные побочные эффекты курса «Алгебра для всех». Анализ опосредования идеально подходит для оценки побочных эффектов.

В итоге Хон предположила, что среда обучения в классе изменилась и сильно повлияла на результаты данной интервенции. Другими словами, она постулировала, что ситуация соответствует каузальной диаграмме на рис. 61. Влияние среды (которое Хон измеряла как средний уровень знания предмета всех учеников в классе) действует как опосредующая переменная между интервенцией «Алгебра для всех» и итоговыми результатами учеников. Вопрос, как обычно в случае анализа опосредования, в том, какая часть воздействия образовательной программы прямая, а какая косвенная. Интересно, что два воздействия были противоположно направлены. Хон обнаружила, что прямое воздействие было положительно: новая образовательная программа прямо вела к увеличению итогового экзаменационного балла на 2,7 единиц. Это, по крайней мере, было изменением в правильном направлении, и оно оказалось статистически значимым (что свидетельствует, что подобное улучшение может произойти само по себе с низкой вероятностью). Тем не менее из-за изменения среды обучения в классе непрямое воздействие практически обнуляло это улучшение, уменьшая баллы за экзамен на 2,3 единицы. Хон пришла к заключению, что особенности реализации программы «Алгебра для всех» значительно подрывают ее эффективность. Если же сохранить программу обучения, но вернуться к дореформенному принципу составления классов, она должна привести к некоторому небольшому улучшению экзаменационных оценок (и, хотелось бы надеяться, знаний школьников).

Рис. 61. Каузальная диаграмма для эксперимента «Алгебра для всех»

По счастливому совпадению именно это и произошло. В 2003 году государственные школы Чикаго (теперь возглавляемые Дунканом) начали новую реформу, называвшуюся «Алгебра в двойном размере». По ее правилам всем школьникам все-таки приходилось учить алгебру, но у тех учеников, чьи отметки оказывались ниже, чем средние по стране, должен был быть не один урок алгебры в день, а два. Этот момент устранил нежелательный побочный эффект предыдущей реформы. Теперь по крайней мере раз в день плохо успевающие ученики оказывались в той среде обучения, которая была близка к дореформенной. Программа «Алгебра в двойном размере» была просто обречена на успех, и она продолжается по сей день.

Я полагаю, что история «Алгебры для всех» — это успех и в случае анализа опосредования, потому что он объяснил как не особо впечатляющие результаты исходной программы, так и улучшившиеся результаты после ее усовершенствования. Хотя причинно-следственная связь обнаружилась слишком поздно, чтобы влиять на подгонку образовательной программы в реальном времени, она ответила на наш вопрос «Почему?» после того, как появились факты: почему у исходной программы были такие незначительные результаты? почему следующая реформа сработала лучше? Таким образом, она может управлять реформой в будущем.

Я хочу обратить ваше внимание на еще один интересный момент в работе Хон. Она хорошо знала о подходе Барона и Кенни к прямым и непрямым воздействиям, который я назвал Линейной Страной Чудес. В своей статье она на самом деле выполнила анализ дважды: один раз с использованием разновидности Формулы Опосредования, второй раз с помощью «общепринятых процедур» (ее слова) по Барону и Кенни. Методом Барона — Кенни непрямое воздействие выявить не удалось. Причина этого, скорее всего, в том, о чем я писал раньше: линейные методы не чувствительны к взаимодействиям между экспериментальной и опосредующей переменной. Вероятно, сочетание более сложного материала и менее благоприятной среды обучения в классе вызвало рост разочарования и ухудшение успеваемости у учеников. Убедительно ли это? Я считаю, что да. Алгебра — сложный предмет. Возможно, именно из-за ее сложности двойное внимание учителей по программе «Алгебра в двойном размере» оказалось особенно ценным.

Ген курильщика: опосредование и взаимодействие

В главе 5 я рассказывал про научные и политические войны вокруг проблемы курения в 50-х и 60-х годах ХХ века. Скептики того времени, включая Р. Э. Фишера и Якоба Ерушалми, утверждали, что очевидная связь между курением и раком легких может быть статистическим артефактом, возникающим из-за осложняющей переменной. Ерушалми полагал, что у курильщиков особый тип личности, а Фишер предполагал существование гена, который предрасполагает людей одновременно к курению и к развитию рака легких.

По иронии судьбы в 2008 году исследователи генома человека обнаружили, что Фишер был в некотором роде прав: действительно, существует ген, функционирующий очень похожим образом. Это открытие состоялось благодаря новой технике анализа генома, называемой «поиск ассоциаций по всему геному» (Genome-Wide Association StUdY; GWAS). Эта техника — прототип современных исследований по методу больших данных, который позволяет исследователям прочесать весь геном статистически, высматривая варианты генов, которые чаще обнаруживаются у людей с определенными заболеваниями, например шизофренией, или диабетом, или раком легких.

В названии метода важно отметить слово «ассоциация». Этот метод не доказывает наличие причинно-следственной связи: он всего лишь находит гены, ассоциированные с данным заболеванием в данной выборке. Это метод, основанный на данных, а не на гипотезе, поэтому для выявления причинно-следственных связей им пользоваться неудобно.

Хотя предыдущие генетические исследования, базирующиеся на проверке гипотезы, не смогли обнаружить свидетельства связи курения или рака легких с определенными генами, все изменилось в одночасье в 2008 году. В этом году исследователи обнаружили ген в 15-й хромосоме, кодирующий рецепторы никотина в клетках легкого. У этого гена есть официальное название — rs16969968, но это сложно даже для экспертов в геномике. Поэтому его стали