Здесь возможны самые разнообразные проблемы. Обычно, почти невозможно построить чистый эксперимент, однако, нужно продумать, какие наиболее сильные факторы всё же можно устранить. Например, если мы проводим проверку методики развития памяти в сравнении с людьми, которые не тренируют память. Кратко план эксперимента. Проверяем память людей. Далее делим их на 2-е группы: первую группу обучаем, вторую не обучаем. После этого заново проводим тест их всех на память. Какие здесь возможны искажающие факторы? И что можно было бы улучшить Те кто ходили на занятия могли, например, меньше употреблять спиртное (т.к. были заняты) -- для тех, кто не проходили обучение нужно также делать какие-то занятия (в идеале говорить, что тоже на развитие памяти, но давать заведомо неэффективные упражнения), здесь правда тоже нужно быть осторожным, чтобы люди не чувствовали, что их грузят какой-то бесполезной работой. Наверное, самым лучшим экспериментом было бы сравнение 2-х методик обучения. Тогда обе группы будут честно сходно заняты. Те кто ходили на занятия могли просто более ответственно отнестись к финальному тестированию -- нужно продумать мотивацию тех, кто не ходил (в идеале, если они тоже занимались, то у них должна быть схожая мотивация). Те кто ходили на занятия могли лучше освоиться в помещении, с оборудованием и людьми, которые проводят тесты -- если вторая группа не ходила на обучение, то в идеале проводить финальный тест в условиях одинаково незнакомы и для них и для первой группы (в каком-нибудь другом помещении, на других программах/компьютерах, другими людьми -- не теми, что проводили обучение).
Думаю, в целом идея понятна. И необходимость продумывать свой эксперимент теперь очевидна. Но общего решения здесь не существует, проблемы весьма индивидуальны, нужно думать в каждом конкретном случае.
