Thí nghiệm có đối chứng là thí nghiệm so sánh hai (hay nhiều) nhóm giống nhau ở mọi mặt, chỉ khác ở đúng yếu tố đang muốn kiểm; nhóm không nhận yếu tố đó gọi là nhóm đối chứng. Logic của nó là loại trừ: nếu hai nhóm khác nhau về kết quả, và mọi nguyên nhân khác đã được làm cho như nhau, thì phần khác biệt chỉ còn quy được cho yếu tố đang kiểm. Đây là phương pháp khác biệt của John Stuart Mill được biến thành quy trình, với thêm hai công cụ quan trọng: phân nhóm ngẫu nhiên và làm mù.
Vì sao cần nhóm đối chứng: một ví dụ không có nó
Ví dụ minh hoạ tự đặt: chú Sáu ở miền Tây bón loại phân mới cho cả ruộng lúa vụ này, năng suất tăng từ 6,0 lên 6,5 tấn/ha. Có phải nhờ phân?
Chưa biết được. Vụ này có thể mưa thuận hơn, giống lúa mới hơn, ít sâu bệnh hơn. Không có ruộng nào "giống hệt mà không bón phân mới" để so, nên mọi nguyên nhân khác đều còn nguyên trên bàn. Đó là lỗi "trước – sau": thấy kết quả sau khi làm X rồi quy cho X.
Nhóm đối chứng trả lời câu hỏi mà "trước – sau" không trả lời được: nếu không làm X thì kết quả sẽ thế nào, trong đúng hoàn cảnh này?
Logic loại trừ, viết từng bước
- Kết quả ở nhóm thử khác nhóm đối chứng.
- Sự khác nhau phải có nguyên nhân: hoặc do yếu tố X, hoặc do một khác biệt khác giữa hai nhóm, hoặc do may rủi.
- Thiết kế thí nghiệm đã làm hai nhóm như nhau ở mọi yếu tố đã biết (cùng giống, cùng đất, cùng nước…).
- Phân nhóm ngẫu nhiên làm cho các yếu tố chưa biết cũng có khả năng rơi vào hai nhóm như nhau.
- Phép tính thống kê cho biết khác biệt cỡ này do may rủi thì hiếm hay thường.
- Loại hết các khả năng khác → còn lại X.
Bước 6 là một phép tam đoạn luận lựa chọn: "A hoặc B hoặc C; không B; không C; vậy A". Chất lượng của kết luận nằm hết ở chỗ đã thật sự loại được B và C hay chưa.
Ba công cụ của thí nghiệm hiện đại
| Công cụ | Chống lại cái gì | Ví dụ |
|---|---|---|
| Nhóm đối chứng | Thay đổi tự nhiên theo thời gian, hoàn cảnh chung | Ô ruộng không bón phân mới, cùng vụ, cùng cánh đồng |
| Phân nhóm ngẫu nhiên | Người làm thí nghiệm vô tình chọn nhóm lệch; yếu tố ẩn chưa biết | Rút thăm ô nào bón phân mới |
| Làm mù (một lớp, hai lớp) | Kỳ vọng của người tham gia và người đo | Người bệnh không biết mình uống thuốc thật hay giả dược; người đánh giá cũng không biết |
Thêm hai khái niệm hay gặp: đối chứng âm (nhóm chắc chắn không có tác động, để xem "nền" là bao nhiêu) và đối chứng dương (nhóm dùng cách đã biết là có tác dụng, để chắc rằng phép đo đủ nhạy để thấy tác dụng nếu có).
Ví dụ tính toán: vì sao phải rút thăm
Quay lại chú Sáu. Giờ chú chia cánh đồng thành 20 ô bằng nhau: 10 ô bón phân mới, 10 ô bón phân cũ. Nhưng có 4 ô sát kênh, đất màu mỡ hơn hẳn.
Nếu chú tự chọn: rất có thể chú (vô tình) dành ô tốt cho phân mới "để phân phát huy". Khi đó phân mới thắng mà không ai biết là nhờ phân hay nhờ đất.
Nếu rút thăm: chọn ngẫu nhiên 10 trong 20 ô để bón phân mới. Có C(20, 10) = 184 756 cách chọn như nhau. Số cách mà cả 4 ô sát kênh đều rơi vào nhóm phân mới: phải lấy đủ 4 ô đó rồi chọn thêm 6 ô trong 16 ô còn lại, C(16, 6) = 8 008 cách. Xác suất:
8 008 / 184 756 ≈ 0,0433, tức khoảng 4,3%.
Tính cả trường hợp cả 4 ô rơi hết vào nhóm phân cũ (cũng 4,3%), khả năng bốn ô tốt dồn hết về một phía chỉ khoảng 8,7%. Phần lớn các lần rút, ô tốt chia ra hai bên. Và quan trọng hơn: rút thăm không thiên vị ai — những yếu tố mà chú Sáu không hề biết (một ổ sâu, một chỗ trũng) cũng bị chia ngẫu nhiên như vậy. Đó là lý do phân nhóm ngẫu nhiên mạnh hơn mọi cố gắng "chọn cho cân" bằng tay. (Khi đã biết trước có 4 ô tốt, người thiết kế còn có thể chia khối: rút thăm riêng trong 4 ô tốt, 2 – 2, và riêng trong 16 ô còn lại.)
Ba thí nghiệm đáng nhớ
James Lind và bệnh scorbut (1747)
Năm 1747, bác sĩ hải quân người Scotland James Lind chọn 12 thuỷ thủ mắc bệnh scorbut trên tàu Salisbury, có triệu chứng tương tự nhau, cho ở cùng chỗ, ăn cùng khẩu phần cơ bản. Ông chia họ thành sáu cặp, mỗi cặp được thêm một thứ khác nhau: rượu táo, giấm, nước biển, cam và chanh… Cặp được ăn cam chanh hồi phục nhanh nhất rõ rệt. Lind công bố năm 1753. Thí nghiệm nhỏ, chưa ngẫu nhiên, chưa có nhóm "không thêm gì" — nhưng ý tưởng "giữ mọi thứ như nhau, chỉ đổi một" đã rõ.
Người phụ nữ nếm trà và Ronald Fisher (1935)
Trong The Design of Experiments (1935), nhà thống kê Ronald Fisher kể một thí nghiệm mẫu: một người phụ nữ nói phân biệt được tách trà rót sữa trước với tách rót trà trước. Kiểm thế nào cho công bằng? Fisher đề xuất: pha 8 tách, 4 tách mỗi kiểu, xếp thứ tự ngẫu nhiên; bà phải chỉ ra 4 tách rót sữa trước.
Có C(8, 4) = 70 cách chọn 4 tách trong 8. Đoán mò mà đúng cả 4 thì xác suất chỉ 1/70 ≈ 1,4%. Còn đúng 3 trong 4: có C(4, 3) × C(4, 1) = 4 × 4 = 16 cách, nên xác suất đúng ít nhất 3 tách do may là 17/70 ≈ 24% — quá dễ xảy ra để làm bằng chứng. Vì thế Fisher chỉ coi là có bằng chứng khi bà chọn đúng cả 4. Bài học: trước khi làm thí nghiệm, phải tính xem kết quả nào thì may rủi khó tạo ra.
John Snow và hai công ty nước ở London (1854)
Trong trận dịch tả năm 1854, John Snow nhận thấy cùng một khu phố ở nam London có hai công ty cấp nước: một công ty lấy nước sông Thames ở đoạn đã nhiễm nước thải, công ty kia đã dời điểm lấy nước lên thượng nguồn. Ống nước hai công ty chạy xen kẽ, nhà giàu nhà nghèo đều dùng cả hai, người dân thường không biết mình dùng nước của ai. Đây là một thí nghiệm tự nhiên: không ai sắp đặt, nhưng các nhóm được "phân" gần như ngẫu nhiên. Tỉ lệ tử vong vì tả ở nhà dùng nước hạ nguồn cao hơn nhiều lần, ủng hộ giả thuyết của Snow rằng bệnh tả lây qua nước.
Bảng kiểm: đọc một nghiên cứu có đối chứng
| Câu hỏi | Nếu câu trả lời là "không" |
|---|---|
| Có nhóm đối chứng không? | Chỉ là so sánh trước – sau, kết luận rất yếu |
| Phân nhóm có ngẫu nhiên không? | Hai nhóm có thể khác nhau từ đầu |
| Người tham gia, người đo có bị làm mù không? | Kỳ vọng có thể tạo ra hiệu quả giả |
| Số mẫu có đủ lớn không? | Khác biệt có thể chỉ do may rủi |
| Kết quả đo có được định trước không? | Có thể đã chọn chỉ số đẹp sau khi thấy dữ liệu |
| Có ai bỏ dở giữa chừng không, và đã tính thế nào? | Nhóm còn lại có thể đã lệch |
Lưu ý: thiếu đối chứng không có nghĩa là kết luận sai — chỉ có nghĩa là chưa đủ bằng chứng. Và có những câu hỏi không thể làm thí nghiệm (vì đạo đức hay thực tế), khi đó các nhà nghiên cứu dùng nghiên cứu quan sát và thí nghiệm tự nhiên, với những cách xử lý riêng cho yếu tố gây nhiễu. Chuyện số liệu gộp lại đảo chiều kết luận (nghịch lý Simpson) được bàn ở site khác trong hệ.
Bài tập
- Một trường thử phương pháp ôn thi mới cho lớp chuyên, kết quả thi tốt hơn lớp thường. Lỗi thiết kế là gì? — Đáp án: hai nhóm khác nhau từ đầu (lớp chuyên vốn học tốt hơn), không phân nhóm ngẫu nhiên.
- Vì sao người đánh giá cũng phải bị làm mù? — Đáp án: vì người đo biết ai nhận thuốc thật có thể (vô tình) chấm lệch, ví dụ ghi nhận "đỡ hơn" dễ dàng hơn ở nhóm thuốc.
- Trong thí nghiệm nếm trà, nếu dùng 6 tách (3 mỗi kiểu), đoán mò đúng hết có xác suất bao nhiêu? — Đáp án: C(6, 3) = 20 cách, xác suất 1/20 = 5%.
- Thí nghiệm của Lind thiếu gì so với chuẩn hiện đại? — Đáp án: chưa phân nhóm ngẫu nhiên, chưa làm mù, số người rất ít, chưa có nhóm chỉ ăn khẩu phần cơ bản không thêm gì.
Dùng vào đâu
- Nghiên cứu khoa học của học sinh, sinh viên: luôn có nhóm đối chứng, rút thăm khi chia nhóm, ghi trước chỉ số sẽ đo.
- Làm vườn, chăn nuôi, kinh doanh: thử cách mới trên một phần, giữ phần còn lại làm đối chứng — kể cả khi chỉ làm ở quy mô nhà mình.
- Đọc tin sức khoẻ, quảng cáo: "người dùng thấy cải thiện" mà không có nhóm đối chứng thì chưa nói lên gì.
- Học tiếp: The Design of Experiments của Fisher (chương đầu về nếm trà); bài về năm phương pháp của Mill và bài phương pháp giả thuyết – suy diễn trong danh mục này.
Câu hỏi thường gặp
Thí nghiệm có đối chứng là gì?
Là thí nghiệm so sánh nhóm nhận yếu tố cần kiểm với nhóm đối chứng không nhận, hai nhóm giống nhau ở mọi mặt khác. Nếu kết quả khác nhau, phần khác biệt được quy cho yếu tố đang kiểm. Đây là cách hiện thực hoá phương pháp khác biệt của Mill.
Vì sao phải phân nhóm ngẫu nhiên?
Vì người làm thí nghiệm có thể vô tình chọn nhóm lệch, và có những yếu tố chưa ai biết có thể ảnh hưởng tới kết quả. Rút thăm làm cho cả yếu tố đã biết lẫn chưa biết có khả năng chia đều giữa hai nhóm. Ronald Fisher là người đặt phân nhóm ngẫu nhiên làm nền của thiết kế thí nghiệm.
Thí nghiệm mù đôi là gì?
Là thí nghiệm trong đó cả người tham gia lẫn người đo kết quả đều không biết ai thuộc nhóm thử, ai thuộc nhóm đối chứng. Cách này ngăn kỳ vọng của hai phía tạo ra hiệu quả giả. Thử thuốc thường dùng giả dược để giữ bí mật này.
Thí nghiệm của James Lind năm 1747 là gì?
Lind chia 12 thuỷ thủ mắc bệnh scorbut thành sáu cặp, cùng chế độ ăn cơ bản, mỗi cặp được thêm một thứ khác nhau. Cặp được ăn cam và chanh hồi phục nhanh nhất. Đây thường được nhắc như một trong những thí nghiệm có đối chứng sớm của y học.
Thí nghiệm tự nhiên khác thí nghiệm có đối chứng thế nào?
Trong thí nghiệm tự nhiên, không ai sắp đặt nhóm, nhưng hoàn cảnh tình cờ chia người ta thành các nhóm gần như ngẫu nhiên. John Snow năm 1854 so các nhà dùng nước của hai công ty ở London là ví dụ kinh điển. Nó hữu ích khi không thể hoặc không được phép làm thí nghiệm thật.
