Thử và sai có kiểm soát là cách tìm giải pháp bằng thực nghiệm nhưng có thiết kế: mỗi lần thử gắn với một giả thuyết, các yếu tố được thay đổi theo kế hoạch, kết quả được đo và ghi chép để lần thử sau học được từ lần trước. Nó khác mò mẫm ở chỗ thất bại cũng sinh ra thông tin dùng được.
Trong lịch sử phát minh, thực nghiệm có hệ thống thường quan trọng hơn khoảnh khắc loé sáng. Phòng thí nghiệm của Edison thử rất nhiều vật liệu làm dây tóc đèn, anh em Wright tự dựng hầm gió để đo hàng trăm mẫu cánh. Từ thập niên 1920–1930, Ronald Fisher đặt nền toán học cho thiết kế thực nghiệm, biến thử và sai thành một khoa học tối ưu.
Bài này giải thích vì sao thay đổi từng yếu tố một là cách thử kém hiệu quả, cách thiết kế một thí nghiệm giai thừa đơn giản kèm ví dụ sấy chuối đi từng bước, và cách tổ chức thực nghiệm nhanh trong phát triển sản phẩm.
Thử và sai trong lịch sử phát minh: điều gì thật sự đã diễn ra
Phòng thí nghiệm Menlo Park của Thomas Edison, lập năm 1876, thường được coi là một trong những phòng nghiên cứu công nghiệp đầu tiên. Điều đáng học không phải huyền thoại về số lần thất bại, vốn được kể lại với những con số khác nhau, mà là cách tổ chức: một đội thợ và kỹ sư chuyên trách, kho vật liệu đa dạng, ghi chép thí nghiệm có hệ thống trong sổ tay. Cuộc tìm kiếm vật liệu dây tóc là quá trình sàng lọc có chủ đích, dẫn tới sợi than hoá, trong đó có tre than hoá được dùng một thời gian.
Anh em Wright là ví dụ thuyết phục hơn về thực nghiệm có kiểm soát. Sau khi nhận ra dữ liệu lực nâng có sẵn thời đó cho kết quả không khớp với tàu lượn của họ, năm 1901 họ dựng một hầm gió nhỏ và đo có hệ thống hàng trăm mẫu bề mặt cánh với hình dạng, độ cong, tỷ lệ khác nhau. Họ thay đổi thông số theo kế hoạch và so sánh trong cùng điều kiện, thay vì chế tạo cả chiếc máy bay rồi thử bay.
Bài học chung: chi phí mỗi lần thử quyết định chiến lược thử. Khi một lần thử rẻ và nhanh, có thể thử nhiều. Khi đắt và chậm, cần thiết kế để mỗi lần thử cho nhiều thông tin nhất. Thiết kế thực nghiệm hiện đại chính là câu trả lời cho trường hợp thứ hai.
Vì sao thay đổi từng yếu tố một là chiến lược kém
Đó là cách làm trực giác nhất. Giữ mọi thứ cố định, chỉnh nhiệt độ cho tới khi tốt nhất, rồi giữ nhiệt độ đó và chỉnh thời gian. Cách này dễ hiểu, dễ quản lý, và được dạy rộng rãi trong các bài thực hành ở trường.
Nó bỏ sót tương tác. Nếu nhiệt độ tối ưu phụ thuộc vào độ dày lát cắt, tức hai yếu tố tương tác, thì tối ưu từng yếu tố một có thể dừng ở một điểm không phải tốt nhất. Trong hoá học, sinh học, chế biến thực phẩm, tương tác là chuyện thường gặp.
Nó tốn lần thử hơn. Để ước lượng ảnh hưởng của mỗi yếu tố với cùng độ chính xác, thiết kế giai thừa dùng mỗi lần chạy cho nhiều phép so sánh, nên cần ít lần chạy hơn. Đây là luận điểm Fisher trình bày trong The Design of Experiments (1935), dựa trên công việc thí nghiệm đồng ruộng tại trạm Rothamsted ở Anh.
Nó dễ bị nhiễu bởi thời gian. Chạy các mức của một yếu tố liên tiếp nhau khiến ảnh hưởng của yếu tố lẫn với ảnh hưởng của thời điểm, như độ ẩm không khí thay đổi trong ngày. Ngẫu nhiên hoá thứ tự chạy, một nguyên tắc khác của Fisher, giúp tách hai thứ này.
Khi nào vẫn dùng được. Khi chỉ có một yếu tố quan trọng, khi biết chắc không có tương tác, hoặc khi mỗi lần thử quá rẻ và nhanh đến mức không cần tối ưu số lần. Ngoài các trường hợp đó, thiết kế giai thừa hầu như luôn đáng thêm chút công lên kế hoạch.
Ví dụ từng bước: thiết kế giai thừa 2³ cho chuối sấy
Giả sử một cơ sở chế biến nhỏ muốn cải thiện độ giòn của chuối sấy mà không làm sẫm màu. Họ nghi ba yếu tố: nhiệt độ sấy, độ dày lát cắt, và có chần qua nước ấm trước khi sấy hay không. Các mức và kết quả dưới đây là ví dụ giả định để minh hoạ phương pháp:
- Viết mục tiêu và thước đo: độ giòn chấm theo thang 1–10 bởi ba người nếm độc lập không biết mẫu thuộc nghiệm thức nào, và độ sẫm màu chấm theo thang so màu cố định. Định nghĩa thước đo trước khi chạy là điều kiện để kết quả có nghĩa.
- Chọn hai mức cho mỗi yếu tố: nhiệt độ thấp và cao trong khoảng an toàn của máy; lát mỏng và dày; có chần và không chần. Hai mức đủ để phát hiện ảnh hưởng chính và tương tác.
- Liệt kê đủ 8 tổ hợp: 2 × 2 × 2 = 8 nghiệm thức, từ (thấp, mỏng, không chần) tới (cao, dày, có chần).
- Lặp lại và ngẫu nhiên hoá: chạy mỗi nghiệm thức hai lần, tổng 16 mẻ, thứ tự chạy bốc thăm. Nếu chuối đến từ hai lô khác nhau, chia mỗi lô chạy đủ 8 nghiệm thức, gọi là chia khối, để ảnh hưởng của lô không lẫn vào kết quả.
- Tính ảnh hưởng chính: ảnh hưởng của nhiệt độ bằng điểm giòn trung bình của 8 mẻ nhiệt cao trừ trung bình 8 mẻ nhiệt thấp. Giả sử ra +1,8 điểm: nhiệt cao giòn hơn. Làm tương tự với độ dày, giả sử ra −2,1 điểm: lát dày kém giòn.
- Tính tương tác: so sánh ảnh hưởng của nhiệt độ ở lát mỏng với ở lát dày. Giả sử ở lát mỏng nhiệt cao chỉ tăng 0,6 điểm nhưng làm sẫm màu rõ, còn ở lát dày nhiệt cao tăng 3,0 điểm. Đó là tương tác: quyết định về nhiệt độ phụ thuộc độ dày.
- Ra quyết định và thử xác nhận: chọn tổ hợp tốt nhất, ví dụ lát mỏng, nhiệt vừa phải, có chần, rồi chạy vài mẻ xác nhận ở quy mô sản xuất trước khi đổi quy trình.
Với cùng 16 mẻ, cách thay đổi từng yếu tố một chỉ cho biết ảnh hưởng của mỗi yếu tố tại một điểm nền cố định và hoàn toàn không phát hiện được tương tác giữa nhiệt độ và độ dày. Đây là lợi thế thực tế của thiết kế giai thừa. Với nhiều yếu tố hơn, có các thiết kế giai thừa phân đoạn giảm số lần chạy, và phương pháp mặt đáp ứng của George Box và K. B. Wilson (1951) để tìm điểm tối ưu khi đã khoanh vùng.
Ba chế độ thực nghiệm trong phát triển sản phẩm
Không phải bài toán nào cũng cần thiết kế giai thừa. Chọn chế độ thực nghiệm theo chi phí mỗi lần thử và mức chắc chắn cần có.
| Chế độ | Khi dùng | Ví dụ | Rủi ro nếu dùng sai |
|---|---|---|---|
| Thử nhanh, sàng lọc | Giai đoạn đầu, nhiều phương án, mỗi lần thử rẻ | Làm mẫu bìa cứng, thử năm kiểu tay cầm | Tưởng kết quả sơ bộ là kết luận chắc chắn |
| Thiết kế thực nghiệm | Đã có phương án, cần tối ưu nhiều thông số, có tương tác | Tối ưu nhiệt độ, thời gian, nồng độ trong chế biến | Thiết kế quá phức tạp khi chưa rõ yếu tố nào quan trọng |
| Thử nghiệm đối chứng ngẫu nhiên, A/B | Đo tác động lên hành vi người dùng, có nhiều người dùng | So sánh hai cách trình bày trang đặt hàng | Mẫu nhỏ, dừng sớm khi thấy kết quả đẹp, đo sai chỉ số |
Một quy tắc thực dụng: sàng lọc nhanh để loại phần lớn phương án, dùng thiết kế thực nghiệm để tối ưu vài phương án còn lại, và dùng thử nghiệm đối chứng khi cần biết tác động thật lên người dùng hoặc khách hàng. Mỗi chế độ trả lời một câu hỏi khác nhau, không thay thế cho nhau.
Kỷ luật ghi chép: phần bị xem nhẹ nhất
Thực nghiệm không ghi chép thì mỗi lần thử chỉ dạy người làm, không dạy được tổ chức. Một sổ thí nghiệm tốt, giấy hay điện tử, nên có những mục sau cho mỗi lần thử:
- Giả thuyết trước khi thử: viết rõ kỳ vọng và lý do, để sau không hợp lý hoá kết quả theo kiểu "biết trước mà".
- Điều kiện đầy đủ: nguyên liệu, lô, thiết bị, người thực hiện, thời tiết nếu liên quan. Những thứ tưởng không quan trọng hay hoá ra là nguyên nhân.
- Số đo thô: ghi số đo gốc, không chỉ ghi kết luận "tốt hơn". Số đo thô cho phép phân tích lại khi có câu hỏi mới.
- Điều bất ngờ: mọi quan sát không khớp kỳ vọng, kể cả nhỏ. Nhiều phát hiện quan trọng bắt đầu từ một ghi chú bên lề.
- Quyết định tiếp theo: từ kết quả này, lần thử sau sẽ thay đổi gì và vì sao.
Với doanh nghiệp, sổ thí nghiệm còn là bằng chứng về quá trình sáng tạo, hữu ích khi cần chứng minh thời điểm tạo ra giải pháp. Giá trị pháp lý cụ thể tuỳ quy định hiện hành, nên tham vấn người có chuyên môn sở hữu trí tuệ.
Thất bại có giá trị và thất bại vô ích
Khẩu hiệu "thất bại nhanh" được dùng rộng rãi trong giới khởi nghiệp, nhưng không phải mọi thất bại đều có giá trị như nhau. Thất bại có giá trị là thất bại của một giả thuyết rõ ràng, trong một thí nghiệm được thiết kế để có thể bác bỏ giả thuyết đó, với chi phí nhỏ so với thông tin thu được. Thất bại vô ích là khi không biết mình đang kiểm tra điều gì, hoặc thay đổi quá nhiều thứ cùng lúc mà không có thiết kế nên không thể biết yếu tố nào gây ra kết quả.
Nghiên cứu về thực nghiệm trong doanh nghiệp, tiêu biểu là các công trình của Stefan Thomke ở Trường Kinh doanh Harvard, nhấn mạnh rằng năng lực thực nghiệm của tổ chức phụ thuộc nhiều vào hạ tầng làm cho mỗi lần thử rẻ và nhanh, và vào văn hoá chấp nhận kết quả trái với ý kiến của người có chức vụ cao.
Với cá nhân nhà sáng chế hay kỹ sư, có thể áp dụng một quy tắc đơn giản: trước mỗi lần thử, viết ra một câu "nếu kết quả là X thì mình sẽ làm Y, nếu là Z thì mình sẽ làm W". Nếu cả hai nhánh dẫn tới cùng một hành động, lần thử đó không đáng làm.
Câu hỏi thường gặp
Phương pháp Taguchi khác thiết kế thực nghiệm cổ điển thế nào?
Phương pháp của kỹ sư Nhật Genichi Taguchi dùng các bảng trực giao để giảm số lần chạy và đặc biệt nhấn mạnh thiết kế bền vững, tức sản phẩm ít nhạy với các yếu tố nhiễu khó kiểm soát. Giới thống kê đánh giá cao triết lý nhưng phê bình một số kỹ thuật phân tích của ông. Nhiều người kết hợp triết lý Taguchi với phân tích cổ điển.
Cần bao nhiêu lần lặp lại cho mỗi nghiệm thức?
Phụ thuộc mức biến động tự nhiên của kết quả và độ lớn ảnh hưởng muốn phát hiện. Có thể ước lượng bằng phân tích công suất thống kê nếu có số liệu sơ bộ về độ biến động. Trong thực hành công nghiệp, ít nhất hai lần lặp là tối thiểu để ước lượng sai số thực nghiệm.
Có phần mềm hỗ trợ thiết kế thực nghiệm không?
Có nhiều phần mềm thống kê thương mại và mã nguồn mở có mô-đun thiết kế thực nghiệm, tạo bảng nghiệm thức, ngẫu nhiên hoá và phân tích kết quả. Người mới nên tự làm bằng tay một thí nghiệm hai hoặc ba yếu tố trước để hiểu bản chất, sau đó mới dùng phần mềm cho thiết kế lớn.
Thử nghiệm A/B có phải là thiết kế thực nghiệm không?
Có, đó là dạng thực nghiệm đối chứng ngẫu nhiên đơn giản nhất với một yếu tố hai mức. Các nguyên tắc của Fisher về ngẫu nhiên hoá và lặp lại vẫn áp dụng. Lỗi thường gặp là dừng thử nghiệm ngay khi thấy kết quả có ý nghĩa thống kê, làm tăng xác suất kết luận sai.
Làm sao chọn khoảng giá trị cho các mức thử?
Chọn đủ xa để ảnh hưởng nếu có thể hiện rõ hơn biến động ngẫu nhiên, nhưng vẫn trong vùng an toàn và khả thi về sản xuất. Kiến thức chuyên ngành và vài lần thử sơ bộ là căn cứ chính. Nếu chọn hai mức quá gần nhau, thí nghiệm có thể không phát hiện được ảnh hưởng có thật.