實驗成敗常源自不起眼的細節

推進研究需要做實驗,而我們須從實驗中的實驗組與對照組做觀察,才能從兩者的差異中,評估變因造成的影響,從而推論相關或因果關係

我們在4.1 大原則與控制組中有提到設計控制組的大原則與方向,但控制組的設計是一門高深的學問,很多細微的小地方會影響到最後結果的解釋與支持的強度。

本文的主題就來談談看起來相似的對照組設計,實際上可能在解釋上產升巨大差異的原因。

看似不同的對照組選用,可能實際意義相差很大

原因在於選用對照組時,我們可以用許多方法來達到類似的狀況(不會一樣的,只能說很近似),而這些看似 “殊途同歸” 的方法,其實都隱含著微小的差異,就是這些差異最終左右你的數據強度,甚至影響實驗是否要重做的關鍵。

用個生活化的例子來說明 “殊途同歸” 所帶來的差異

假設今年我想送給你一本筆記本,我可能會有以下幾種方式:

  1. 我直接出錢買筆記本給你
  2. 讓你出錢自己買筆記本,我再給你錢
  3. 我出錢買了筆記本放在你桌上,在你看到錢我把他拿去翻幾頁,再放回妳桌上

雖然這幾個做法最後都是「你得到我贈送的筆記本」,殊途同歸,但還是有細微的差異

1,2的差異比較容易理解,包括拿到書的時間、誰先付錢等都不同,就不多解釋

那1、3只有最後翻翻那幾頁不同而已,確實有差,但是否真的會造成影響?

當然會有

我可能在翻閱時將咖啡灑在書上,也可能翻閱時被你看到,還得算上翻閱時必然留下的微小痕跡

這些都可能影響到最後的結果「你得到我贈送的筆記本」,平常若是疏忽,差異積少成多結果就會歪掉

在實務上,經常是這差距微小的 “翻翻幾頁” 造成我們得重做實驗,或碰到莫名其妙的bug

關於R0-R1以及差異的深入討論可以參考以下文章:

實驗設計實例


舉個例子,我買了一罐新的限制酶,想要將DNA切成某個固定的大小 (假設是1000 + 500),我有以下幾個做法:

  1. 找到已經切好的該DNA片段 (1000+500的),跑電泳
  2. 那一罐舊的該限制酶,切完後與新的反應一起跑電泳
  3. 拿類似條件的其他限制酶,能夠切成同樣是1000+500的,一起跑電泳

以上都能在電泳圖上產生1000+500的圖,但是他們代表的意義是否一樣?

1.找到已經切好的該DNA片段 (1000+500的),跑電泳

這個對照組能證明 DNA片段大小正確 (大小正常的正對照組)

但只能證明 “最後結果正確”,酵素反應過程出問題就得重新debug,請看2有更詳細的解釋

此外,原始DNA有沒有壞掉 (比方降解) 也會影響到正對照的效果

2.那一罐舊的該限制酶,切完後與新的反應一起跑電泳

這個對照組能證明 DNA片段大小正確 (反應正常的正對照組)、酵素反應無問題

這是三者中最接近的選擇,除大小外可以一同檢視酵素反應的參數如反應速率、溫度等

當新反應不如預期時,可以用舊反應的結果來嘗試解決。比方新反應的條帶亮度較低,而舊反應卻正常,我們可以合理懷疑這批新酵素的效率較低,這是1、3所無法得知的

不過若因舊限制酶壞掉,或其他原因而沒有片段同樣很難解釋,此事古難全

3.拿類似條件的其他限制酶,能夠切成同樣是1000+500的,一起跑電泳

這個對照組只能證明出現了近似大小的 DNA片段 (大小近似的正對照組)

這個最糟,只能證明DNA片段大小類似,完全無法解釋其他事情

這個或許很像1.,但與1的差別在於1使用的是 “以前做好的該DNA自己當正對照組”,3.則是使用 “其他DNA” 做對照組,而不同的DNA雖然size一樣,也可能因為結構因素導致泳動距離有差異,所以3.比1更不準

此外,3.的實驗組、對照組只要其中一項有問題,呈現的結果就會不如預期,而我們無法判斷是哪一項所造成的

三項看起來很像的控制組,其實檢查的是截然不同的東西。

忽略了這點,會讓你的實驗之間無法完全對起來比較,實驗假設、對照組對不起來,闡述結果的時候就會被挑戰,無法解釋的時候就只好 “補做能解釋的實驗了”

你可以參考8. 批判思考[論文評析] — 我該如何分析一篇論文? 細緻解析評論與分析論文中論述的要點 來檢視實驗與論述間的聯繫


是否有解套的方法?

似同非同的核心原因:代換失效

當然有,不然就麻煩就大了

造成這些對照組 “似同非同” 的原因,核心都源自代換失效,可參閱[思維框架] — 什麼是批判思考? 如何利用 “代換概念” 迅速增進批判能力

當我們取到1. 2.兩個 “看似相同” 的對照組時,只要1與2在步驟環境有任何差異 (意即沒有完全相同),則或多或少都會產生代換的效果,因此2. 的結果並非直接觀察所得來,而是代換了1.所得來的

也就是說,相較於1.的直接偵測,2.其實並沒有直接偵測目標,而是透過代換的方式去 “推測”,自然各種代換的衍生問題會隨之而來

拿上面的限制酶例子做解釋

如果以最接近的 2.作為基準 (舊限制酶在隔壁一起反應):

  • 1. 相當於把作法代換成了 “取該限制酶反應所得的產物” ,所以該次未必有酵素參與反應
  • 3. 相當於把作法代換成了 “理論上同樣大小的產物”,只保證了片段大小,其他都可能有變化

把代換後的結果列出來後,就可以很好理解 2.為何能更好的在酵素反應方面debug

而3.為何是最糟的結果也一目了然,因為他代換後的結果與1、2相差最多、變化最大,結果發生偏差的可能性也越多


解決的具體步驟

先停下來思考自己要證明甚麼

選對照組選到昏頭時,一直設計新實驗、一直重做、一直發想都不是好辦法,

最重要的是想想自己要說明甚麼,我們做實驗只是試圖支持某些論點的可能性,而這些 “大方向” 上的東西,往往很難在小實驗中體現出來,而如果只專注在實驗本身,很容易導致見樹不見林的結果。

正確的做法應該是靜下來好好想清楚自己推論的底層,然後看遠一點看看自己的控制組在底層時,能夠最低限度的解釋什麼事情,才能避免這件事,這裡需要用到以下兩文說明的事情:

做好這件事,後面的步驟才有意義。否則當你的目標改弦更張,想好的對照組未必能直接轉用,到時又得另起爐灶了

比較r0-r1

基本上,產生對照組的做法加減會有差異,只在於差異的大小,以及是否會對最終數據解讀有重大影響

你可以透過r0-r1法幫你列清楚兩者差異,找到差異才能有所比較

關於r0-r1的做法與背後的原理,可以參考以下兩文:

思考代換

將r0-r1列出來後,你應該能輕易找到各組作法間的差異,如果不行就倒回去上步驟繼續想

找到差異,我們就可以選擇最接近目標的一組作為基準,探討其他組代換掉了甚麼概念

就如同在 “解套的方法” 中比較限制酶例子的代換一樣,就能找到各組間代換掉甚麼,以及可能產生的影響

檢視所有類似的方法、反例

完成上步驟,應該就能挑到一個最接近實驗目的的對照組了

這步驟主要是補強前述的思考,主要看自己的方法是否有相近的做法、動搖選定對照組的假設等

如果有,可以重作前述的步驟,重新挑選與優化。

若無,那你對挑出的對照組也會更有信心