不懂得說「我不知道」的系統風險

現代數據驅動系統中較少被討論的一個層面是它們如何處理不確定性。大多數系統今天被設計用來處理輸入、驗證資料，並以一致且可靠的方式產生輸出。這種結構在資料清楚且決策可以直接由資料推導的環境中運作良好。

但並非所有情況都符合這個模型。

在許多現實世界的案例中，資料存在但未能完整捕捉做出明確決策所需的背景資訊。資訊可能是正確的，但不完整；有效的，但不足夠。這些情況下，不確定性不是缺陷，而是環境的自然部分。

問題在於，大多數系統並未被設計來表達這一點。

它們不會傳達不確定性，而是傾向於將任何可用的資料轉換成可用的輸出。

驗證確保資料的真實性，一旦條件符合，系統就會繼續運作。沒有內建的機制來暫停並承認可用資訊可能不足以支持有意義的結論。

這造成了一種微妙但重要的扭曲。
從外部看來，一切似乎都很確定。輸入被驗證，輸出被產生，決策被做出。沒有明顯的跡象顯示底層資料可能不完整，或存在其他解釋的可能性。
隨著時間推移，這可能導致一種誤置的信心。

用戶開始不僅依賴系統進行驗證，也依賴它來做判斷。輸出被解讀為系統有足夠資訊支持的標誌，即使事實可能並非如此。

問題不在於系統錯誤。
而在於系統未被設計來表達它所知道的範圍。

在傳統的決策過程中，不確定性通常扮演著明顯的角色。專家可能會意見不合，可能會要求提供更多資訊，或等待更清楚的情況再做決策。這些機制允許承認並管理不確定性。

相較之下，優先追求效率與一致性的系統，往往在滿足最低條件後立即前進。它們通過避免猶豫來降低摩擦，但也因此降低了不確定性的可見性。

隨著系統規模擴大並應用於更複雜的場景，這種情況變得更加重要。

它們遇到的情境範圍擴大，包括資料模糊、衝突或不完整的案例。若沒有表達不確定性的方法，這些系統仍會產生看似同樣可靠的輸出，即使底層條件差異很大。
那就是風險所在。

不在於系統失效，而在於它無法傳達其知識的限制。
一個不能說「我不知道」的系統，技術上可能仍能正常運作，但也會造成一個環境，將不確定性隱藏起來而非面對它，導致決策比資料實際支持的更有信心。

長遠來看，挑戰不僅是提升驗證或增加效率。
而是找到讓不確定性再次可見的方法。
因為沒有這樣做，即使是準確的系統也可能導致看似確定的結果，卻在暗中建立在不完整的理解之上。

#SIGN $SIGN