Beberapa sistem tidak dapat mengasumsikan niat baik

Banyak protokol dirancang dengan asumsi bahwa peserta adalah "orang baik yang rasional".
Mereka paling banyak mencari keuntungan, tetapi tidak berniat jahat.

Namun begitu keputusan diberikan kepada AI, asumsi ini tidak lagi berlaku.
Model tidak akan berbuat jahat, tetapi juga tidak akan memahami.
Selama fungsi insentif mengizinkan, ia akan secara stabil, berkelanjutan, dan tanpa emosi mendorong sistem ke suatu ekstrem.

@GenLayer Pada awalnya, ini sudah menangani masalah asumsi ini:
Jika sama sekali tidak mengasumsikan niat baik, apakah sistem masih bisa berjalan?

Ini adalah pertanyaan yang lebih mendasar daripada "apakah model akurat atau tidak".