O sistema autónomo nunca teme mais cometer erros do que acontecer algo e ninguém conseguir explicar exatamente por que razão agiu dessa forma.

As pessoas podem aceitar erros de julgamento, mas é difícil tolerar uma situação em que:
o resultado já ocorreu, mas o caminho da decisão permanece uma caixa preta.

Muitos IA ficam presos em cenários de alto risco, sem conseguir avançar, não por falta de capacidade, mas porque sua lógica de decisão simplesmente não pode ser validada externamente.

A escolha da @inference_labs é bastante clara:
não gastar esforço em explicar o que o modelo "pensa" na sua "cabeça", mas sim provar diretamente se seu comportamento ultrapassou limites.

Se o comportamento está em conformidade, se as regras estão sendo rigorosamente seguidas, se a decisão é rastreável.
No mundo dos sistemas autônomos, isso muitas vezes é mais importante do que "explicar o raciocínio de forma clara".