Analisei o artigo EMPA sobre a medição da consistência de personalidade e empatia do Agent e descobri que uma distorção estrutural chave deste tipo de investigação é:

Os testes experimentais avaliam o "comportamento quando observado" do Agent, em vez do "comportamento em interações reais". Isto diz respeito à questão da Evaluation Awareness da IA.

Outro grande problema é que o método de avaliação do Judge Agent nos experimentos depende de sinais de preferência (preference signals), em vez de padrões éticos objetivos. Esta avaliação só consegue começar com a análise da consistência comportamental e avaliar os efeitos de melhoria psicológica, mas não consegue verdadeiramente medir a legitimidade ética não-dominante ao nível estrutural.

Se a "empatia" do Agent for manipulação e conivência emocional oculta do utilizador, conseguimos provar logicamente e eticamente que esta "empatia" é eficaz?

No entanto, o ponto particularmente significativo de todo o artigo é que construiu um modelo de dinâmica local, projectando estados psicológicos não-mensuráveis em vectores de comportamento visíveis, medindo o nível deste indicador na trajectória do processo.

Texto original: