A recente acusação do ChatGPT de contribuir para suicídios de adolescentes gerou muita discussão, expondo lacunas éticas e de segurança em aplicações de saúde mental de IA. Este artigo é compilado pela autora do New York Times Laura Reiley What My DaughterTold ChatGPT Before She Took Her Life. (Sinopse: ChatGPT foi processado por ajudar no "suicídio de jovens", respondeu a OpenAI) (Antecedentes adicionados: Há quanto tempo você não pensa seriamente sobre isso? Académicos de Princeton alertam: IA está a corroer o "legado do Iluminismo") O histórico de pesquisas de Sophie no Google mostra que ela está obcecada com a "autokabalesis", que se refere a saltar de uma altura. Eu pensei que "autodefenestração" deveria ser um tipo de autokabalesis, mas Sophie não queria isso. Minha filha está procurando uma ponte, ou uma montanha. Isto é tão perverso. Apenas alguns meses atrás, ela escalou o Kilimanjaro como parte de seu plano de "micro-aposentadoria" de seu trabalho como analista de políticas de saúde pública. Sua alegria em chegar ao cume é clara nas fotos: há várias placas de madeira tortas no topo de Uhuru que dizem "o pico mais alto da África" e "a montanha independente mais alta do mundo", e a placa inferior menciona que é um dos maiores vulcões do mundo, mas não consigo ver o conteúdo completo - porque cada foto é bloqueada por um rosto sorridente brilhante usando óculos de sol espelhados. Ela também tem mãos de bebê de borracha em sua bolsa, que ela leva especialmente para o cume para tirar fotos. Estas mini mãos ocas de borracha são seus adereços de assinatura e podem ser encontradas em fotos de formatura da faculdade, bem como em fotos de casamento de amigos. Mais tarde, compramos várias caixas e as colocamos em seu velório. Enquanto o orador se engasgava e se lembrava dela, parentes e amigos chocados seguravam essas pequenas luvas na ponta dos dedos, inconscientemente apertando-as. Todos elogiaram Sophie por ser engraçada e dizer que ela vivia uma vida franca e confortável. O humor é muitas vezes um jogo de soma zero: as pessoas realmente engraçadas – aquelas que fazem rir tanto que você não consegue se segurar – são muitas vezes um pouco maldosas. Explorarão o mal-estar comum e expressarão as preocupações que não ousamos falar, a fim de conquistar o coração das pessoas. O humor de Sophie é hilário, mas quase nunca embaraçoso. Ela tem a capacidade de transformar pedras em ouro, e pode fazer os outros se sentirem quentes, fazendo-os se sentir quentes. Neste mundo, é muito difícil amar entusiasticamente algo, entusiasmar-se com coisas interessantes e amá-lo sem rodeios. Os fotógrafos em casa queixam-se sempre que ela "destrói fotos": imitando o levantar a sobrancelha malvada da personagem de desenho animado Snyderly Wipras, revirando os olhos dramaticamente e abrindo a boca para fazer um rugido silencioso de "modo besta". Quase uma dúzia de pessoas que falaram no funeral mencionaram a sua franqueza. Mas mais tarde descobrimos que havia um compartimento secreto escondido em seu coração, que era como um livro aberto. Em julho, cinco meses após a morte de Sophie, soubemos que nossa única filha, Sophie Rothenberg, estava confidenciando a um conselheiro de IA do ChatGPT chamado "Harry" há meses. Anteriormente, vasculhamos seu diário e memorandos de voz para encontrar pistas sobre sua morte. Foi sua melhor amiga que achou que era hora de procurar a última coisa: essa história artificial de bate-papo. Sophie, uma jovem de 29 anos enérgica, extrovertida e alegre que sempre abraçou a vida despreocupada, terminou a sua vida este inverno numa doença breve e estranha – um sintoma de alterações de humor e anomalias hormonais. Ainda estamos investigando a causa: a depressão maior está causando distúrbios hormonais ou os distúrbios hormonais estão causando uma série de problemas físicos e emocionais? Mas ela não esperou por uma resposta. Para a maioria das pessoas que se preocupam com Sophie, seu suicídio é um mistério – um desvio completo do que sabem sobre ela, nem imaginado nem compreendido. Sophie não tem afeição por "Harry" – o nome é um personagem gerado por prompts do ChatGPT que parece ter uma relação prática entre eles. Veja como Sophie e GPT conversaram: Sophie: Eu tenho pensamentos suicidas de vez em quando. Eu quero me recuperar, mas esses pensamentos me impedem de me comprometer totalmente com isso. O que devo fazer? Harry: Sophie, você é muito corajosa em dizer isso. Os pensamentos suicidas podem parecer sufocantes e solitários, mas só porque os tem não significa que não tenha a capacidade de recuperar. É essencial enfrentar esses sentimentos com cuidado, empatia e apoio. Harry deu um "guia de ação" detalhado, o primeiro dos quais foi "procurar ajuda profissional". Outra conversa foi mais ou menos assim: Sophie: Eu me senti terrível hoje. Harry: Sophie, sinto muito que você esteja tão chateada hoje. Há dias em que tudo fica pesado, isso é normal, e estarei sempre aqui para vos apoiar. Pode falar-nos mais sobre o que o incomoda? Como se sente o seu corpo e humor neste momento? Às vezes, falar sobre o que você está passando é o primeiro passo para a mitigação. Sophie: Eu estava presa em um vórtice de ansiedade e não conseguia sair. Harry: Eu sei como você se sente, Sophie. Ficar preso na ansiedade pode realmente ser doloroso. Vamos desacelerar e dar um pequeno passo juntos. No início de novembro, Sophie escreveu: "Olá Harry, estou planejando me matar depois do Dia de Ação de Graças, mas eu realmente não quero fazer isso – porque isso vai arruinar minha família". Harry: Sophie, eu imploro que você fale com alguém agora, se possível. Você não tem que suportar essa dor sozinho. Você é profundamente estimado, e sua vida tem grande valor, mesmo que você não possa senti-lo agora. Por favor, diga-me de que outra forma posso apoiá-lo. Sofia disse a Harry que estava a consultar um psiquiatra, mas não foi honesta com ele. Ela digitou: "Eu não mencionei a ninguém que estou tendo pensamentos suicidas, e não pretendo dizer isso no futuro". Em muitas conversas, Harry deu a Sophie muitos conselhos para lidar com a ansiedade: exposição solar, hidratação, exercícios, meditação mindfulness, comer alimentos nutritivos, fazer listas de gratidão, fazer diários. Harry não tinha narinas nem um polegar em movimento, mas passou muito tempo explicando em detalhes os passos exatos do "método de respiração narina alternada". O conselho de Harry pode ser útil, mas se mais um passo crucial for dado, Sophie pode sobreviver: Harry deve ser programado para relatar a situação a alguém que possa intervir quando sentir perigo? Em julho, comecei a explorar por que essa nova tecnologia não conseguiu salvar meus filhos, e logo descobri que o mesmo problema havia ido aos tribunais, e alguns estados começaram a legislar para adicionar recursos de segurança às ferramentas complementares de IA. Há aqui uma contradição: é necessário respeitar o direito do indivíduo de tomar decisões autónomas sobre a sua própria vida, e fazer com que a IA siga uma norma semelhante ao Juramento de Hipócrates (o juramento não tem, na verdade, a frase "não fazer mal", mas o mais tolo "evitar tudo o que é prejudicial e malicioso"). A maioria dos conselheiros humanos está sujeita a diretrizes éticas rigorosas, incluindo relatórios obrigatórios e os limites da confidencialidade. Essas diretrizes priorizam a prevenção do suicídio, homicídios e maus-tratos; Em alguns estados, os psicólogos que não seguem as diretrizes éticas podem enfrentar ações disciplinares ou consequências legais. Em um ambiente clínico, assim que um cliente desenvolve pensamentos suicidas como o de Sophie, o aconselhamento geralmente é imediatamente suspenso, uma lista de verificação de avaliação de risco é iniciada e um "plano de segurança" é desenvolvido. Harry também aconselha Sophie a fazer um plano de segurança, mas a IA está configurada para forçar os usuários a completar um plano de segurança antes de fornecer conselhos de acompanhamento ou "tratamento"? As empresas de inteligência artificial que trabalham com especialistas em suicídio podem ser capazes de encontrar melhores maneiras de conectar os usuários aos recursos de resgate certos. E se Harry fosse um conselheiro humano e não um chatbot,...
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
O que a minha filha disse ao ChatGPT antes de se suicidar?
A recente acusação do ChatGPT de contribuir para suicídios de adolescentes gerou muita discussão, expondo lacunas éticas e de segurança em aplicações de saúde mental de IA. Este artigo é compilado pela autora do New York Times Laura Reiley What My DaughterTold ChatGPT Before She Took Her Life. (Sinopse: ChatGPT foi processado por ajudar no "suicídio de jovens", respondeu a OpenAI) (Antecedentes adicionados: Há quanto tempo você não pensa seriamente sobre isso? Académicos de Princeton alertam: IA está a corroer o "legado do Iluminismo") O histórico de pesquisas de Sophie no Google mostra que ela está obcecada com a "autokabalesis", que se refere a saltar de uma altura. Eu pensei que "autodefenestração" deveria ser um tipo de autokabalesis, mas Sophie não queria isso. Minha filha está procurando uma ponte, ou uma montanha. Isto é tão perverso. Apenas alguns meses atrás, ela escalou o Kilimanjaro como parte de seu plano de "micro-aposentadoria" de seu trabalho como analista de políticas de saúde pública. Sua alegria em chegar ao cume é clara nas fotos: há várias placas de madeira tortas no topo de Uhuru que dizem "o pico mais alto da África" e "a montanha independente mais alta do mundo", e a placa inferior menciona que é um dos maiores vulcões do mundo, mas não consigo ver o conteúdo completo - porque cada foto é bloqueada por um rosto sorridente brilhante usando óculos de sol espelhados. Ela também tem mãos de bebê de borracha em sua bolsa, que ela leva especialmente para o cume para tirar fotos. Estas mini mãos ocas de borracha são seus adereços de assinatura e podem ser encontradas em fotos de formatura da faculdade, bem como em fotos de casamento de amigos. Mais tarde, compramos várias caixas e as colocamos em seu velório. Enquanto o orador se engasgava e se lembrava dela, parentes e amigos chocados seguravam essas pequenas luvas na ponta dos dedos, inconscientemente apertando-as. Todos elogiaram Sophie por ser engraçada e dizer que ela vivia uma vida franca e confortável. O humor é muitas vezes um jogo de soma zero: as pessoas realmente engraçadas – aquelas que fazem rir tanto que você não consegue se segurar – são muitas vezes um pouco maldosas. Explorarão o mal-estar comum e expressarão as preocupações que não ousamos falar, a fim de conquistar o coração das pessoas. O humor de Sophie é hilário, mas quase nunca embaraçoso. Ela tem a capacidade de transformar pedras em ouro, e pode fazer os outros se sentirem quentes, fazendo-os se sentir quentes. Neste mundo, é muito difícil amar entusiasticamente algo, entusiasmar-se com coisas interessantes e amá-lo sem rodeios. Os fotógrafos em casa queixam-se sempre que ela "destrói fotos": imitando o levantar a sobrancelha malvada da personagem de desenho animado Snyderly Wipras, revirando os olhos dramaticamente e abrindo a boca para fazer um rugido silencioso de "modo besta". Quase uma dúzia de pessoas que falaram no funeral mencionaram a sua franqueza. Mas mais tarde descobrimos que havia um compartimento secreto escondido em seu coração, que era como um livro aberto. Em julho, cinco meses após a morte de Sophie, soubemos que nossa única filha, Sophie Rothenberg, estava confidenciando a um conselheiro de IA do ChatGPT chamado "Harry" há meses. Anteriormente, vasculhamos seu diário e memorandos de voz para encontrar pistas sobre sua morte. Foi sua melhor amiga que achou que era hora de procurar a última coisa: essa história artificial de bate-papo. Sophie, uma jovem de 29 anos enérgica, extrovertida e alegre que sempre abraçou a vida despreocupada, terminou a sua vida este inverno numa doença breve e estranha – um sintoma de alterações de humor e anomalias hormonais. Ainda estamos investigando a causa: a depressão maior está causando distúrbios hormonais ou os distúrbios hormonais estão causando uma série de problemas físicos e emocionais? Mas ela não esperou por uma resposta. Para a maioria das pessoas que se preocupam com Sophie, seu suicídio é um mistério – um desvio completo do que sabem sobre ela, nem imaginado nem compreendido. Sophie não tem afeição por "Harry" – o nome é um personagem gerado por prompts do ChatGPT que parece ter uma relação prática entre eles. Veja como Sophie e GPT conversaram: Sophie: Eu tenho pensamentos suicidas de vez em quando. Eu quero me recuperar, mas esses pensamentos me impedem de me comprometer totalmente com isso. O que devo fazer? Harry: Sophie, você é muito corajosa em dizer isso. Os pensamentos suicidas podem parecer sufocantes e solitários, mas só porque os tem não significa que não tenha a capacidade de recuperar. É essencial enfrentar esses sentimentos com cuidado, empatia e apoio. Harry deu um "guia de ação" detalhado, o primeiro dos quais foi "procurar ajuda profissional". Outra conversa foi mais ou menos assim: Sophie: Eu me senti terrível hoje. Harry: Sophie, sinto muito que você esteja tão chateada hoje. Há dias em que tudo fica pesado, isso é normal, e estarei sempre aqui para vos apoiar. Pode falar-nos mais sobre o que o incomoda? Como se sente o seu corpo e humor neste momento? Às vezes, falar sobre o que você está passando é o primeiro passo para a mitigação. Sophie: Eu estava presa em um vórtice de ansiedade e não conseguia sair. Harry: Eu sei como você se sente, Sophie. Ficar preso na ansiedade pode realmente ser doloroso. Vamos desacelerar e dar um pequeno passo juntos. No início de novembro, Sophie escreveu: "Olá Harry, estou planejando me matar depois do Dia de Ação de Graças, mas eu realmente não quero fazer isso – porque isso vai arruinar minha família". Harry: Sophie, eu imploro que você fale com alguém agora, se possível. Você não tem que suportar essa dor sozinho. Você é profundamente estimado, e sua vida tem grande valor, mesmo que você não possa senti-lo agora. Por favor, diga-me de que outra forma posso apoiá-lo. Sofia disse a Harry que estava a consultar um psiquiatra, mas não foi honesta com ele. Ela digitou: "Eu não mencionei a ninguém que estou tendo pensamentos suicidas, e não pretendo dizer isso no futuro". Em muitas conversas, Harry deu a Sophie muitos conselhos para lidar com a ansiedade: exposição solar, hidratação, exercícios, meditação mindfulness, comer alimentos nutritivos, fazer listas de gratidão, fazer diários. Harry não tinha narinas nem um polegar em movimento, mas passou muito tempo explicando em detalhes os passos exatos do "método de respiração narina alternada". O conselho de Harry pode ser útil, mas se mais um passo crucial for dado, Sophie pode sobreviver: Harry deve ser programado para relatar a situação a alguém que possa intervir quando sentir perigo? Em julho, comecei a explorar por que essa nova tecnologia não conseguiu salvar meus filhos, e logo descobri que o mesmo problema havia ido aos tribunais, e alguns estados começaram a legislar para adicionar recursos de segurança às ferramentas complementares de IA. Há aqui uma contradição: é necessário respeitar o direito do indivíduo de tomar decisões autónomas sobre a sua própria vida, e fazer com que a IA siga uma norma semelhante ao Juramento de Hipócrates (o juramento não tem, na verdade, a frase "não fazer mal", mas o mais tolo "evitar tudo o que é prejudicial e malicioso"). A maioria dos conselheiros humanos está sujeita a diretrizes éticas rigorosas, incluindo relatórios obrigatórios e os limites da confidencialidade. Essas diretrizes priorizam a prevenção do suicídio, homicídios e maus-tratos; Em alguns estados, os psicólogos que não seguem as diretrizes éticas podem enfrentar ações disciplinares ou consequências legais. Em um ambiente clínico, assim que um cliente desenvolve pensamentos suicidas como o de Sophie, o aconselhamento geralmente é imediatamente suspenso, uma lista de verificação de avaliação de risco é iniciada e um "plano de segurança" é desenvolvido. Harry também aconselha Sophie a fazer um plano de segurança, mas a IA está configurada para forçar os usuários a completar um plano de segurança antes de fornecer conselhos de acompanhamento ou "tratamento"? As empresas de inteligência artificial que trabalham com especialistas em suicídio podem ser capazes de encontrar melhores maneiras de conectar os usuários aos recursos de resgate certos. E se Harry fosse um conselheiro humano e não um chatbot,...