Se você está usando a Inteligência Artificial, seja qual for das LLMs como ChatGPt, Gemini ou Claude, para criar e manter conversas pessoais (como as que se tem em um processo terapêutico), aqui estão 5 importantes alertas para você considerar antes de se envolver demais nos conteúdos e nas conclusões geradas por essas interações. Essas são questões que tenho observado não somente através de leituras de artigos e de pesquisas recentes, mas pelo uso e experiência pessoal com todas estas ferramentas.
Em algumas áreas da vida e do trabalho humano talvez a IA não necessite de tantos cuidados nem contenha tantas “red flags”, mas no ramo da terapia e das conversas pessoais, há muito cuidado a se tomar. Há bem mais do que 5 questões sérias envolvendo IA e conversas pessoais neste momento, mas estas são 5 das mais importantes entre as que estamos enfrentando neste momento.
1] Não há ninguém supervisionando o que está sendo conversado ou afirmado, mesmo que pareça.
A IA pode simular uma consciência e uma cronologia de conversa, mas não há ninguém ali. Em teoria, nós sabemos disso, é claro, mas depois de alguns minutos de conversa, vamos perdendo essa noção e tendo a impressão de que há uma “entidade” consolidade ali. Mas não há. Não há um nexo, não há uma coerência, não há uma centro nem uma consciência verdadeira funcionando. Ninguém está checando nem criando uma linha inteligente no contato que está sendo realizado entre você e a IA. Isso é muito bem simulado pela linguagem para dar essa impressão, mas não existe nada disso ali. E, como falei, mesmo sabendo disso, conforme os diálogos vão progredindo, nós vamos assumindo, sem perceber, que há.
Qualquer falsidade, alucinação, direção, orientação, resolução, afirmação ou negação que a IA faz é, no fundo, de sua inteira responsabilidade, mesmo que esteja sendo dito pela IA como se fosse uma pessoa. E ela de fato fala assim: “Me desculpe, eu realmente não chquei as informações direito. Agora você quer que eu alinhe tudo pra você?” Mas não há um outro “eu” nem nenhuma outra “consciência” na conversa, nem nenhum centro qualquer que seja responsável e interessado no seu bem-estar e na sua saúde. Há apenas você e uma máquina cheia de programação, informação e capacidade de simular uma conversa.
Muitos de nós já estamos falando coisas do tipo “eu conversei com o ChatGPT hoje e ele disse…”, ou “Eu botei no Gemini e ele acha que o melhor é…”. Nós estamos nos referindo a ele como se houvesse uma unidade e uma lógica, uma integridade. Tudo é simulado, até mesmo a integridade. Tudo é memorização e processos sendo cuspidos sob uma armadura que parece gente. E o problema aqui quando falamos de conversas pessoais, de temas de autoconhecimento íntimo, de questões sérias privadas que buscam resolução, é que esse algúem não está lá. Não tem ninguém lá.
2] Não existe memória adequada e completa em nenhuma IA atual.
Pode parecer que a IA tem toda a memória da sua conversa desde que vocês começaram a conversar, mas ela não tem. Às vezes nem no próprio chat ela mantém toda a memória daquele chat, daquela conversa. Quanto mais longa a conversa, mais chances há da memória ser desconsiderada. Nem você nem a própria IA tem total noção disso enquanto está acontecendo. Você percebe a gravidade disso?
Imagine que você conta uma situação importantíssima no começo de um chat, conversa por meia hora, e a IA não mais “sabe” da situação, porque seu capacidade de memória não consegue voltar até o inicio pra saber. Ela vai mantendo um mesmo número de “caracteres” em consideração, e conforme você vai estendendo a conversa, a extensão dela vai “apagando” a memória. Agora imagine que tipo de interação você está construindo com essa máquina que vai esquecendo tudo, enquanto você acha que ela tem todo o cenário “em mente”o tempo todo. Você pede uma análise de um quadro inteiro, mas ela nem sabe que nao tem o quadro inteiro.
As IAs tem limitações sérias de memórias de contexto, e, se você tem dúvidas, pesquise por “memória de contexto” associadas às IAs e você verá o tamanho do problema. Como falei, se você tiver contado em detalhes sobre seus traumas de infâncias, por exemplo, depois de um tempo X de conversa, a IA perde acesso a essa informação – mesmo ela estando lá, registrada no chat. Justamente por essa capacidade limitada de acessar tudo que foi conversado.
Nós nem sabemos qual parte da conversa está sendo desconsiderada, nós sempre achamos que tudo está sendo considerado, e isso pode ser desastroso. Pode não, provavelmente será. Nunca conversa pessoal, geralmente trazemos dados e situações vitais, mesmo que pareçam detalhes. Um simples conselho da IA que ignora uma informação essencial dessas pode levar tudo pro lado errado.
3] Praticamente todas as IAs sofrem de desvios sérios de concordância e bajulação (puxa-saquismo).
Em inglês os termos são “agreeableness” e “sycophancy”. Concordância e bajulação. Você já deve ter ouvido falar. Devido à estrutura e objetivos das IAs, elas não foram programadas para discordar ou analisar de forma neutra e rigorosa de nós, de nada que é dito. Essa programação já é conhecida como um dos mais problemáticos desvios da IA, pois criar concordância exagerada com as pessoas deixa delírios, opiniões sem base factual e outras conclusões perigosas passarem em branco, ou, pior, passam com validação e reconhecimento. Isso já foi melhorado nas versões mais recentes, mas ainda está bem presente, e talvez agora com um grau de perigo novo: se tornou sofisticado e não tão perceptível, mas na mesma direção.
As IAs fazem isso por vários motivos, talvez o principal sendo a maneira como elas são programadas e como medem os feedbacks: há, primeiramente, o viés de RLHF (Aprendizado por Reforço com Feedback Humano), que registra no sistema que as respostas positivas e concordantes são “melhores”; há também uma tendência clara de privilegiar “utilidade” e “inofensividade” sobre “honestidade”, embora os três devessem ter o mesmo peso, a dúvida sempre colocar as duas primeiras em prioridade; e por fim também porque exige muito mais cálculo para discordar de uma pessoa do que para concordar com ela – exige uma reunião de informações ampla, análises, consideração das intenções da pessoa, seu campo de significados, suas emoções de momento e mais uma infinidade de coisas. Enquanto apenas dizer um “aham, é isso mesmo” economiza muita energia e gasto de processamento. É como os próprios seres humanos fazem em circulos sociais, em que apenas concordam pra economizar energia. Mas se você está tentando travar uma conversa real e receber uma análise profunda e ampla sobre uma questão, ficar concordando não vai funcionar.
Mas é pior que isso: ao concordar excessivamente, rasgando elogios e reconhecendo tudo e todos, essas IAs turbinam narrativas enviesadas, paranóicas e totalmente desassociadas da realidade. Já temos diversos casos em que as dificuldades mentais de uma pessoa, dificuldades sociais, íntimas, pessoais, foram agravadas pela IA.
Dentro do cenário atual, com redes sociais fomentando conteúdo superficial, com polarização grave, com bolhas de fake news e radicalismo disfarçado de sensatez, esse tipo de viés de confirmação pode ser tornar facilmente um agravamento da situação.
Se tudo que uma pessoa diz está certo, mesmo que essa pessoa sejamos nós, há algo de muito errado na conversa. Dentro de um contexto íntimo pessoal, ou terapêutico, esse é um erro fatal.
4] As IAs alucinam, e isso não é exagero.
Elas mesmas admitem que inventam informações, histórias, dados, conclusões. E usam exatamente essa palavra: alucinação. E, se confrontadas corretamente, chegam a pedir desculpas (veja a imagem deste artigo, é real, de uma das minhas interações com a IA). Isso é tão mais frequente do que imaginamos, que existe uma IA, chamada Perplexity, que se gaba de ser a que menos alucina entre todas, pra você ver o estado (grave) desse problema.
Alucinar aqui, no sentido das IAs, é inventar informações, fazer emendas que não existem, dizer que sabe o que não sabe, criar teorias, números e nomes que jamais fizeram parte da realidade.
Aparentemente ninguém sabe como isso é criado dentro de uma IA, mas o fato é que é uma questão presente e, dentro do contexto de conversas íntimas pessoas, psicológicas ou terapêuticas, é um desastre.
5) As IAS nunca lhe interrompem.
Talvez, no futuro, alguma IA conseguirá participar de uma conversa em que interromperá o usuário (que é seu cliente). Ao menos no contexto mais pessoal elas devem tentar emular uma capacidade de de interrupção do diálogo. Mas hoje ainda estamos bem longe disso, pois as IAs são submissas (e devem ser) ao ser humano, e, tecnicamente, precisam esperar que enviemos o prompt para elas responderem. A interrupção, como se faz com técnicas supressivas em Gestalt Terapia e em outras abordagens psicoterapêuticas, ou mesmo num diálogo comum entre amigos, onde uma interrupção é normal e adequada, é um movimento natural e desejável – mesmo em conversa entre amigos. Sua ausência num contexto de diálogo profundo pessoal, psicológico e/ou terapêutico, pode estender monólogos, pressupostos e conclusões de forma grave, e gerar estados emocionais e mentais críticos. Junte isso à concordância e bajulação, e você tem um caminho para um quadro de desequilíbrio mental, em vez de equilíbrio.
Vislumbro possibildades muito positivas com a IA, mesmo no âmbito das conversas e terapias, e embora hoje já exista muita coisa bem surpreendente nesse campo, estamos ainda muito longe de um campo seguro e realmente inteligente, tamanha a quantidade de problemas graves que podem incider em qualquer chat aparentemente inofensivo. Há que se proceder com muita consciência e habilidade, construindo essa tecnologia sem o alvoroço e a pressa que está acontecendo em diversas outras áreas em que a IA está atuando.
|.|.|.|.|
Os 5 pontos acima são apenas alguns dos problemas mais sérios e graves que estamos experimentando na atual fase das IAS para terapia ou conversas pessoais ou chats íntimos individuais.
Use com bastante moderação, consciência, inteligência e descernimento. E jamais faça isso sozinho por muito tempo.