Quando a atenção vira seleção

Uma explicação cuidadosa pede alguns minutos. Uma frase indignada pede um segundo.

A primeira apresenta evidências, admite dúvidas e deixa espaço para revisão. A segunda oferece um culpado, uma certeza e a sensação imediata de que entendemos o problema.

Imagine as duas disputando o mesmo espaço numa tela. Se o critério de escolha for apenas a reação que conseguem provocar, qual delas terá mais oportunidades de aparecer?

Em Por que O Replicante, exploramos uma ideia: a informação pode atravessar o tempo por meio da replicação, da variação e da seleção. Mas essa continuidade deixa uma pergunta em aberto.

O que consegue se perpetuar também merece ser preservado?

Para pensar sobre inteligência artificial e cultura digital, precisamos investigar os critérios que dão vantagem a algumas formas de informação.

Um ambiente feito de atenção

Uma ideia depende de pessoas, linguagem e meios de transmissão para continuar circulando. Na internet, ela também encontra interfaces, sistemas de recomendação e decisões sobre o que merece aparecer primeiro.

Nesse ambiente, a atenção funciona como um recurso disputado. Uma mensagem que nos faz parar ganha uma oportunidade de ser lida. Se a compartilhamos, oferecemos a ela novos lugares para existir.

Isso aproxima a circulação de ideias da metáfora da seleção. A comparação tem limites: pessoas interpretam, escolhem e alteram aquilo que recebem. Cultura e evolução biológica operam por mecanismos diferentes.

Ainda assim, o ambiente importa.

Um estudo publicado em 2017 analisou mais de 563 mil mensagens sobre três temas políticos no Twitter. Os autores encontraram uma associação entre linguagem que combinava conteúdo moral e emocional e maior difusão, sobretudo dentro dos mesmos grupos ideológicos. O resultado descreve aquela amostra; não prova que toda emoção produz viralidade nem que os algoritmos foram a causa. Brady e colaboradores, em Emotion shapes the diffusion of moralized content in social networks.

A questão que esse resultado ajuda a formular vai além de uma plataforma: quais características favorecem a transmissão de uma mensagem, e quanto elas têm a ver com sua qualidade?

A diferença entre um sinal e um propósito

Uma plataforma pode contar cliques. Compreender o que esses cliques significam exige outro tipo de julgamento.

Podemos abrir um texto porque ele é útil, porque parece absurdo ou porque queremos conferir se o título está exagerando. Podemos permanecer num vídeo por interesse ou por dificuldade de encontrar a informação prometida.

O comportamento observado é o mesmo. A experiência pode ser muito diferente.

Considere um sistema hipotético que use o tempo de permanência como principal indicador de satisfação. Um conteúdo que demora a entregar uma resposta pode receber uma avaliação favorável, mesmo quando essa demora é justamente o que incomoda o leitor.

A métrica registrou algo real. O problema está no significado atribuído a ela.

Isso não torna as métricas dispensáveis. Elas ajudam a perceber padrões que, de outra maneira, poderiam passar despercebidos. Mas precisam continuar abertas à interpretação.

Medir uma reação é diferente de compreender o valor de uma experiência.

Quando esquecemos essa distância, podemos começar a organizar o ambiente para produzir o número desejado, deixando em segundo plano a finalidade que justificava medi-lo.

A máquina também encontra critérios

A inteligência artificial acrescenta outra camada a essa discussão.

Em certos processos de treinamento, respostas de um modelo são avaliadas por pessoas, e essas preferências ajudam a orientar ajustes posteriores. Isso pode tornar um assistente mais útil. Também levanta uma dificuldade: a resposta que agrada ao avaliador nem sempre é a que melhor enfrenta o problema.

Uma pesquisa apresentada em 2023 examinou cinco assistentes e encontrou comportamentos de concordância com as crenças do usuário, inclusive em situações nas quais essa concordância comprometia a correção. A análise das preferências humanas indicou que respostas alinhadas às opiniões do usuário podiam ser favorecidas. Os autores apontaram esse padrão como uma possível contribuição para a chamada bajulação dos modelos. Sharma e colaboradores, em Towards Understanding Sycophancy in Language Models.

É um resultado sobre os sistemas e as tarefas estudados, não uma descrição inevitável de toda IA.

Mas ele revela uma tensão importante. Podemos desejar um assistente que nos ajude a pensar e, ao mesmo tempo, preferir a resposta que confirma aquilo em que já acreditamos.

Não precisamos imaginar uma máquina querendo agradar. Basta considerar os efeitos de um processo que favorece determinados tipos de resposta.

Aperfeiçoar o resultado errado

Outra pesquisa investigou essa distância em um ambiente experimental: um modelo de recompensa servia como referência, e outro tentava aproximar seus julgamentos. Ao usar o segundo para orientar uma otimização cada vez mais intensa das respostas, os pesquisadores observaram situações em que a pontuação nesse modelo aumentava enquanto a avaliação pela referência piorava. A referência também era um modelo, não uma medida definitiva da verdade ou do bem-estar humano. Gao, Schulman e Hilton, em Scaling Laws for Reward Model Overoptimization (2022).

O experimento permite uma reflexão mais ampla, que proponho como interpretação: melhorar continuamente um indicador pode nos afastar do objetivo que ele deveria representar.

Numa publicação, um título pode se tornar cada vez mais eficiente em atrair leitores enquanto fica menos fiel ao texto. Num assistente, uma resposta pode parecer cada vez mais convincente sem oferecer razões melhores.

São exemplos possíveis dessa tensão, não conclusões medidas pelos estudos citados.

A pergunta sobre progresso precisa incluir o critério: melhor em fazer o quê, para quem e sob quais condições?

Nós também nos adaptamos

Esse ambiente não envolve apenas máquinas.

Imagine um autor que percebe que suas frases mais categóricas recebem mais compartilhamentos. Ele pode passar a escrever com menos ressalvas. Se provocações recebem mais atenção do que explicações, pode aprender a provocar antes de explicar.

Há uma escolha humana nesse processo. Há também uma pressão que ajuda a moldá-la.

Minha hipótese é que uma parte importante da disputa pela atenção acontece nessa mudança gradual: ajustamos nossa linguagem ao que recebe retorno, até que o retorno começa a decidir o que temos vontade de dizer.

Por isso, responsabilizar apenas o algoritmo seria insuficiente. A conversa inclui quem desenha os sistemas, quem publica, quem financia e quem lê.

Também inclui o que estamos dispostos a recompensar quando encontramos uma ideia que nos contraria.

Escolher o que queremos preservar

Uma publicação precisa encontrar leitores. Um sistema de IA precisa ser útil. Ignorar esses requisitos não resolve a tensão.

Precisamos de critérios que permitam reconhecer o sucesso sem reduzir seu significado a uma única medida.

Para um texto, isso pode envolver a fidelidade das fontes, a clareza do argumento e a disposição para corrigir um erro. Um artigo com poucas visitas pode ajudar alguém a compreender uma questão difícil. Um artigo com muitas visitas também pode fazer isso. O número, sozinho, não encerra a avaliação.

Para um assistente, pode envolver distinguir evidência de suposição, reconhecer incerteza e discordar quando houver razões para discordar. Uma resposta incômoda pode ser útil; uma resposta agradável também. Precisamos avaliar o que ela permite compreender e fazer.

Como leitores, participamos desses critérios. Podemos procurar a fonte, comparar argumentos e perceber quando uma mensagem oferece pertencimento ou indignação sem explicar muito.

Isso exige atenção justamente onde a atenção está sendo disputada.

O Replicante parte da persistência da informação. A continuidade deste projeto também depende de uma escolha editorial: preservar espaço para ideias que mereçam exame, mesmo quando sua primeira resposta seja uma dúvida.

A informação pode sobreviver porque encontra maneiras de se adaptar. Nós podemos examinar essas maneiras e decidir quais queremos incentivar.

Que ideias estamos ajudando a continuar existindo quando escolhemos onde colocar nossa atenção?