Vale a pena ser gentil com sua IA

Acredite. Grandes modelos de linguagem (LLMs) tendem a dar melhores respostas quando solicitados com respeito. Prompts pouco educados podem levar a uma deterioração no desempenho do modelo, incluindo erros, preconceitos mais fortes e omissão de informação”, descobriram pesquisadores da Waseda University.

Eles testaram meia dúzia de chatbots em dezenas de tarefas, usando até 150 prompts por tarefa, partindo da premissa de que a linguagem educada nas comunicações humanas geralmente gera mais conformidade e eficácia, enquanto a rudeza pode causar aversão, afetando a qualidade da resposta. Não deu outra. A pesquisa concluiu que os LLMs refletem certas características da comunicação humana, o que significa que a educação em relação aos chatbots tende a gerar melhores respostas, assim como a educação faz na conversa humana.

• A tese provou ser verdadeira em todos os prompts em inglês, chinês e japonês e em cada chatbot testado.
• Aparentemente, alguns LLMs podem ter sido programados para gerar respostas mais educadas e úteis quando os usuários são educados e respeitosos em suas solicitações.
• Prompts indelicados geralmente resultam em desempenho ruim, mas uma linguagem excessivamente educada não garante melhores resultados.
• Um efeito das solicitações excessivamente rudes ou lisonjeiras foi respostas mais longas em inglês e chinês.
• A bajulação excessiva também não é necessariamente bem-vinda.

O grau de influência da polidez no desempenho do LLM nos diferentes idiomas utilizados sugere que o contexto cultural é um fator importante nos sistemas de compreensão da linguagem natural. Aponta para a necessidade de conjuntos de dados e processos de formação de modelos mais culturalmente conscientes, propondo um âmbito mais amplo para a incorporação da sensibilidade cultural no desenvolvimento de sistemas de IA.