s

INTELIGÊNCIA ARTIFICIAL

Bloqueados por um algoritmo: sete vezes em que a IA cancelou o usuário

Enquanto soluções de Inteligência Artificial são cada vez mais usadas em todas as indústrias, crescem também os casos de pessoas que foram bloqueadas por um algoritmo

Por João Ortega 10/04/2021

Enquanto soluções de Inteligência Artificial são cada vez mais usadas em todas as indústrias, crescem também os casos de pessoas que foram bloqueadas por um algoritmo. Os casos mais conhecidos são no recrutamento, como o sistema da Amazon que prejudicava candidatas mulheres, e em pontuações de crédito, que perpetuam o viés racista presente na sociedade.

No entanto, os casos de “cancelamento algorítmico” vão muito além do que se pode imaginar. Seja por causa de problemas históricos em bases de dados ou falhas na hora de treinar o modelo, resultados inexplicáveis e prejudiciais são frequentes em laboratórios, nas empresas e também em espaços públicos. Veja, a seguir, alguns casos neste sentido:

  1. Só para os bonitos: TikTok e Tinder estão entre os aplicativos que usam modelos de IA aplicados ao reconhecimento facial para ranquear usuários de acordo com um padrão de beleza. Enquanto a rede social chinesa tende a filtrar conteúdo de pessoas “feias”, o app de relacionamentos criou uma pontuação interna dos usuários.
  2. A Nova Zelândia utiliza um sistema automático para checar a autenticidade de fotos de passaporte. Quando o cidadão local Richard Lee, descendente de asiáticos, quis tirar seu passaporte, ele foi negado. O modelo não aceitava sua foto, afirmando que ele estava com os “olhos fechados”.
  3. Estar desinformado é ser bloqueado da verdade. Um estudo recente mostra que o Instagram, por meio das abas que sugerem conteúdo aos usuários, ajuda a disseminar conteúdo falso sobre a Covid-19. O algoritmo responsável por estas recomendações começou a ser usado em agosto do ano passado.
  4. Em 2012, o Facebook realizou um secreto e polêmico estudo no qual manipulava as emoções dos usuários por meio do algoritmo de recomendação de conteúdo da plataforma. Segundo Aidan Gomez, pesquisador da Universidade de Oxford, “manipular o conteúdo que uma pessoa consome tem um impacto imenso e direto no seu bem-estar, no seu estado mental e nas suas crenças”.
  5. Na China, câmeras de reconhecimento facial são usadas para identificar pedestres que atravessam fora da faixa. O sistema é construído para constranger quem quebra as regras, mostrando o rosto da pessoa em um telão. O problema aconteceu quando o algoritmo confundiu o apressado com um bilionário famoso no país, constrangendo-o para que todos possam ver, mas sem motivo.
  6. Decisões médicas envolvem, além da saúde dos pacientes, grandes quantias de dinheiro, em especial quando seguradoras fazem parte do processo. Samuel Finlayson, pesquisador da Universidade de Harvard e do MIT, alerta que algoritmos de diagnóstico por IA podem ser facilmente alterados para maximizar o lucro do setor de seguros.
  7. Programadores serão “cancelados” pelos seus próprios algoritmos? Certamente veremos cada vez mais modelos de IA escrevendo linhas de código. É fato que algoritmos vão automatizar processos menos criativos da programação, mas, no futuro próximo, ainda haverá a necessidade de humanos para assegurar a qualidade dos sistemas e desenvolver soluções inovadoras.
  • Bônus: IA cancelando IA.  a Wikipedia usa bots há mais de duas décadas para corrigir erros, atualizar verbetes e checar links. Só que estes robôs são de diferentes gerações e receberam comandos distintos - por vezes, contradizentes. Uma pesquisa constatou que existem disputas internas de algoritmos na enciclopédia virtual, inclusive alguns em loops infinitos corrigindo uns aos outros.

E no Brasil?

Enquanto os casos acima foram revelados pela imprensa ou divulgados pelos próprios desenvolvedores, há poucos episódios conhecidos de pessoas canceladas por algoritmos no Brasil. Não significa, porém, que não aconteça por aqui.

Conteúdo exclusivo para membros da The Shift

Aproveite a promoção e assine

Brasil se destaca em adoção de Inteligência Artificial

Inteligência Artificial

Brasil se destaca em adoção de Inteligência Artificial

Pesquisa da IBM revela que a taxa de adoção acelerou no país em 2020, enquanto o mundo pisou no freio, por diversos motivos. A expectativa é de retomada em 2021

Por Cristina De Luca
Para vencer com Inteligência Artificial mude a cultura

Inteligência Artificial

Para vencer com Inteligência Artificial mude a cultura

As empresas que usam bem a IA e já capturam algum valor, têm uma pegada diferente: têm uma cultura data-driven e se enxergam, verdadeiramente, habilitadas por IA

Por Cristina De Luca
Enfim, uma estratégia de IA para o país

Inteligência Artificial

Enfim, uma estratégia de IA para o país

Plano orientará as políticas públicas para o desenvolvimento da tecnologia no país, mas já nasce atrasado e necessita de ajustes, na opinião de players do ecossistema digital

Por Cristina De Luca
40 livros, filmes, séries e documentários sobre algoritmos

Inteligência Artificial

40 livros, filmes, séries e documentários sobre algoritmos

Quando a realidade começa a ficar mais assustadora que a ficção científica, é hora de parar e refletir. Que tal um binge literário e audiovisual para entender e pensar mais sobre riscos e oportunidades da IA e do algoritmo?

Por Marina Hortélio
Bloqueados por um algoritmo: sete vezes em que a IA cancelou o usuário

Inteligência Artificial

Bloqueados por um algoritmo: sete vezes em que a IA cancelou o usuári...

Enquanto soluções de Inteligência Artificial são cada vez mais usadas em todas as indústrias, crescem também os casos de pessoas que foram bloqueadas por um algoritmo

Por João Ortega
Temor ou cuidado? Qual deve ser a nosso sentimento diante da IA?

Inteligência Artificial

Temor ou cuidado? Qual deve ser a nosso sentimento diante da IA?

Ambos, na justa medida. Entre as narrativas apocalípticas utópicas, precisaremos apostar no bom senso e nos agarrarmos aos valores e à ética humanos para garantir os benefícios da tecnologia

Por Cristina De Luca