No início deste mês, o Ministério da Segurança da Argentina anunciou a criação de uma “Unidade de Inteligência Artificial Aplicada para Segurança”, uma força-tarefa especial cuja missão será “usar algoritmos de aprendizado de máquina para analisar dados históricos de crimes para prever crimes futuros e ajudar a preveni-los”. Você pode ler o anúncio original em espanhol aqui.
Agora, quaisquer que sejam os argumentos a favor e contra a criação deste novo curso de combate ao crime, todas as pessoas menos engraçadas que leram o título desta história pularam o artigo completamente para postar Gifs animados de Tom Cruise operando o que parece ser um Xbox Kinnect. Porque se você ler a frase “prever crimes futuros”, você vai pensar Relatório Minoritárioa adaptação da história de Philip K. Dick, estrelada por Cruise e dirigida por Steven Spielberg, O Relatório Minoritário. Afinal, a inteligência humana não é realmente útil para muito mais do que jogar Snap.
No entanto, vale ressaltar que esta não é nem a primeira vez que Relatório Minoritário tornou-se uma realidade. Caso você tenha perdido, alguns anos atrás a Universidade de Chicago usou dados disponíveis publicamente para prever crimes futuros uma semana antes de eles acontecerem com, segundo ela, 90 por cento de precisão. E em 2018, a Polícia de West Midlands no Reino Unido estava pesquisando uma “National Data Analytics Solutions (NDAS)” que usaria uma “combinação de IA e estatísticas” para prever crimes violentos.
Bem como referências a Relatório Minoritáriohistórias como essa também tendem a convidar a recompartilhamentos de uma postagem feita pelo escritor Alex Blechman há três anos:
“Autor de ficção científica: No meu livro, inventei o Torment Nexus como um conto de advertência.
Empresa de tecnologia: Finalmente, criamos o Torment Nexus a partir do clássico romance de ficção científica Don’t Create The Torment Nexus.”
Há verdade nisso. Por mais esperançosa que seja a ficção científica, como Jornada nas Estrelas inspirou a tecnologia da vida real com seus comunicadores, hiposprays e tricorders, o gêmeo distópico do gênero forneceu muitos contos de advertência que levaram as pessoas a pensar: “Isso é legal e vou pagar para fazer isso acontecer”. Basta olhar para todas as pesquisas nos últimos 30 anos que foram feitas para saber se é possível fazer um parque temático de dinossauros!
Mas gritando Relatório Minoritário sempre que alguém decide tentar a sorte neste tipo de tecnologia é um problema, a ponto de Relatório da Minoria vale como um pedaço de comentário social começa a quebrar. Deixe-nos explicar.
O Relatório da Maioria
O primeiro ponto de ordem é que em Relatório Minoritárioa polícia não criou realmente uma IA que possa prever quando os crimes vão acontecer. Relatório Minoritárioo MacGuffin que permite a “Polícia Pré-Crime” não é um computador, mas três mutantes psíquicos presos em uma banheira. E estamos mais longe de desenvolver tecnologia de mutantes em banheiras do que você imagina.
Um análogo mais próximo do tipo de tecnologia pré-crime que aparece repetidamente nas manchetes é o programa de TV Pessoa de interesse. Um dos shows mais pós-11 de setembro que você poderia imaginar, Pessoa de interesse nos dá um inventor que desenvolve uma IA que pode prever o futuro com 100 por cento de precisão. O governo quer usá-la para prever e prevenir ataques terroristas, mas quando o inventor descobre que o governo está descartando previsões de outros assassinatos e crimes violentos, ele se torna um justiceiro.
Com ambos Relatório Minoritário e Pessoa de interessequalquer tentativa de usar essas histórias para analisar como essas tecnologias poderiam ser aplicadas no mundo real rapidamente se desintegra por causa de uma diferença crucial. Na ficção, essas tecnologias trabalhar.
Não é de se surpreender que, após o 11 de setembro, houvesse muitas pessoas interessadas em usar computadores para analisar dados e prever quem se tornaria um terrorista. Muito rapidamente, essas soluções se depararam com um problema (é um debate para outro lugar se isso era realmente um “problema” no que diz respeito às pessoas que implementaram essas soluções) — há muito mais pessoas que preenchem os critérios para “possível terrorista” do que terroristas. Alguém que está bravo com política e está comprando uma grande quantidade de fertilizante pode estar planejando construir uma bomba. Mas é muito mais provável que você esteja prestes a prender um homem inocente que gosta de se manter informado sobre eventos atuais e gosta de jardinagem. Claro que os critérios para essas previsões não se limitam àqueles que estão comprando fertilizantes — também incluem características demográficas. A linha entre “policiamento preditivo” e “perfil racial” é tão tênue que é praticamente impossível de ver.
Um exemplo específico da vida real ocorreu em Chicago em 2013, quando um homem negro chamado Robert McDaniel apareceu na “lista de calor” preditiva do Departamento de Polícia de Chicago. Muito parecido com Pessoa de interesseo sistema que a polícia usou previu que McDaniel estaria envolvido em um crime violento, mas não conseguiu dizer se ele seria o atirador ou a vítima. Então a polícia foi falar com ele.
Como McDaniel era um homem negro de um bairro pobre que já havia tido problemas com a polícia por crimes relacionados à maconha e jogos de azar na rua, mas nada violento, isso levantou suspeitas entre alguns vizinhos quando ele foi visto sendo visitado pela polícia, mas não foi preso.
McDaniel se viu sob constante vigilância policial enquanto os amigos começaram a se distanciar. As pessoas presumiram que ele estava informando a polícia, e as alegações de McDaniel sobre uma “lista de calor” preditiva soaram como ficção científica. Eventualmente, essas suspeitas o levaram a ser baleado.
É deprimentemente, amargamente irônico. Quase como uma história ruim de ficção científica. O algoritmo projetado para prevenir o crime causou o próprio crime que ele previu e um homem inocente foi baleado.
Só que não é nem de longe tão inteligente. Apesar de todo o cenário de IA que essas tecnologias usam, o fato é que os critérios de seleção inevitavelmente assam os preconceitos das pessoas que os encomendam. Veja esta história, sobre um programa de computador que observou duas pessoas que estavam envolvidas em um crime idêntico, mas previu que o negro tinha mais probabilidade de reincidir.
Claro Relatório Minoritário e Pessoa de interesse são ambas ficção científica, e como regra as pessoas preferem que a tecnologia em sua ficção científica funcione. Ninguém quer ler um livro sobre uma máquina do tempo que pode viajar para o futuro a uma taxa de um segundo por segundo.
Mas, assim como esses supostos programas pré-crime, ambas as histórias vêm com preconceitos embutidos.
Pré-crime, não pré-justiça
A abertura de Relatório Minoritário vê um homem chegar em casa mais cedo e encontrar sua esposa dormindo com outro homem, pega uma tesoura do criado-mudo e mata os dois — ou pelo menos teria feito isso se Tom Cruise não tivesse heroicamente aparecido e o impedido.
O suposto assassino é preso por crimes que ele teria cometido e colocado em uma cápsula de animação suspensa para sempre.
Agora, mesmo assumindo um sistema de previsão de crimes 100% funcional e preciso, sem nenhum relatório incômodo de minorias (o único relatório isolado que é a única concessão da história à ideia de que ele pode não ser totalmente preciso), você ainda está olhando para um monte de questões legais e de direitos humanos antes que este se torne um sistema viável.
Este foi um crime passional, cometido no momento, que nunca aconteceu. Por que é certo que a polícia deve invadir, espancar esse homem e colocá-lo em coma induzido, em vez de, digamos, invadir, acalmar o sujeito e oferecer a ele um curso de aconselhamento?
Pessoa de interessecom seus créditos de abertura e cenas de câmeras de segurança intercaladas entre as cenas, parece ser um comentário sobre o panóptico de vigilância onipresente em que vivemos, mas o principal problema dos personagens com a maneira como o governo usa a tecnologia de vigilância definitiva é que eles não a usam suficiente. Provavelmente não é uma coincidência que Pessoa de interesse é escrito por Jonathan Nolan, irmão de Christopher Nolan que nos deu O Cavaleiro das Trevas“A tecnologia de vigilância total é maligna e opressiva, mas não tem problema que o Batman a use só dessa vez como um presente”.
Um debate que deveria ser sobre o excesso de poder da polícia e o direito à privacidade dissolve-se rapidamente em grosseria 24-estilo “Ok, mas e se houvesse um bebê amarrado a uma bomba nuclear?” estilo hipotético. Seja intencional ou não, ambas as histórias pré-crime acabam agindo quase como propaganda para o tipo de vigilância abrangente e grave exagero policial que elas supostamente existem para criticar.
Mas esse é um problema que vemos surgir repetidamente em todo o gênero de ficção científica.
Vamos construir o Torment Nexus novamente
Vamos embora Relatório Minoritário e pré-crime para trás por um momento para, em vez disso, olhar para o impulso constante em direção à tecnologia de drones controlada por IA. Como antes do crime, sempre que alguma notícia nessa área aparece, ela imediatamente inunda as mídias sociais com um milhão de pessoas fazendo piadas sobre O Exterminador do FuturoSkynet da empresa.
A narrativa da ficção científica é clara aqui. Damos armas à IA, a IA ganha autoconsciência, a IA mata seus criadores.
É uma ameaça levada a sério no mais alto níveis, como esta história do ano passado quando o Coronel da Força Aérea Tucker “Cinco” Hamilton disse durante uma cúpula que houve uma simulação onde uma IA identificando ameaças de mísseis terra-ar percebeu que ganhava mais pontos se seu operador humano não dissesse para não matar a ameaça. Então a IA matou o operador porque eles estavam impedindo que ele cumprisse seu objetivo.
É uma história assustadora. Também é completamente inventada. Muito depois de todo o Twitter ter usado todos os seus gifs de reação de Arnold Schwarzenegger, a Força Aérea dos EUA divulgou uma declaração dizendo que a “simulação” sobre a qual Hamilton falou era “uma hipótese”.
Agora, a maioria das pessoas, incluindo muitos escritores de ficção científica, consideraria uma hipótese como essa como uma excelente razão para não construir robôs assassinos com inteligência artificial. Mas as pessoas que criam esses cenários geralmente estão muito envolvidas no setor.
E a pista de por que eles continuam empurrando essa narrativa vem da velha máxima da IBM de que “um computador nunca pode ser responsabilizado, portanto nunca deve tomar uma decisão de gestão”. Há muitos cenários militares em que a ideia de decisões serem tomadas por alguém que não pode ser responsabilizado é, na verdade, extremamente desejável. Em abril, Israel supostamente usou bancos de dados “alimentados por IA” para elaborar listas de alvos de bombardeio em Gaza.
Pessoas como Elon Musk evocam imagens de ficção científica quando falam sobre como a IA é um risco para a humanidade, ao mesmo tempo em que acumulam dinheiro para criá-la. Isso porque nenhuma IA atualmente em desenvolvimento vai superar a inteligência humana. Mas pode ser usado para desvalorizar o trabalho humano e reduzir os salários.
Não há nada de novo sobre a ficção científica inadvertidamente defender as coisas contra as quais ela afirma estar alertando. Os escritores de ficção científica sempre amado o Nexus do Tormento. Um dos Jornada nas Estrelas vilões mais icônicos, Khan Noonien Singh, foi um super-homem criado pela eugenia. Mais uma vez, sua primeira aparição no Termos de Serviço episódio “The Space Seed”, que foi um aviso sobre os perigos da eugenia e como criar a humanidade para ser mais forte e com maiores intelectos levaria à tirania e opressão. Exceto no episódio, também, você sabe, funcionou. Tudo o que sabemos hoje sobre a eugenia nos diz que é uma ciência de bacalhau apoiada por uma ideologia terrível, mas mais de 50 anos depois, Khan ainda lança uma sombra superpoderosa sobre o Jornada nas Estrelas universo.
Ou olhe para quase qualquer distopia de ficção científica que você queira nomear — os incontáveis imitadores de Orwell no gênero. Vigilância impecável, eficiência implacável, controle absoluto, essas são as coisas que caracterizam os governos tirânicos da ficção científica. É um retrato que lisonjearia qualquer regime opressivo do mundo real — enquanto, na realidade, eles são mais propensos a se assemelhar ao de Terry Gilliam. Brasil.
A ficção científica é um gênero que, apesar de todo o seu exagero e tolice, ama para se levar a sério. É o gênero que faz as grandes perguntas, que é capaz de olhar ao redor da esquina e nos contar sobre nosso mundo em rápida mudança como ele realmente é. E é certo fazer isso. Nosso mundo está se tornando mais ficção científica o tempo todo. O que significa que os contadores de histórias que trabalham no gênero precisam pensar muito cuidadosamente sobre o que estão dizendo sobre esse mundo. Relatório MinoritárioTom Cruise interpreta um instrumento de um sistema opressivo que usa a promessa de segurança para violar os direitos constitucionais dos cidadãos, mas a mensagem dessa história pode ser perdida quando esse sistema opressivo parece muito, muito legal.
