Pedro Valls Feu Rosa é desembargador do Tribunal de Justiça do Espírito Santo |  Foto: Divulgação

Nos idos de 1999 o governo do Reino Unido implementou um sistema informatizado denominado “Horizon”, destinado a fiscalizar de forma automática a contabilidade de dados concessionários de serviço público.

A ideia era boa: substituir as prestações de conta em papel pela modernidade dos computadores. O problema é que o programa tinha uma séria falha, qual a de fazer desaparecer valores da contabilidade, dando a impressão de que haviam sido desviados.

O governo do Reino Unido, então, diante de relatórios aparentemente corretos indicando o desaparecimento de fundos, acionava a polícia e a justiça.

Os acusados, no mais das vezes, não tinham como se defender diante de documentos contábeis gerados por um sistema dos mais avançados do mundo. Acabavam caindo em desgraça e até mesmo condenados criminalmente.

Detectado o erro do sistema, apurou-se que ao longo de 16 anos mais de 700 pessoas foram condenadas injustamente a penas de prisão. Muitas outras perderam suas economias para “restituir” aqueles valores supostamente desviados. Todas, sem exceção, tiveram suas vidas e sua reputação destruídas. Algumas decidiram fugir pela via do suicídio.

Quem paga por isso? Aliás, é possível pagar-se por isso?

Diante deste exemplo, peço licença para oferecer uma reflexão. Não sou um reacionário – muito pelo contrário, escrevo programas de computador há quase 50 anos. Já apresentei alguns deles nos EUA, no Reino Unido, na Suécia e Austrália. Fui um dos pioneiros, em nível mundial, na elaboração de sistemas de decisão baseados na arquitetura de redes neurais. Sempre busquei a modernidade.

É com esta legitimidade que questiono veementemente um mundo no qual algoritmos “burros” são definidos como “inteligência artificial”. Um tempo onde calibrar-se a execução de uma expressão matemática recebe o nome de “aprendizado” ou “treinamento”. O pior: uma era na qual o que sai de um sistema informatizado qualquer tem presunção de veracidade, com reflexos sérios na vida das pessoas – da civil à criminal, passando pela profissional.

Eu recrimino, e com todas as minhas forças, quem submete a vida e a honra de seus semelhantes a algoritmos, cujas variáveis fogem ao conhecimento dos próprios programadores. Eu repudio o uso de fórmulas matemáticas “cegas” como instrumento de controle de países inteiros. Isso está errado! Isso não pode ser!

A humanidade precisa, com urgência, definir parâmetros de transparência para tais sistemas. Impor mecanismos de revisão. Proporcionar à sociedade civil organizada instrumentos para que os auditem. Estabelecer o que programas de computador podem e o que não podem fazer de forma autônoma. Criar meios de prevenir erros, inclusive judiciários, deles decorrentes. Diferenciar formalmente o ato de complementar o ser humano daquele de substituí-lo.

Não será fácil. Enfrentaremos, nesta quadra, estruturas sinistras. Arrisco dizer ser este o desafio maior dos nossos tempos. Mas superá-lo significará preservar a democracia e a cidadania. Talvez a sua própria felicidade. Ou a da raça humana.