A IA mexe com as empresas: segurança, custos e governança

Por atividades profissionais, tenho conversado com muitas empresas sobre IA e sua utilização. A primeira observação é que todos querem usar mas ainda não sabem exatamente como, enquanto fazem tentativas quase sempre dirigidas para soluções ofertadas por big techs que buscam padronizar o uso com seus pacotes proprietários.

O problema é que a utilização pessoal da IA, a partir do ChatGPT, se disseminou e os funcionários têm suas preferências para uso de modelos que nem sempre combinam com os pacotes padrão. Além disso, todo dia surgem novidades, cada uma melhor que a outra.

A combinação de preferência pessoal com a facilidade de acesso a uma assinatura provoca o chamado shadow AI, com cada um usando a sua IA com dados da empresa - um perigo potencial para a segurança. Uma maneira da empresa administrar isso é com um governança que permita a orquestração do uso oficial de vários modelos do mercado e que controle quem usa o quê. A governança é fundamental porque também o custo de tokens(a unidade básica de medida de utilização) é alto e tende a subir de forma explosiva com a proliferação do uso. A falta de coordenação faz com que se use modelos pesados, e caros, para tarefas simples ou modelos que não seriam os melhores para cada atividade.

A mais recente tendência para utilização de agentes autônomos implica também na necessidade de saber o que está acontecendo nessa autonomia. Agentes podem entrar em loop, ou seja, se tornarem repetitivos por um erro no desenvolvimento e a conta ficar pesada. O hype para uso de IA tem sido tão forte que algumas empresas criaram métricas para avaliar funcionários pela quantidade de tokens que usavam. Isto é, se usam pouco é porque são incompetentes - até que a conta chegue. O custo do hype tem sido alto. Orçamentos do ano têm sido gastos em semanas, assustando a administração que busca voltar atrás e colocar ordem na casa. Outros problemas aparecem. Recentemente o governo dos EUA proibiu o uso de alguns modelos de IA por cidadãos estrangeiros. Quer dizer que uma empresa pode ter definido um modelo para utilizar e, de repente, ficar travada. Melhor fizeram os chineses que lançaram modelos open source(código aberto), utilizáveis por qualquer um, sem restrições geopolíticas. Outro problema de segurança é sobre o data center onde seus dados estão armazenados. A maior parte dos dados das empresas brasileiras está armazenada em data centers nos EUA e os tribunais americanos obrigam a que dados armazenados por empresas americanas devem poder ser acessados em caso de ações na justiça. Como sair dessa?

Com o desenvolvimento de modelos nacionais, difíceis pelo custo astronômico, considerando a velocidade alucinante da tecnologia ou com o armazenamento nas próprias instalações das empresas considerando que novos hardware já conseguem rodar modelos dentro de casa.

Enquanto isso, a IA vai provocando mudanças para todo lado. A corrida para ficar relevante e aparecer na frente com sua empresa nas consultas feitas ao Google já não vale mais. A maioria das pessoas não clica mais nos links e se contenta com o resumo feito pela IA no início. Significa que a empresa tem que dar um jeito de se tornar visível para as IAs nos seus treinamentos. Uma novidade. A relação com clientes também muda. Bots cada vez mais inteligentes, agentes autônomos, não mais só conversam como resolvem problemas a qualquer hora seja de madrugada ou fim de semana. Quem ficar atendendo só em horário comercial está fora.

O desenvolvimento de programas de computador está sendo feito pela IA com altíssima produtividade. Relatórios inteiros são analisados e escritos em minutos. SaaS são substituídos por agentes, tem gente falando em SaaSapocalypse. Equipes de BI somem quando executivos podem pedir relatórios, gráficos ou planilhas diretamente para a IA, e por voz em linguagem natural. Muitos empregos vão desaparecer, sim. Outros vão surgir. O balanço não está claro ainda. Empresa que deixa IA por conta da área de TI também não está entendendo nada. O assunto é estratégico. É tema para CEOs e Conselhos de Administração. E na próxima semana mais coisas podem acontecer. Amarrem os cintos.