Sistemas autônomos ganham protagonismo e exigem novas estratégias regulatórias para lidar com riscos desde a origem; confira novo post do blog
Seja por sua capacidade transformadora inquestionável, seja pelo ritmo acelerado de desenvolvimento que desafia marcos regulatórios, éticos e institucionais, é fato que, nos últimos anos, as tecnologias de inteligência artificial têm ocupado o centro dos debates – não apenas no setor tecnológico, mas em praticamente todos os domínios da economia e da sociedade.
Ferramentas como algoritmos de recomendação, assistentes virtuais, sistemas de reconhecimento facial, modelos preditivos aplicados a negócios e a própria IA generativa – capaz de criar textos, imagens, músicas e até códigos de software – já estão remodelando a forma como produzimos, consumimos e tomamos decisões. Esses avanços têm gerado impactos relevantes em diversas áreas: das relações de trabalho à proteção de dados, das políticas de consumo à regulação setorial, exigindo uma expressiva adaptação tanto do setor público quanto privado.
Contudo, de forma surpreendente – ou nem tanto – em 2025, mais um elemento aparenta integrar os holofotes: os agentes de IA. Embora ainda dependam de diretrizes e objetivos previamente definidos por humanos, esses sistemas se diferenciam por sua capacidade de operar com alto grau de autonomia e de atuar de forma integrada entre diferentes funções e plataformas.
Eles podem tomar decisões contextuais, executar tarefas de forma proativa e interagir dinamicamente em ambientes digitais complexos, coordenando suas ações para otimizar resultados e melhorar a experiência do usuário.
Em termos práticos, é possível empregá-los:
- em sistemas de atendimento ao cliente – não como os chatbots convencionais, pois esses agentes contam com camadas avançadas de inteligência – adaptando respostas com base no histórico do usuário e conduzindo negociações de menor complexidade de maneira autônoma e contextualizada;
- na organização de rotinas operacionais, com funções como o reagendamento automático de compromissos, a priorização inteligente de tarefas e até a realização de compras online com base em preferências e padrões de consumo previamente identificados;
- ou até mesmo no campo da gestão financeira, tanto pessoal quanto corporativa, para automatizar o controle de despesas recorrentes, categorizar transações e até sugerir ajustes orçamentários alinhados a metas previamente estabelecidas.
Embora as promessas em torno das capacidades dos agentes de IA já tenham atraído grande atenção da mídia nos últimos meses, o tema ganhou ainda mais projeção com uma recente declaração de Sam Altman, CEO da OpenAI, no qual afirmou que: “Em 2025, poderemos ver os primeiros agentes de IA integrarem a força de trabalho e mudarem de forma significativa os resultados das empresas” – em tradução livre.
A fala ganha peso não apenas por vir de uma das lideranças mais influentes no desenvolvimento de tecnologias de inteligência artificial, mas também por reforçar a percepção de que estamos cada vez mais próximos de transformações relevantes, cujos contornos, limites e riscos ainda permanecem indefinidos.
Ao mesmo tempo em que apontam para ganhos de eficiência e inovação, os avanços nessa área também colocam em evidência desafios regulatórios, éticos e jurídicos, reacendendo debates sobre governança algorítmica, responsabilidade e os limites da autonomia tecnológica.
Nesse contexto, em especial, o fato de esses agentes atuarem com menor dependência de supervisão humana direta amplia a complexidade dos riscos associados ao seu uso, especialmente quando operam em contextos sensíveis como saúde, finanças, justiça ou relações de consumo.
Em ambientes com regulação ainda incipiente ou sem supervisão adequada, a autonomia dos agentes de IA pode amplificar consideravelmente os riscos de danos. Situações como decisões enviesadas ou discriminatórias, violações de direitos de terceiros, tratamento inadequado de dados pessoais, geração de informações falsas e até sua manipulação para fins maliciosos, como ciberataques, tornam-se riscos concretos.
A imprevisibilidade desses sistemas, combinada com a dificuldade em rastrear a origem de suas decisões e identificar um agente a quem imputar responsabilidades, torna o controle e a reparação de danos consideravelmente desafiadores.
Vulnerabilidades da IA
Entretanto, compreender a dimensão desses riscos exige olhar além da fase de aplicação e uso. Como bem explorado no white paper Navigating the AI Frontier, do World Economic Forum, muitas das vulnerabilidades associadas aos agentes de IA têm origem ainda nas fases iniciais de concepção e desenvolvimento. É nesse estágio que são definidos os graus de autonomia, os critérios de tomada de decisão e os limites operacionais – escolhas que moldam o comportamento do sistema e que, se mal estruturadas, podem intensificar significativamente seus impactos negativos, sobretudo na ausência de supervisão humana direta.
Nesse contexto, o AI Risk Frameworks, uma iniciativa do Massachusetts Institute of Technology (MIT), reúne uma compilação de taxonomias relevantes sobre os riscos associados à IA, destacando questões críticas como a disseminação intencional de agentes não supervisionados, o desalinhamento entre os interesses dos usuários e os dos agentes, a exploração de vulnerabilidades de segurança e o uso desses sistemas para fins maliciosos.
Os riscos apresentados na compilação do MIT estão diretamente associados ao recente reporte da Anthropic sobre o comportamento de “scheming” do Claude Opus 4, seu novo modelo de Large Language Model (LLM). Esse comportamento refere-se à capacidade do modelo executar ações potencialmente prejudiciais de forma estratégica, sem comandos diretos do usuário. Em razão desse comportamento, o nível de risco de segurança do modelo foi classificado como 3, em uma escala de 1 a 4, pela primeira vez.
Todo esse cenário demonstra de maneira inequívoca que a mitigação de riscos não pode se limitar à regulação ex post ou à adoção de medidas corretivas após a ocorrência de danos. Ao contrário, demanda uma abordagem transversal e preventiva, que considere o ciclo de vida completo desses sistemas. Isso implica incorporar salvaguardas técnicas, mecanismos de responsabilização e princípios de transparência desde as primeiras etapas do design até sua implementação e uso efetivo – garantindo que a autonomia seja acompanhada de níveis proporcionais de controle e supervisão.
Sejam os agentes de IA apenas mais um capítulo no ciclo de “hypes” tecnológicos ou, de fato, o marco de uma nova era em que softwares autônomos passam a influenciar – ou até substituir – decisões humanas em larga escala, o desafio permanece o mesmo quando se fala em IA: construir marcos regulatórios que não atuem apenas sobre os efeitos, mas que alcancem as causas. Isso significa olhar para o código, a arquitetura e as decisões tomadas ainda na fase de desenvolvimento. É ali que se define, de fato, o grau de risco e consequências que estamos dispostos a tolerar.
The content of this article is intended to provide a general guide to the subject matter. Specialist advice should be sought about your specific circumstances.
