Quem audita o algoritmo? O ponto cego da ética em IA no Brasil

A inteligência artificial deixou de ser promessa de futuro para se tornar infraestrutura do presente. Sistemas algorítmicos já participam de decisões sobre crédito, publicidade, seleção de conteúdo, preços, recrutamento, segurança pública, saúde e acesso a serviços. Decisões antes tomadas por gerentes, médicos, professores, jornalistas ou agentes públicos são cada vez mais mediadas por modelos estatísticos treinados em grandes bases de dados — frequentemente opacas para aqueles que serão afetados por seus resultados. Neste âmbito, a pergunta mais importante talvez não seja apenas quem desenvolve a inteligência artificial, mas quem audita o algoritmo.

O Brasil começou a construir mecanismos de governança de IA, mas ainda não possui capacidade institucional, técnica e orçamentária suficientemente consolidada para garantir que a auditoria acompanhe a velocidade e a escala da adoção dessas tecnologias. Enfrenta uma assimetria estrutural: utiliza sistemas que nem sempre domina tecnologicamente e pretende regulá-los sem dispor, na mesma escala, de infraestrutura computacional, pesquisadores, dados qualificados e instituições capazes de examiná-los de forma independente. O problema, portanto, não é exclusivamente tecnológico. É institucional, educacional, econômico e, sobretudo, ético.

A ética começa antes do algoritmo

É comum tratar a ética em inteligência artificial como uma etapa posterior ao desenvolvimento tecnológico: cria-se o sistema e, depois, avaliam-se seus riscos. Essa lógica é insuficiente. A própria capacidade — ou incapacidade — de um país compreender, testar e fiscalizar tecnologias que afetam seus cidadãos constitui uma questão ética.

Um Estado que utiliza ferramentas algorítmicas sem possuir competência para avaliar seus critérios, limitações e possíveis vieses transfere parte de sua capacidade decisória a sistemas que não controla integralmente. Quando esses sistemas são desenvolvidos por empresas estrangeiras e aplicados a populações com características sociais, econômicas e culturais distintas dos presentes nos dados originais, o problema se agrava.

Não se trata de defender autarquia tecnológica. Nenhum país precisa produzir sozinho todas as tecnologias que utiliza — nem a União Europeia o faz, e ainda assim construiu, com o AI Act, um dos modelos regulatórios mais influentes do mundo em governança de IA. Trata-se de assegurar capacidade crítica, científica e institucional suficiente para compreender aquilo que se compra, fiscalizar aquilo que se utiliza e contestar aquilo que produz injustiça. Regular o que não se consegue examinar tecnicamente corre o risco de transformar a regulação em mera declaração de intenções.

O verdadeiro déficit brasileiro

A discussão sobre IA costuma concentrar-se na aquisição de computadores, servidores e modelos mais poderosos. O déficit, entretanto, é mais profundo. O Brasil precisa formar e reter pesquisadores, ampliar a infraestrutura de computação científica, produzir bases de dados representativas da população e estimular a pesquisa interdisciplinar que reúna ciência da computação, estatística, direito, filosofia, ciências sociais, saúde e ética aplicada.

Sem essa estrutura, permaneceremos consumidores de tecnologias concebidas segundo prioridades comerciais e parâmetros definidos em outros centros de poder — dependentes de auditorias feitas, quando feitas, pelas próprias empresas que vendem os sistemas.

Há ainda um problema educacional, distinto do institucional. Não basta ensinar a população a utilizar ferramentas de inteligência artificial; é necessário desenvolver letramento algorítmico — a capacidade de compreender que sistemas digitais selecionam, classificam, recomendam, hierarquizam e, em determinadas circunstâncias, excluem.

Um cidadão pode utilizar diariamente uma plataforma sem saber que seus dados alimentam sistemas capazes de influenciar aquilo que ele vê, compra ou acredita. A alfabetização digital, portanto, precisa ultrapassar o domínio operacional da tecnologia e alcançar a compreensão crítica de seu funcionamento e de seus efeitos.

Dados protegidos não significam cidadãos protegidos

O desafio tornou-se ainda maior com sistemas de IA capazes de processar enormes volumes de informações, estabelecer correlações e inferir características e comportamentos deduzidos a partir de padrões de navegação, geolocalização ou hábitos de consumo.

A questão ética, portanto, não se esgota na pergunta “quem possui o dado?'. É necessário perguntar o que o sistema consegue inferir a partir dele, para que finalidade, com quais consequências e sob quais mecanismos de contestação.

E quem audita a IA do Estado?

Há uma dimensão especialmente sensível que ainda recebe atenção insuficiente: a inteligência artificial utilizada pelo próprio poder público. Se um algoritmo participa da seleção de beneficiários de uma política social, da identificação de riscos, da fiscalização, da segurança pública, da gestão da saúde ou de qualquer outra decisão estatal que possa afetar direitos, sua utilização deveria estar submetida a padrões rigorosos de transparência, avaliação de impacto, testes de viés, rastreabilidade e auditoria independente.

O Conselho Nacional de Justiça oferece um caso instrutivo. A Resolução CNJ nº 615/2025 estabeleceu diretrizes específicas para governança, transparência, classificação de risco e auditoria de sistemas de inteligência artificial utilizados pelo Poder Judiciário — um raro exemplo, no Brasil, de norma setorial já em vigor, e não apenas em debate.

Não basta afirmar que a decisão final pertence a um ser humano. Um agente público pode simplesmente reproduzir a recomendação produzida por um sistema que considera tecnicamente confiável. A partir de então o algoritmo deixa de ser apenas uma ferramenta e passa, na prática, a orientar decisões que podem determinar oportunidades, direitos e restrições. É precisamente nesse ponto que a ética precisa encontrar a governança.

Auditoria não é censura à inovação

Auditar um algoritmo não significa exigir que empresas revelem integralmente seus códigos-fonte ou inviabilizar a inovação. Significa criar mecanismos independentes capazes de avaliar resultados e riscos. Uma auditoria responsável deve poder examinar, conforme o grau de risco do sistema, a qualidade e representatividade dos dados, a existência de vieses discriminatórios, a taxa de erros, a explicabilidade das decisões, a segurança, a finalidade do processamento, os impactos sobre diferentes grupos sociais e os mecanismos disponíveis para contestação e reparação.

Sistemas que afetam direitos fundamentais não podem ser avaliados pelos mesmos critérios de uma ferramenta destinada apenas a recomendar uma música. É necessário, portanto, estabelecer níveis de risco e obrigações proporcionais, com maior escrutínio para tecnologias capazes de produzir consequências graves e irreversíveis.

O Brasil já avançou nessa direção. O PL 2338/2023, principal proposta de marco legal da inteligência artificial, aguarda votação na Câmara dos Deputados. O avanço legislativo é relevante, mas uma lei, por si só, não cria capacidade instalada. A pergunta permanece: quem, na prática, fiscalizará os sistemas? Com quais técnicos, orçamento e grau de independência?

Da denúncia à proposta

Diagnosticar o déficit não basta. Três frentes concretas poderiam começar a fechá-lo:

Institucional. A governança em IA só terá efeito se vier acompanhado de orçamento e quadro técnico próprios — não de mais uma atribuição acumulada por órgãos já sobrecarregados. A experiência do CNJ sugere que estruturas de auditoria podem ganhar efetividade quando há mandato claro e pessoal dedicado.

Científica e educacional. Editais permanentes de fomento à pesquisa em auditoria algorítmica, bases de dados públicas e representativas da população brasileira para testes de viés e inclusão do letramento algorítmico nos currículos de formação de professores — não apenas dos alunos — são investimentos de custo relativamente baixo e efeito estrutural de longo prazo.

Transparência ativa. Todo sistema de IA usado pelo poder público em decisões que afetam direitos deveria ter relatório de impacto algorítmico publicado antes da implementação, e não depois de um escândalo, com requisitos específicos para modelos classificados como de alto risco. Nenhuma dessas medidas exige romper com fornecedores estrangeiros de tecnologia. Todas exigem que o Estado brasileiro pare de tratar a fiscalização como reboque da inovação e passe a tratá-la como precondição para usá-la com segurança.

O ponto cego

O maior risco para o Brasil talvez não seja utilizar inteligência artificial estrangeira. É utilizá-la sem possuir capacidade suficiente para questioná-la. A soberania tecnológica do século 21 não significa necessariamente fabricar todos os componentes de uma tecnologia. Significa possuir conhecimento para compreender seus efeitos, instituições para fiscalizá-los e autonomia para estabelecer limites quando necessário.

A ética em IA, portanto, não pode ser reduzida a princípios abstratos de transparência, justiça ou responsabilidade. Esses princípios precisam encontrar pesquisadores, laboratórios, órgãos fiscalizadores, infraestrutura, legislação e mecanismos concretos de auditoria — e, sobretudo, orçamento para que essas instituições existam fora do papel. A pergunta decisiva permanece: quem audita o algoritmo?

Se a resposta for “ninguém com independência, competência e recursos suficientes', o problema brasileiro não será apenas tecnológico. Será democrático.

O Brasil precisa decidir se pretende participar da construção das regras que orientarão a inteligência artificial ou simplesmente adaptar-se às regras produzidas por outros. Porque, quando algoritmos passam a mediar decisões que afetam direitos, oportunidades e a própria percepção da realidade, deixar de compreendê-los não é neutralidade. É terceirizar poder.

(*) Oswaldo Jesus Motta é pesquisador da Cátedra Otávio Frias Filho do Instituto de Estudos Avançados da USP.

Os artigos publicados com assinatura não traduzem necessariamente a opinião do portal. A publicação tem como propósito estimular o debate e provocar a reflexão sobre os problemas brasileiros.