Sistemas algorítmicos já decidem quem terá acesso a crédito, emprego, benefícios sociais, conteúdos informacionais e até visibilidade no espaço digital. Essas decisões são rápidas, escaláveis e, à primeira vista, neutras. Mas será que realmente são? E, mais importante: quem protege grupos vulneráveis e minorias quando a discriminação passa a ser automatizada?

A chamada discriminação algorítmica surge exatamente nesse ponto de tensão. Ela ocorre quando decisões automatizadas produzem efeitos desiguais injustificados, reproduzindo ou aprofundando desigualdades históricas. O problema não está apenas na tecnologia em si, mas na forma como dados, modelos e escolhas normativas são combinadas, muitas vezes de modo opaco e sem controle adequado.

Por que a discriminação algorítmica importa hoje?

A inteligência artificial deixou de ser uma promessa futurista. Ela está presente em plataformas digitais, serviços públicos, sistemas de vigilância, processos seletivos e análises de risco. O uso crescente dessas ferramentas desloca decisões sensíveis do espaço humano para arquiteturas técnicas que operam com base em dados históricos.

O ponto crítico é que esses dados, ou a forma como eles são tratados, podem carregar desigualdades. Se sociedades são estruturalmente desiguais, algoritmos treinados com esses dados tendem a reproduzir esses padrões. Mulheres, pessoas negras, populações indígenas, pessoas com deficiência e outros grupos historicamente discriminados acabam sendo afetados de forma desproporcional por classificações automatizadas, scores de comportamento e sistemas de recomendação.

Nesse cenário, confiar apenas na neutralidade tecnológica é uma ilusão perigosa.

O problema jurídico: neutralidade estatal é suficiente?

Tradicionalmente, os direitos fundamentais foram concebidos como limites ao poder do Estado. Bastaria a ele não interferir para que liberdade e igualdade fossem preservadas. Esse modelo, porém, mostra-se insuficiente em sociedades complexas e tecnologicamente mediadas.

Quando a discriminação decorre da atuação de plataformas privadas ou de sistemas automatizados, a omissão estatal deixa de ser neutra. Não agir pode significar permitir que violações se perpetuem em escala ampliada.

É aqui que entra uma pergunta central: o Estado pode permanecer passivo diante da discriminação algorítmica ou possui o dever constitucional de atuar para preveni-la e corrigi-la?

O dever de proteção estatal como chave de leitura

A teoria do dever de proteção estatal (Schutzpflicht), desenvolvida no constitucionalismo alemão e amplamente recepcionada no Brasil, oferece uma resposta consistente. A partir da dimensão objetiva dos direitos fundamentais, o Estado não é apenas proibido de violar direitos: ele é obrigado a protegê-los de forma ativa, inclusive contra ameaças provenientes de particulares.

Isso significa que o Estado deve:

– Prevenir riscos previsíveis aos direitos fundamentais;

– Corrigir práticas discriminatórias estruturais;

– Assegurar mecanismos eficazes de reparação.

No contexto algorítmico, esse dever se traduz em obrigações como regulação adequada, fiscalização técnica, transparência decisória e garantia de revisão de decisões automatizadas.

Grupos vulneráveis e minorias no ambiente digital

 Nem todos são impactados da mesma forma pela tecnologia. Grupos vulneráveis enfrentam assimetrias de informação, poder e acesso, como consumidores diante de plataformas digitais. Minorias, por sua vez, carregam um histórico persistente de discriminação identitária, o que exige salvaguardas reforçadas.

No ambiente digital, essas vulnerabilidades se intensificam, uma vez que algoritmos podem:

– Negar oportunidades com base em padrões estatísticos enviesados;

– Invisibilizar determinados grupos;

– Reforçar estereótipos históricos sob aparência técnica.

Por isso, o dever de proteção estatal não pode ser genérico. Ele deve ser proporcional ao risco e sensível ao contexto, distinguindo situações que exigem correção de assimetrias funcionais daquelas que demandam proteção identitária reforçada.

Um convite à reflexão

A Constituição brasileira já oferece fundamentos claros para enfrentar a discriminação algorítmica: dignidade da pessoa humana, igualdade material e proibição de discriminações. Instrumentos como a Lei Geral de Proteção de Dados Pessoais também apontam caminhos importantes, como o direito à revisão de decisões automatizadas.

Mas ainda há muito a ser discutido:

– Até onde vai a responsabilidade estatal?

– Como calibrar proteção e inovação?

– Quais são os limites de neutralidade tecnológica?

Essas questões são desenvolvidas de forma aprofundada no artigo “As implicações do reconhecimento de um dever de proteção estatal (Schutzpflicht) na proteção de grupos vulneráveis e minorias em face da discriminação algorítmica”, que será publicado na Revista de Direito Civil Contemporâneo – RDCC 46, em março de 2026.

Se você quer compreender como o constitucionalismo pode oferecer respostas jurídicas robustas aos desafios da inteligência artificial, vale a leitura completa.

AUTORES:

Mônia Clarissa Hennig Leal – Professora do Programa de Pós-Graduação em Direito da Universidade de Santa Cruz do Sul (Unisc). Doutorado em Direito pela Universidade do Vale do Rio dos Sinos (Unisinos).

Dérique Soares Crestane – Doutorando em Direito na Unisc. Mestre em Direito pela Unisc.