Imagine que um município implementa um sistema de IA para avaliar a elegibilidade de famílias a programas de habitação social. O sistema cruza rendimentos declarados, composição do agregado, histórico associado ao incumprimento de pagamento de rendas anteriores, e pontuação de risco social produzida com base em dados residentes em sistemas de informação de outros serviços públicos. Como resultado dessa análise, gera uma lista ordenada de candidatos e uma recomendação de deferimento ou indeferimento.
O técnico responsável faz a sua avaliação e apresenta a sua proposta de decisão.
O sistema foi, sobretudo, treinado com o histórico associado às decisões de atribuição de habitação social. Ora esse histórico de decisões assenta, em muitos municípios, no facto de durante muitos anos, essas mesmas decisões terem sido influenciadas por critérios informais de proximidade política, de relações com juntas de freguesia ou, simplesmente, de simples conhecimento pessoal entre candidatos e funcionários. O modelo aprendeu que determinados perfis, tais como, por exemplo, por zona de residência, por serviços sociais de referência, por tipo de agregado têm, historicamente, maior taxa de aprovação e, nessa exata medida, reproduz esse padrão como neutralidade técnica. O resultado é o de que o favorecimento que antes era exercido por um funcionário identificável, num dado e específico momento, sobre um processo identificável e que o sistema de controlo interno poderia, em teoria, detetar e sancionar, passar a ser produzido automaticamente pelo sistema, sem autor, sem momento e sem a existência de um concreto processo individual auditável.
Pensemos agora numa direção-geral que decide implementar um sistema de IA para apoiar as avaliações de desempenho dos seus trabalhadores, cruzando dados de produtividade, assiduidade, avaliações de chefias e indicadores de
qualidade associadas a cada unidade orgânica. O sistema é apresentado como uma forma de tornar o processo mais eficiente e objetivo.
Os dados históricos com que foi treinado refletem, no entanto, os enviesamentos das chefias anteriores, pelo que, por exemplo, e apenas para tornar a reflexão mais desafiante, as mulheres em determinadas categorias, apresentam sistematicamente avaliações mais baixas ao passo que os trabalhadores sindicalizados tem associado um histórico de conflito registado como de "baixa produtividade". O modelo reproduz estes padrões como se fossem factos objetivos e é daí que parte para as suas avaliações. As chefias atuais assinam as avaliações geradas pelo sistema. A progressão na carreira que se assume, como todos bem sabemos, em muitos casos, como uma decisão com impacto direto sobre direitos de acesso a posições de maior responsabilidade e influência nas diferentes entidades públicas e privadas é, no final do dia, determinada por um algoritmo que, em certa medida refira-se, institucionalizou uma discriminação infundada.
Um último exemplo que poderíamos dar seria o de uma entidade reguladora que usa um sistema de IA para priorizar as suas inspeções e outras ações de controlo, decidindo quais as empresas a fiscalizar, com que ordem e periodicidade.
O sistema foi otimizado para tornar mais eficiente e eficaz a deteção de irregularidades. Deste modo, o sistema aprende quais os perfis de empresa onde a inspeção tem maior probabilidade de identificar inconformidades e exceções, pelo que com o tempo, concentra a atividade inspetiva em empresas de menor dimensão, com menos recursos humanos, e sobretudo jurídicos, para contestar, e nas quais a deteção é, como tal, mais fácil.
Tudo isto sucede, enquanto as grandes empresas, operando em ambiente regulatórios mais robustos e de menor risco, tornam a deteção de irregularidades pela entidade reguladora mais difícil, pelo que saem sistematicamente sub inspecionadas. Também aqui, o sistema não foi manipulado por ninguém. Otimizou exatamente o que lhe foi pedido, sendo que o resultado se traduz numa fiscalização estruturalmente desigual que protege os operadores económicos com mais capacidade de influência, enquanto expõe os mais vulneráveis a sistemáticos e contínuos processos de inspeção.
Neste ecossistema de elevada complexidade, assistimos, em agosto de 2024, à entrada em vigor do Regulamento Europeu da Inteligência Artificial — o AI Act que, em nosso entender, constitui o diploma regulatório mais ambicioso que alguma vez se produziu na UE sobre tecnologia, prevendo, entre outras, um conjunto de obrigações densas para quem desenvolve ou utiliza sistemas de IA classificados como de risco elevado.
Ora é precisamente face ao AI Act que me parece que temos agora de parar um pouco e respirar, sobretudo se pretendermos, como seria desejável, harmonizar, de forma articulada e com real valor acrescentado, o que nele se prevê, com o que se dispõe no âmbito do Regime Geral de Prevenção da Corrupção (RGPC)em particular quanto às obrigações que decorrem para as entidades sujeitas à sua aplicação em matéria de elaboração de programas de cumprimento normativo e de implementação de adequados sistemas de controlo interno.
Em primeiro, lugar, é importante termos presente que o AI Act não é uma carta de boas intenções. Trata-se, efetivamente, de um conjunto de obrigações concretas, com prazos exigentes, com responsáveis identificados e com um quadro de sanções associado que não é, de todo, recomendável negligenciar, mesmo se tivermos presente que caberá a cada Estado-Membro definir regras que permitam determinar em que medida podem ser aplicadas coimas às autoridades e organismos públicos estabelecidos nesse Estado-Membro.
Existem, assim, quatro relevantes dimensões do AI Act que me parece deverem merecer a nossa atenção, sobretudo porque tornam visíveis algumas insuficiências do quadro obrigacional imposto às entidades públicas abrangidas pelo RGPC e, muito em particular, no que respeita à existência de um adequado e eficaz sistema de controlo interno (SCI) e de um Programa de Cumprimento Normativo (PCN).
A primeira é a que tem a ver com a exigência de rastreabilidade. O AI Act exige que os sistemas de IA de risco elevado permitam tecnicamente o registo automático de eventos ao longo de toda a sua vida útil, em particular permitindo identificar quem acedeu ao sistema, quando, com que dados de entrada e que resultado produziu. Estes registos devem ser conservados no mínimo seis meses. Ora o sistema de controlo interno previsto pelo RGPC não prevê nada de equivalente.
Os manuais de procedimentos que a lei exige foram concebidos para documentar decisões humanas e não para captar o comportamento de um algoritmo. Nos exemplos que tivemos oportunidade de partilhar antes, o que fica registado é a assinatura do técnico ou da chefia.
O que o algoritmo fez, com que dados, e por que razão produziu aquele resultado específico, não ficou registado em lado algum. E, naturalmente, sem registo, não há auditoria ou escrutínio possíveis.
E sem auditoria ou quaisquer outros controlos, o controlo interno será apenas e tão só uma bem-intencionada vontade, não eficazmente concretizada.
A segunda dimensão é a relativa à necessidade de existência de uma efetiva supervisão humana. O AI Act é, aqui, particularmente exigente, dado que não basta que exista uma pessoa que formalmente aprove a decisão produzida
pelo sistema. É expetável que essa pessoa compreenda, de forma muito clara, as limitações do sistema, sendo capaz de detetar anomalias e, sobretudo, revelando a capacidade técnica e a autoridade para anular o resultado e, se necessário, interromper mesmo o funcionamento do sistema.
É, como tal, uma supervisão substantiva e não apenas no papel.
Perante esta opção do AI Act, o que prevê então o RGPC?
Responsabiliza o órgão da administração e o dirigente pela implementação do PCN, sem que distinga entre uma decisão tomada por um humano e uma decisão produzida por um algoritmo e homologada ou verificada por um humano.
São, como se compreenderá, coisas materialmente distintas e não perceber isto, é não entender, de todo, a natureza e o modo de funcionamento de um sistema de controlo interno.
Nos exemplos anteriores, o técnico que assina a proposta de decisão sobre habitação social ou a chefia que subscreve a avaliação de desempenho, cumprem, ainda que de modo meramente formal, as exigências preconizadas pelo RGPC, sendo que nenhum deles estará em condições de exercer a supervisão que o AI Act exige, pelo que a responsabilidade existe apenas no papel e o controlo efetivo sobre a decisão pode mesmo nem existir.
A terceira dimensão para a qual devemos prestar atenção é a que se relaciona com a necessidade de existir uma revisão dinâmica de riscos. O RGPC exige que o Plano de Prevenção de Riscos seja revisto a cada três anos ou quando ocorram alterações estruturais na organização. Este ciclo de revisão foi desenhado para um ecossistema de riscos relativamente estáveis, ou seja, riscos que são suscetíveis de serem identificados, classificados e que se mantêm, em boa verdade, relativamente reconhecíveis ao longo do tempo.
Ora o AI Act parte de um pressuposto radicalmente diferente, assentando num sistema de gestão de riscos como um processo iterativo e contínuo ao longo de todo o ciclo de vida do sistema de IA e exigindo, nessa medida, a realização regular de revisões sistemáticas. A razão é simples e resulta diretamente dos exemplos que analisámos.
Na realidade, um sistema de IA com capacidade de aprendizagem não é o mesmo sistema em junho que era em janeiro deste ano. Deriva, evolui, alucina e, por regra, desenvolve comportamentos que ninguém previu e que nenhuma revisão trienal vai ser capaz de detetar a tempo.
E isto porquê?
Porque o risco algorítmico não respeita os calendários regulatórios a que o RGPC obriga as entidades por si abrangidas.
A quarta e última dimensão para a qual valerá a pena olhar é a que se relaciona com a necessidade de uma prévia avaliação de impacto.
O AI Act obriga organismos públicos que implementem sistemas de IA de risco elevado a realizar, previamente, uma avaliação do impacto que o sistema pode ter sobre os direitos fundamentais das pessoas afetadas, identificando quem são, que riscos correm, e que mecanismos de supervisão e remediação existem. Já o RGPC não prevê nada de equivalente. Na prática, e simplificando, o Plano de Prevenção de Riscos avalia os riscos de corrupção e de fraude para a organização e não os riscos que as ferramentas que a organização utiliza, aportam e representam para os direitos de terceiros.
Esta diferença de perspetiva não é menor, dado que nos exemplos de habitação social e da avaliação de desempenho, a vítima do risco algorítmico não é a organização, mas sim a família excluída ou o trabalhador infundadamente avaliado.
Sejamos claros.
O RGPC não vê essas pessoas ao passo que o AI Act obriga as entidades a vê-las antes de ativar o sistema.
O resultado deste confronto é, como já se antecipara, um vazio regulatório particularmente desafiante para o legislador.
Na realidade, a entidade que cumpre o RGPC na íntegra porque, entre outras coisas, dispõe formalmente de um Plano de Prevenção de Riscos aprovado, de um código de conduta publicado, de um Responsável pelo Cumprimento Normativo nomeado e de um sistema de controlo interno documentado em manuais de procedimentos, está em total conformidade (formal).
No entanto, e apesar da conformidade, pode, simultaneamente, estar a utilizar sistemas de IA que reproduzem favorecimentos históricos, que tomam decisões sobre direitos de terceiros sem registo auditável e que, pasme-se, ninguém na organização tem condições técnicas de escrutinar.
Não tenhamos dúvidas sobre o que isto representa.
No quadro da entrada em vigor do AI Act, a conformidade formal tornou-se, surpreendentemente, o maior risco que as entidades públicas e privadas enfrentam.
Não o querer ver terá, certamente, um elevado custo organizacional que a todos nos cumpre evitar.
