INTELIGÊNCIA ARTIFICIAL NO DIREITO: PELO USO ÉTICO DAS NOVAS TECNOLOGIAS

Resumo

O presente artigo tem por objetivo abordar brevemente acerca da discriminação algorítmica envolvendo, especificamente, as pessoas negras, em que ferramentas são desenvolvidas mediante a utilização da inteligência artificial (IA), a fim de atender aos interesses do racismo e da supremacia branca, como por exemplo, programas de inteligência artificial montados para a segurança pública, para a seleção de currículos nos processos seletivos automatizados e vendas de apólices pelas seguradoras. E a conclusão para que não haja tratamento discriminatório é que sejam aplicados parâmetros éticos, morais, democráticos, na criação de tais ferramentas, em prol dos direitos humanos e da dignidade da pessoa humana.

Artigo

INTELIGÊNCIA ARTIFICIAL NO DIREITO: PELO USO ÉTICO DAS NOVAS TECNOLOGIAS

PAULA DO AMARAL FERRAZ RODRIGUES1

RESUMO

PALAVRAS-CHAVE: Inteligência artificial, racismo, ética e direitos humanos.

INTRODUÇÃO

Se a proteção dos dados pessoais e a privacidade estão relacionadas a um direito humano, qual seria o limite da ética, também no âmbito jurídico, com relação aos programas de inteligência artificial, montados, por exemplo, para a segurança pública, para a seleção de currículos nos processos seletivos automatizados e vendas de apólices pelas seguradoras, envolvendo, especificamente, as pessoas negras? Até que ponto haverá o desenvolvimento de ferramentas mediante a utilização da inteligência artificial (IA), a fim de atender aos interesses do racismo e da supremacia branca?

Verifica-se que é inevitável a utilização da inteligência artificial (IA) na atual sociedade da informação hiperconectada, a qual proporciona grandes benefícios sociais e econômicos em diversas áreas. Há um grande volume de dados sendo tratados, conhecido como Big Data, e os algoritmos (fórmulas matemáticas) estão cada vez mais inteligentes. É fato que o ser humano tem que trabalhar junto com as máquinas e a inteligência artificial deve servir aos homens e não, o contrário. Ocorre que a ética deve ser incorporada desde o início do processo de criação, elaboração e desenvolvimento das ferramentas de inteligência artificial, em observância aos princípios da transparência, finalidade, e dos direitos humanos, a fim de que não haja nenhum tipo de tratamento discriminatório.

BREVE CONTEXTO HISTÓRICO DO DESENVOLVIMENTO DA INTELIGÊNCIA ARTIFICIAL

É de suma relevância entender o contexto histórico do desenvolvimento do próprio conceito de inteligência artificial (IA), em que há a preponderância de cientistas, homens e brancos, nas pesquisas nos Estados Unidos. Isso ocorre a partir da percepção de que a partir da década de 50, havia um incentivo da presença masculina branca no ensino superior, ocasionando um panorama de exclusão. Nos Estados Unidos, em 1956, ocorreram sangrentos conflitos para a aquisição dos direitos civis, tanto é que muitos lugares não permitiam o acesso de pessoas negras; para a utilização dos ônibus, as pessoas negras tinham que se sentar nos bancos da parte de trás e as pessoas brancas, nos da frente; o acesso aos banheiros era diferenciado entre pessoas brancas e negras,2 fato este em que pode se verificar no filme “Estrelas Além do Tempo.”

No Brasil, herdeiro da escravidão, por muitos anos, e ainda hoje, havia a predominância da presença masculina branca nos espaços e universidades. O racismo no Brasil se perpetuou pela desculpa da miscigenação, por força do racismo científico do século XIX, teoria construída e perpetuada por Nina Rodrigues, a partir dos discursos coloniais europeus, como por exemplo os de Gobineau,3 para comprovar supostamente, com base na ciência, a inferioridade racial dos negros em comparação aos brancos.4 5 Nina Rodrigues, por exemplo, entendia que se os homens não nascem iguais e, portanto, se não há uma igualdade entre as raças, consequentemente, não podia ter uma igualdade no Direito, motivo pelo qual defendia a ideia de que tinha que ser elaborado um Código Penal para pessoas brancas e um Código Penal para pessoas negras;6 também entendia que o determinismo racial era cientificamente comprovado, comprovação esta que se dava de forma empírica, tão somente mediante a observação das pessoas da raça negra. Ocorre que as pessoas negras estavam em um contexto social totalmente diferente dos brancos, em decorrência do término da escravidão, em que várias saíram das fazendas e foram largadas nas cidades. 7

Como o Brasil adotou a política do embranquecimento da população, muitos imigrantes europeus chegaram ao Brasil após a abolição da escravidão.8 Entende Sueli Carneiro, que:

“a identidade étnica e racial é um fenômeno historicamente construído ou destruído. Nos Estados Unidos, onde, ao contrário do que se pensa, a escravidão também produziu uma significativa população miscigenada, definiu-se que 1/8 de sangue negro fazia do indivíduo um negro, a despeito da clareza de sua cor de pele. Aqui também definimos que 1/8 de sangue branco deveria ser um passaporte para a brancura.

Vem dos tempos da escravidão a manipulação da identidade do negro de pele clara como paradigma de um estágio mais avançado de ideal estético humano; acreditava- se que todo negro de pele escura deveria perseguir diferentes mecanismos de embranquecimento. Aqui, aprendemos a não saber o que somos e, sobretudo, o que devemos querer ser. Temos sido ensinados a usar a miscigenação ou a mestiçagem como carta de alforria do estigma da negritude: um tom de pele mais claro, cabelos mais lisos ou um par de olhos verdes herdados de um ancestral europeu são suficientes para fazer alguém que descenda de negros se sentir pardo ou branco, ou ser “promovido” socialmente a essas categorias. E o acordo tácito é que todos façam de conta que acreditam.” ⁹

Ressalte-se que o racismo estrutural é um problema que ainda não foi enfrentado pelo Brasil e, cada vez mais, há quem trabalhe com a noção de que o imaginário escravista, colonial, nunca foi embora do país e das pessoas. Deve-se, portanto, acabar com o racismo estrutural a fim de romper com o passado escravista que, na verdade, está presente nos dias atuais.10 Acerca do racismo estrutural, entende Silvio Almeida, que:

“(…)o racismo é uma decorrência da própria estrutura social, ou seja, do modo “normal” com que se constituem as relações políticas, econômicas, jurídicas e até familiares, não sendo uma patologia social e nem um desarranjo institucional. O racismo é estrutural. Comportamentos individuais e processos institucionais são derivados de uma sociedade cujo racismo é regra e não exceção. O racismo é parte de um processo social que ocorre “pelas costas dos indivíduos e lhes parece legado pela tradição.” Nesse caso, além de medidas que coíbam o racismo individual e institucionalmente, torna-se imperativo refletir sobre mudanças profundas nas relações sociais, políticas e econômicas. ( )

O que queremos enfatizar do ponto de vista teórico é que o racismo, como processo histórico e político, cria as condições sociais para que, direta ou indiretamente, grupos racialmente identificados sejam discriminados de forma sistemática. Ainda que os indivíduos que cometam atos racistas sejam responsabilizados, o olhar estrutural sobre as relações raciais nos leva a concluir que a responsabilização jurídica não é suficiente para que a sociedade deixe de ser uma máquina produtora de desigualdade racial.” ¹¹

No âmbito tecnológico, como o Brasil importa tecnologia do exterior e há um contexto social de muita exclusão, os acessos de produção de conhecimento vêm de um lugar que despreza uma série de violências ocorridas no Brasil, e a tomada de decisão no desenvolvimento das tecnologias ocorre entre homens brancos, que nunca sofreram nenhum tipo de exclusão e preconceito em decorrência da cor da sua pele.

DISCRIMINAÇÕES ALGORÍTMICAS DECORRENTE DA UTILIZAÇÃO DA INTELIGÊNCIA ARTIFICIAL

BREVES EXPLICAÇÕES SOBRE A INTELIGÊNCIA ARTIFICIAL (IA)

A Inteligência Artificial (IA) é uma tecnologia presente em inúmeros aspectos na nossa vida cotidiana, cujo funcionamento adequado ocorrerá a partir do momento em que haverá a inserção de muitos dados pessoais e não pessoais (big data) em uma base de dados da organização, a qual será programada, através dos algoritmos, em prol de uma finalidade específica. Pode-se dizer que “os dados e os algoritmos são, portanto, os insumos da IA, sem os quais seria inviável desenvolver a tecnologia,”12 bem como que “os algoritmos são programados para classificar os dados que lhes são enviados e, muitas vezes, erros podem ser cometidos, podendo haver falsos positivos e falsos negativos” 13.

Em uma determinada pesquisa científica, por exemplo, a consequência na utilização do big data será a possibilidade de extração de inferências a partir de simples correlações, motivo pelo qual pode-se dizer que a Inteligência Artificial deve ser compreendida como uma tecnologia que, essencialmente, permite fazer projeções ou extrair inferências a partir do treinamento de determinados sistemas, que utilizarão um grande volume de dados.14

A Inteligência Artificial deve ser entendida como uma replicação de tarefas, mediante o aprendizado de máquina (machine learning), e que possui vieses em seu aprendizado, ou seja, a máquina possui a capacidade em resolver determinadas situações a partir dos bancos de dados disponíveis para a tomada de decisões, através dos treinamentos de seus sistemas, por meio dos algoritmos.15 Acerca do aprendizado de máquina (machine learning), entende a Professora Caitlin Mulholland, que:

“A técnica conhecida como machine learning (aprendizado por máquinas) se configura como qualquer metodologia e conjunto de técnicas que utilizam dados em grande escala (input) para criar conhecimento padrões originais e, com base neles, gerar modelos que são usados para predição a respeito dos dados tratados (output). É elemento conceitual do aprendizado por máquinas a sua capacidade de definir e modificar regras de tomadas de decisão de forma autônomo, isto é, sem a necessidade de interferência humana. Por meio da metodologia do machine learning, a IA desenvolve a aptidão para ampliar experiências, aferindo delas conhecimento, por meio de um ciclo contínuo e crescente de aprendizagem.”¹⁶

“Uma forma mais desenvolvida de machine learning é o chamado deep learning, que utiliza as mesmas premissas, mas tem a capacidade de processar diferentes tipos de dados de maneira bastante semelhante a um cérebro humano.” 17 Com relação à Inteligência Artificial de aprendizado profundo (deep learning), relaciona-se com as redes neurais artificiais, conectadas a uma máquina com a capacidade muito maior de processar as informações e ter uma resposta, e é encontrada em grandes organizações, ante o elevado preço para se desenvolver um programa de rede neural. Saliente-se que toda deep learning é uma machine learning mas, nem sempre a machine learning será deep learning. De acordo com o entendimento de Kai-Fu Lee:

Hoje, algoritmos de IA bem-sucedidos precisam de três coisas: big data, poder de computação e o trabalho de engenheiros de algoritmo de IA bons, mas não necessariamente da elite. Trazer o poder do aprendizado profundo para lidar com novos problemas requer todos os três, mas nesta era de implementação, os dados são o aspecto central. Isso porque, quando o poder da computação e os talentosos engenheiros atingem certo limite, a quantidade de dados se torna decisiva para determinar a potência e a precisão gerais de um algoritmo.

No aprendizado profundo, não há nada melhor para os dados do que mais dados. ¹⁸

Dessa forma, no que tange ao aprendizado de máquina (machine learning), como haverá supervisão de um humano, deve-se, portanto, treinar os seus sistemas a partir das informações não discriminatórias contidas nos bancos de dados que servirão de treinamento. E, com relação ao deep learning, é essencial que a rede neural seja bem treinada pelo humano, e ensinada a identificar determinados padrões. Ocorre que, um dos grandes problemas na utilização da IA é o discriminatório, são os vieses (que não são preconceitos), ou seja, muitas vezes tais problemas são reconduzidos às bases de dados de treinamento, as quais reproduzem vieses implícitos na sociedade, como no caso da discriminação algorítmica em decorrência da cor da pele da pessoa.

DISCRIMINAÇÕES ALGORÍTMICAS

Para que ocorra o aprendizado de máquina, o sistema computacional transmitirá a linguagem verbal para a computacional, a partir dos algoritmos, dentro de uma aparente neutralidade. Ocorre que, podem ocorrer violências, uma vez que os programadores (homens brancos), quando desenvolvem esses sistemas, não conseguem visualizar as violências e agressões sofridas pelas pessoas negras, cujo resultado final da tomada de decisões acaba gerando consequências para muitas pessoas em situação de marginalidade.

Na verdade, a tecnologia não é neutra, uma vez que, tendo em vista que sistemas de IA replicam ordens humanas, e que cada pessoa possui as suas compreensões de determinados assuntos, relações pessoais, bem como possuem valores distintos, os algoritmos reproduzirão a aprendizagem desenvolvida a partir de um banco de dados inicial. E, potencialmente, a depender da complexidade do sistema de IA, os algoritmos podem replicar resultados inesperados. Ressalte-se que “vários comportamentos estão associados aos grupos aos quais as pessoas pertencem, como a raça e o gênero, e, mesmo sem acesso direto a esses dados, se eles forem relevantes, os algoritmos, pródigos que são em fazer associações de forma obscura, irão alcançá-los” 19. Nesse sentido, entende Cathy O´Neil:

As aplicações matemáticas fomentando a economia dos dados eram baseadas em escolhas feitas por seres humanos falíveis. Algumas dessas escolhas sem dúvida eram feitas com as melhores das intenções. Mesmo assim, muitos desses modelos programavam preconceitos, equívocos e vieses humanos nos sistemas de software que cada vez mais geriam nossas vidas. Como deuses, esses modelos matemáticos eram opacos, seus mecanismos invisíveis a todos exceto os altos sacerdotes de seus domínios: os matemáticos e cientistas da computação. Suas decisões, mesmo quando erradas ou danosas, estavam para além de qualquer contestação. E elas tendiam a punir os pobres e oprimidos da sociedade enquanto enriquecia ainda mais os ricos. Criei um nome para esses modelos nocivos: Armas de Destruição Matemáticas, ou ADMs.²⁰

Tarcízio Silva dispõe sobre o conceito de “microagressões digitais”21 relacionadas ao “racismo algorítmico”, em que são agressões que não são percebidas em um primeiro momento na utilização da tecnologia e sim, serão sentidas em um momento posterior por pessoas que estão à margem de uma posição de marginalidade e de afastamento de processos de tomadas de decisão no desenvolvimento das tecnologias:

O conceito de microagressão foi proposto pelo psiquiatra Chester Pierce (1969; 1970) ao desenvolver trabalhos sobre a necessidade de estudar também os “mecanismos ofensivos” dos grupos opressores em medida similar ao que as práticas psiquiátricas já realizavam sobre os “mecanismos defensivos”. Pierce explica que aparatos da educação e mídia criam um ambiente onde a “a maioria das ações ofensivas não são brutas e violentas fisicamente. Elas são sutis e paralisantes.

(…)

As microagressões raciais são “ofensas verbais, comportamentais e ambientais comuns, sejam intencionais ou não intencionais, que comunicam desrespeito e insultos hostis, depreciativos ou negativos contra pessoas de cor” (Sue, 2010ª, p.29), aplicadas consciente e inconscientemente como uma “forma de racismo sistêmico e cotidiano usado para manter aqueles à margem racial em seus lugares” (Huber&Solorzano, 2014, p.6).²²

Em um primeiro momento, de forma mais superficial, pendente de pesquisa mais aprofundada, podemos citar como exemplo de racismo algorítmico no Brasil através do uso de tecnologias de reconhecimento facial por IA na área de segurança pública, um levantamento realizado pelo site “The Intercept Brasil”, em novembro de 201923, em que 90,5% das pessoas que foram presas, através do monitoramento facial, eram negras, no período de março a novembro de 2019, motivo pelo qual verifica-se que a tecnologia deve agravar o encarceramento em massa dos negros. Dessa forma, constata-se que é provável que os bancos de dados das Secretarias de Segurança Pública que aplicam este sistema, sejam majoritariamente compostos por pessoas negras.

A título de informação, vale ressaltar que a seletiva estrutura carcerária brasileira, em que há a predominância de negros e pardos, foi construída para solucionar a problemática da suposta vadiagem, ante o abandono estatal dos negros após a escravidão, tanto é que o tipo penal foi inserido no Código Penal de 1940, para “limpar” as ruas para a elite branca. Outra discriminação decorrente de sistema automatizado diz respeito aos processos seletivos automatizados mediante a análise de currículos. Sobre este assunto, entende Yuval Noah Harari:

No século XXI, a decisão de contratar alguém para um emprego será cada vez mais tomada por algoritmos. Não podemos confiar na máquina para estabelecer os padrões éticos relevantes – os humanos sempre terão de fazer isso. Mas, uma vez que decidamos por um padrão ético no mercado de trabalho – por exemplo, que é errado discriminar mulheres, ou pessoas negras -, poderemos confiar em máquinas para implementar e manter esse padrão melhor que os humanos. ²⁴

Em 2001 e 2002, pesquisadores da Universidade de Chicago e MIT enviaram diversos currículos falsos para vagas de emprego em dois grandes jornais. Metade dos currículos continha nomes relacionados a pessoas brancas e a outra metade, a pessoas negras. A conclusão que se chegou é que além dos nomes brancos receberem 50% mais chamadas que os negros, “entre os negros, os currículos mais fortes mal faziam diferença. O mercado de contratações claramente ainda estava envenenado por preconceito.” 25 O que se percebe, nesse caso, é que o algoritmo já possui capacidade executória, haja vista que não só contrata a pessoa, mas também, decide quem será demitido. Verifica-se, portanto, que os humanos estão delegando para esses sistemas IA, decisões que até então eram humanas, razão pela qual há várias situações em que estes programas, ao reproduzirem comando já pré-estabelecidos, se prestam a discriminações entre as pessoas e, com isso, geram diversos problemas. Ressalte-se que, “quanto mais adaptáveis se tornam os programas de inteligência artificial, mais imprevisíveis passam a ser suas ações”. 26

As minorias étnicas e raciais também são discriminadas pelas estatísticas das companhias de seguros nos EUA, ante a delimitação de bairros, pelos banqueiros e companhias de seguro, para que não haja a venda de apólices a essas minorias (red-lining): 27

No final do século XIX, um renomado estatístico chamado Frederick Hoffman criou uma poderosa ADM. (…)

Seu estudo fez uso exaustivo de estatística para defender que as vidas de negros norte- americanos eram tão precárias que toda a raça era não segurável. (…)

Hoffman foi cegado por raça, assim como a indústria a qual pertencia. Com o tempo, é claro, as seguradoras avançaram um pouco seu pensamento e passaram a vender apólices para famílias afro-americanas. Afinal, havia dinheiro a se ganhar. Mas elas se penduraram por décadas às ideias de Hoffman de que grupos inteiros de pessoas eram mais arriscados que outros – alguns deles arriscados demais. As companhias de seguros tal qual os banqueiros delimitavam bairros nos quais não investiriam. Essa prática cruel, conhecida como red-lining, já foi proibida por diversas peças legislativas, incluindo o Fair Housing Act de 1968. Quase meio século depois, no entanto, o red-lining ainda está presente, embora em formas muito mais sutis. Está programado na última geração de ADMs.

O fato é que “os modelos opacos e invisíveis são a regra, e os transparentes, a exceção”.28 Os agentes econômicos estão operando em um ambiente favorável em decorrência da ausência de prestação de contas, uma vez que a opacidade é total. Há um problema jurídico quanto à associação da caixa preta de muitos sistemas de IA, à ausência de explicabilidade e à dificuldade de auditabilidade dos algoritmos. 29 Ou seja, é preocupante a não publicização, pelas empresas privadas, de como os algoritmos são construídos, fato este que é um problema, em decorrência da proteção da propriedade intelectual, uma vez que os algoritmos estão protegidos por patentes.

DIRETRIZES ÉTICAS A SEREM APLICADAS NOS SISTEMAS DE IA

No atual cenário hiperconectado da modernidade líquida,30 é essencial que haja uma reflexão sobre a ética na elaboração de sistemas IA e uso de dados pessoais, uma vez que “sem uma reflexão ética que norteie adequadamente a regulação jurídica, inclusive com relação à tutela da privacidade e dos dados pessoais, essa corre risco de ser inócua ou nociva à coletividade”.31 Também entende Stefano Rodotà que os poderes públicos devem assegurar a relação entre a privacidade e a dignidade, na sociedade da vigilância, para que não ocorram tratamentos discriminatórios:

os poderes públicos devem agir para que existam condições positivas que permitam a cada um viver em condições de dignidade. O direito à privacidade representa exatamente uma destas condições essenciais. Projetada na sociedade, esta reconstrução das relações entre privacidade e dignidade se apresenta como um fator fundamental para o contraste das potentes lógicas que impulsionam a transformação das nossas organizações sociais em sociedades da vigilância, da classificação, da seleção discriminatória. Uma tarefa, todavia, que parece se tornar cada vez mais difícil. ³²

Atualmente, o que se percebe com a utilização da IA na sociedade da informação, é a delegação de tomada de decisões para esses sistemas de IA e que envolvem questões técnicas, jurídicas e éticas. No que tange à ética, vale mencionar que é necessária a observação de alguns princípios que são essenciais para serem aplicados quando ocorrer o desenvolvimento de ferramentas de inteligência artificial:

Documento do Institute of electrical and electronics Engineer (IEEE) sobre a ética no desenho dos sistemas autônomos de Inteligência Artificial pugna pela necessidade de alguns princípios nortearem as ferramentas:

Princípio dos direitos humanos: Como garantir que os sistemas de IA não infringem os direitos humanos? Ou seja, como deverão os sistemas computacionais ser desenhados de forma a respeitar a igualdade de direitos nos humanos? (…)

Princípio da responsabilidade: Como garantir que os sistemas de IA são “responsáveis”? Quando os sistemas são autônomos e executam ações de forma independente, sem o controle humano, de quem é a responsabilidade da execução da ação? Como garantir a moralidade das acções executadas?

Princípio da transparência: Como garantir que as decisões efectuadas pelas máquinas sejam transparentes para os humanos? Isto é, como garantir que seja possível descobrir a razão de uma dada acção, decisão ou escolha feita pelo sistema de IA? Quando as decisões são efectuadas por algoritmos complexos e baseados em dados, esta transparência pode não ser trivial. Por exemplo, um sistema autônomo pode decidir se uma pessoa deve ter crédito ou não com base no perfil da pessoa e nos dados. No entanto, não existe um conjunto de regras que dite a decisão.

Princípio da educação e consciência pública: Como educar os cidadãos de forma a

estarem cientes dos riscos da má utilização de sistemas IA? ³³
É fato que as pessoas deixam rastros digitais ao utilizarem as novas tecnologias, motivo pelo qual quando estas informações são utilizadas pelo sistema IA, é fundamental que a ética seja aplicada no design e em observância aos princípios da finalidade e transparência, para que não haja risco de discriminação, controle e vigilância, em especial, discriminação de certas pessoas tão somente em decorrência da cor da sua pele. Ocorre que, “muitas vezes, durante a fase de design, as consequências são indeterminadas pois dependem parcialmente das ações de outros fatores e agentes além dos designers”. 34 Entende Maria Helena Nazaré:

o método e as infra-estruturas usados no tratamento e investigação sobre Big Data são desenhados com a finalidade de obter correlações de um conjunto de dados com um outro qualquer conjunto, do que decorrem riscos de utilização incorreta do ponto de vista ético bem como científico.

Algumas questões éticas, como a da privacidade, a que nos referiremos mais adiante, têm recebido muita atenção e análise de forma, pelo que se pode afirmar estarem actualmente bem estudadas e compreendidas. O mesmo não se verifica com outras como sejam, por exemplo, as decisões tomadas por algoritmos (algorithmic decision-making), perfil através da classificação de indivíduos em grupos que pode resultar em discriminação, controlo e vigilância e ainda a ausência de transparência em todo um processo construído por vários passos. (…)

A monitorização e vigilância de comportamentos individuais é outra possibilidade que resulta do uso e análise de dados no contexto Big Data e que apresenta diversos desafios importantes de natureza ética. ³⁵

No mesmo sentido, também entende o Professor Eduardo Magrani:

Para tanto, devemos aprimorar e fomentar modelos de design de tecnologia centrados no ser humano (human-centered design) e sensíveis a valores constitucionais, regulando, por exemplo, ética, segurança e privacidade por meio do design.

O direito deve estar atento ao seu papel nesse cenário para, de um lado, não obstaculizar demasiadamente o desenvolvimento econômico e tecnológico em andamento e, do outro lago, regular com eficácia as práticas tecnológicas, visando a coibir abusos e protegendo os direitos vigentes. ³⁶
Dessa forma, é fato que o “avanço científico e jurídico não pode andar apartado da ética” ,³⁷ bem como que a “regulação jurídica, construída democraticamente na esfera pública, deve fornecer a arquitetura adequada para proporcionar a construção dos canais éticos apropriados para que o fluxo de dados e de ações não humanas possam escoar dentro dos limites ético-jurídicos”. 38

CONCLUSÃO

Tendo em vista a ausência de regulação específica sobre inteligência artificial no Brasil, é fundamental que a sociedade civil, entidades em prol das pessoas negras, dentre outros, tenham a oportunidade de apresentar, ao Governo Federal, os desafios que porventura possam surgir com relação à regulação da tecnologia, por exemplo. Também é imprescindível que haja debates sobre o racismo estrutural, que é um grande problema que ainda não foi enfrentado pelo Brasil e que está arraigado na atual sociedade da informação, cujo imaginário escravista e colonial deve ser extirpado do país e das pessoas. 39 A tecnologia não é neutra, pois foi projetada por seres humanos para ser utilizada de certa maneira, também deve haver um maior diálogo entre os profissionais do Direito e os cientistas da computação. É inegável o fato de que a inteligência artificial possui vários benefícios, ocorre que, além de ser necessário o seu uso ético, é essencial que haja um controle permanente de auditoria com relação ao resultado dessas ferramentas.

Por fim, é fundamental que haja parâmetros éticos, morais, democráticos, na criação das ferramentas de IA, em prol da proteção dos direitos humanos e da dignidade da pessoa humana, bem como deve haver uma maior transparência, equidade, justiça e tomada de contas no uso das novas tecnologias, para que não haja nenhum tratamento discriminatório.
REFERÊNCIAS

ALMEIDA, Silvio Luiz de. Racismo estrutural. São Paulo: Editora Jandaíra, 2021.

BAUMAN, Zygmunt. Modernidade líquida. Tradução: Plínio Dentzien. Rio de Janeiro: Zahar, 2001.

CARNEIRO, Sueli. Racismo, sexismo e desigualdade no Brasil. São Paulo: Selo Negro, 2011.

FANON, Frantz. Pele negra máscaras brancas. Tradução: Renato da Silveira. Salvador: EDUFBA, 2008.

FRAZÃO, Ana. Responsabilidade civil de administradores de sociedades empresárias por decisões tomadas com base em sistemas de inteligência artificial. In MULHOLLAND, Caitlin e FRAZÃO, Ana. (coord.). Inteligência artificial e direito: ética, regulação e responsabilidade. 2. ed. rev., atual. e ampl. São Paulo: Thomson Reuters Brasil, 2020.

HARARI, Yuval Noah. 21 lições para o século 21. Tradução: Paulo Geiger. 1. ed. são Paulo: Companhia das Letras, 2018.

JUNQUEIRA, Thiago. Tratamento de Dados Pessoais e Discriminação Algorítmica nos Seguros. São Paulo: Thomson Reuters Brasil, 2020.

LEE, Kai-Fu. Inteligência artificial: como os robôs estão mudando o mundo, a forma como amamos, nos comunicamos e vivemos. Rio de Janeiro: Globo livros, 2019.

MAGRANI, Eduardo. Entre dados e robôs: ética e privacidade na era da hiperconectividade. 2. ed. Porto Alegre: Arquipélago Editorial, 2019.

MAGRANI, Eduardo; SILVA, Priscila e VIOLA, Rafael. Novas perspectivas sobre ética e responsabilidade de inteligência artificial. In MULHOLLAND, Caitlin e FRAZÃO, Ana. (coord.). Inteligência artificial e direito: ética, regulação e responsabilidade. 2. ed. rev., atual. e ampl. São Paulo: Thomson Reuters Brasil, 2020.

MULHOLLAND, Caitlin. Responsabilidade civil e processos decisórios autônomos em sistemas de inteligência artificial (IA): autonomia, imputabilidade e responsabilidade. In MULHOLLAND, Caitlin e FRAZÃO, Ana. (coord.). Inteligência artificial e direito: ética, regulação e responsabilidade. 2. ed. rev., atual. e ampl. São Paulo: Thomson Reuters Brasil, 2020.

NAZARÉ, Maria Helena. Big Data e desafios éticos. In Ética aplicada: novas tecnologias. NEVES, Maria do Céu Patrão e CARVALHO, Maria da Graça (Coord.). 1. ed. jul 2018. Lisboa- Portugal: Edições 70. 2018.

NUNES, Pablo. The Intercept Brasil. Levantamento revela que 90,5% dos presos por monitoramento facial no Brasil são negros. 2019. Disponível em: https://theintercept.com/2019/11/21/presos-monitoramento-facial-brasil-negros/. Acesso em 14 abr. 2021.

O´NEIL, Cathy. Algoritmos de destruição em massa: como o big data aumenta a desigualdade e ameaça a democracia. Tradução: Rafael Abraham. Santo André-SP: Rua do Sabão, 2020.

RODOTÀ, Stefano. A vida na sociedade da vigilância – a privacidade hoje. Tradução: Danilo Doneda e Luciana Cabral Doneda. Rio de Janeiro: Renovar, 2008.

SCHWARCZ, Lilia K. Moritz. Uso e abusos da mestiçagem e da raça no Brasil: uma história das teorias raciais em finais do século XIX. Afro-Ásia, 18 (1996), p. 77-101. Disponível em: https://periodicos.ufba.br/index.php/afroasia/article/view/20901. Acesso em 14 abr. 2021.

SILVA, Tarcízio. Comunidades, algoritmos e ativismos digitais: olhares afrodiaspóricos. 2. ed. São Paulo: LiteraRUA, 2021.

SULOCKI, Victoria de. Novas tecnologias, Velhas discriminações: ou da Falta de Reflexão sobre o Sistema de Algoritmos na Justiça Criminal. In MULHOLLAND, Caitlin e FRAZÃO, Ana. (coord.). Inteligência artificial e direito: ética, regulação e responsabilidade. 2. ed. rev., atual. e ampl. São Paulo: Thomson Reuters Brasil, 2020.

WIMMER, Miriam. Responsabilidade de agentes empresariais por ilícitos administrativos praticados por sistemas de inteligência artificial. In MULHOLLAND, Caitlin e FRAZÃO, Ana. (coord.). Inteligência artificial e direito: ética, regulação e responsabilidade. 2. ed. rev., atual. e ampl. São Paulo: Thomson Reuters Brasil, 2020.

Notas:

¹ Pós-graduanda em Direito dos Contratos (PUC-Rio). Especialista em Direito Público e Privado (EMERJ). Certificação DPO-EXIN. Advogada. E-mail: [email protected].

² JUNQUEIRA, Thiago. Tratamento de Dados Pessoais e Discriminação Algorítmica nos Seguros. São Paulo: Thomson Reuters Brasil, 2020. p. 221 e 224.

³ “Aos olhos de fora, o Brasil há muito tempo era visto com uma espécie de laboratório racial, como um local onde a mistura de raças era mais interessante de ser observada do que a própria natureza. (…) Gobineau, que permaneceu no Brasil durante quinze meses, como enviado francês, queixava-se: “Trata-se de uma população totalmente mulata, viciada no sangue e no espírito e assustadoramente feia.” (SCHWARCZ, Lilia K. Moritz. Uso e abusos da mestiçagem e da raça no Brasil: uma história das teorias raciais em finais do século XIX. Afro-Ásia, 18 (1996), 77-101. Disponível em: https://periodicos.ufba.br/index.php/afroasia/article/view/20901. p. 88. Acesso em 14 abr. 2021.

⁴ “Já em maio de 1888, saía em vários jornais brasileiros um artigo polêmico, assinado por Nina Rodrigues, onde o famoso médico da escola baiana concluía que “os homens não nascem iguais. Supõe-se uma igualdade jurídica entre as raças, sem a qual não existiria o Direito” Dessa maneira, e solapando o discurso da lei, esse “homem de sciencia”, logo após a abolição formal da escravidão, passava a desconhecer a igualdade e o próprio livre arbítrio, em nome de um determinismo científico e racial. A posição não se limitava aos jornais Nina Rodrigues publicava em 1894, As raças humanas e a responsabilidade penal no Brasil, onde defendia não só a proeminência do médico na atuação penal, como advogava a existência de dois códigos no país – um para negros, outro para brancos, – correspondentes aos diferentes graus de evolução apresentados por esses dois grupos.” (SCHWARCZ, Lilia K. Moritz. Uso e abusos da mestiçagem e da raça no Brasil: uma história das teorias raciais em finais do século XIX. Afro-Ásia, 18 (1996), p. 77-101. Disponível em: https://periodicos.ufba.br/index.php/afroasia/article/view/20901.

88. Acesso em 14 abr. 2021.

⁵ “O passo para a eugenia e para o combate à miscigenação racial foi quase que imediato. Afinal, as doenças teriam vindo da África, assim como o nosso enfraquecimento biológico seria resultado da mistura racial. É assim que a partir de inícios do século, uma série de artigos especializados passam a vincular a questão da higiene à pobreza e à população mestiça e negra, defendendo métodos eugênicos de contenção e separação da população. (…) Nesses termos a eugenia não é outra cousa sinão o esforço para obter uma raça pura e forte.” (SCHWARCZ, Lilia K. Moritz. Uso e abusos da mestiçagem e da raça no Brasil: uma história das teorias raciais em finais do século XIX. Afro-Ásia, 18 (1996), p. 77-101. Disponível em: https://periodicos.ufba.br/index.php/afroasia/article/view/20901.

94. Acesso em 14 abr. 2021.)

⁶ SCHWARCZ, Lilia K. Moritz. Uso e abusos da mestiçagem e da raça no Brasil: uma história das teorias raciais em finais do século XIX. Afro-Ásia, 18 (1996), p. 77-101. Disponível em: https://periodicos.ufba.br/index.php/afroasia/article/view/20901. p. 88. Acesso em 14 abr. 2021.

⁷ SCHWARCZ, Lilia K. Moritz. Uso e abusos da mestiçagem e da raça no Brasil: uma história das teorias raciais em finais do século XIX. Afro-Ásia, 18 (1996), p. 77-101. Disponível em: https://periodicos.ufba.br/index.php/afroasia/article/view/20901. Acesso em 14 abr. 2021.

⁸ “Comecemos pelas faculdades de Direito cuja lógica está atrelada à própria emancipação política de 1882. Criadas em 1827, as duas escolas de Direito – uma em Recife, outra em São Paulo – visavam atender às diferentes regiões do país, e criar uma intelligentsia nacional capaz de responder às demandas de autonomia da nova nação. (….) Na verdade, se partiram de Pernambuco as grandes teorias sobre a mestiçagem, foi São Paulo, como veremos, que se preocupou em implementá-las, a partir dos projetos de importação de mão-de-obra europeia. ( )

foi São Paulo, a província que adotou a política de imigração mais restritiva, no que se refere à entrada de orientais e africanos. Ou seja, a bancada paulista limitou-se a admissão de trabalhadores a apenas alguns países da Europa, a saber: italianos, suecos, alemães, holandeses, noruegueses, dinamarqueses, ingleses, austríacos e espanhóis -, uma clara indicação da coloração que se pretendia para a população local.” (SCHWARCZ, Lilia K. Moritz. Uso e abusos da mestiçagem e da raça no Brasil: uma história das teorias raciais em finais do século XIX. Afro-Ásia, 18 (1996), p. 77-101. Disponível em: https://periodicos.ufba.br/index.php/afroasia/article/view/20901. p. 91. Acesso em 14 abr. 2021.)

⁹ CARNEIRO, Sueli. Racismo, sexismo e desigualdade no Brasil. São Paulo: Selo Negro, 2011. p. 64.

¹⁰ “Todo povo colonizado – isto é, todo povo no seio do qual nasceu um complexo de inferioridade devido ao sepultamento de sua originalidade cultural – toma posição diante da linguagem da nação civilizadora, isto é, da cultura metropolitana. Quanto mais assimilar os valores culturais da metrópole, mais colonizado escapará da sua selva. Quanto mais ele rejeitar sua negridão, seu mato, mais branco será.” (FANON, Frantz. Pele negra máscaras brancas. Tradução: Renato da Silveira. Salvador: EDUFBA, 2008. p. 34.)

¹¹ ALMEIDA, Silvio Luiz de. Racismo estrutural. São Paulo: Editora Jandaíra, 2021. p. 50-51.

¹² MULHOLLAND, Caitlin. Responsabilidade civil e processos decisórios autônomos em sistemas de inteligência artificial (IA): autonomia, imputabilidade e responsabilidade. In MULHOLLAND, Caitlin e FRAZÃO, Ana. (coord.). Inteligência artificial e direito: ética, regulação e responsabilidade. 2. ed. rev., atual. e ampl. São Paulo: Thomson Reuters Brasil, 2020. p. 331.

¹³ MAGRANI, Eduardo. Entre dados e robôs: ética e privacidade na era da hiperconectividade. 2. ed. Porto Alegre: Arquipélago Editorial, 2019. p. 208.

¹⁴ “(…) no contexto de uma sociedade de vigilância, o big data é capaz de capturar todas as pegadas digitais dos usuários para, a partir daí, utilizar seus “poderes” não apenas para registrar e processar o passado e o presente, como antecipar e decidir o futuro das pessoas. E faz tudo isso a devida transparência e accountability, já que os algoritmos são normalmente considerados segredos comerciais.” (…) “a inteligência artificial tem sido introduzida na atividade empresarial de forma maciça e sem a observância dos necessários cuidados. Os problemas são acentuados pelo aprendizado de máquina, já que o código passa a ser alterado de maneira independente, com aumento das dificuldades para o controle de resultados.” (FRAZÃO, Ana. Responsabilidade civil de administradores de sociedades empresárias por decisões tomadas com base em sistemas de inteligência artificial. In MULHOLLAND, Caitlin e FRAZÃO, Ana. (coord.). Inteligência artificial e direito: ética, regulação e responsabilidade. 2. ed. rev., atual. e ampl. São Paulo: Thomson Reuters Brasil, 2020. p. 508.)

¹⁵ “Sistemas de IA possuem a capacidade de “aprender” com base em dados, resultados e padrões anteriores, solucionando problemas de maneira dinâmica, ainda que não tenham sido programados para tanto. A partir de bases de dados de treinamento, o algoritmo aprende a fazer generalizações e, eventualmente, predições, frequentemente a partir de categorizações. Assim, o aprendizado por máquinas permite que se façam previsões sobre os mais diversos assuntos, incluindo se determinada pessoa tem maior ou menor chance de honrar um empréstimo, sobre qual tipo de medicamento potencialmente produzirá melhores resultados sobre certo tipo de doença, ou ainda sobre qual estratégia de compra ou venda de ações poderá carretar maior lucro ao investidor.” (WIMMER, Miriam. Responsabilidade de agentes empresariais por ilícitos administrativos praticados por sistemas de inteligência artificial. In MULHOLLAND, Caitlin e FRAZÃO, Ana. (coord.). Inteligência artificial e direito: ética, regulação e responsabilidade. 2. ed. rev., atual. e ampl. São Paulo: Thomson Reuters Brasil, 2020. p. 385.)

¹⁶ MULHOLLAND, Caitlin. Responsabilidade civil e processos decisórios autônomos em sistemas de inteligência artificial (IA): autonomia, imputabilidade e responsabilidade. In MULHOLLAND, Caitlin e FRAZÃO, Ana. (coord.). Inteligência artificial e direito: ética, regulação e responsabilidade. 2. ed. rev., atual. e ampl. São Paulo: Thomson Reuters Brasil, 2020. p. 331.

¹⁷ Ibidem. p. 331.

¹⁸ LEE, Kai-Fu. Inteligência artificial: como os robôs estão mudando o mundo, a forma como amamos, nos comunicamos e vivemos. Rio de Janeiro: Globo livros, 2019. p. 27.

¹⁹ JUNQUEIRA, Thiago. Tratamento de Dados Pessoais e Discriminação Algorítmica nos Seguros. São Paulo: Thomson Reuters Brasil, 2020. p. 219.

²⁰ O´NEIL, Cathy. Algoritmos de destruição em massa: como o big data aumenta a desigualdade e ameaça a democracia. Tradução: Rafael Abraham. Santo André-SP: Rua do Sabão, 2020. p.8.

²¹ SILVA, Tarcízio. Comunidades, algoritmos e ativismos digitais: olhares afrodiaspóricos. 2. ed. São Paulo: LiteraRUA, 2021. p. 132.

²² SILVA, Tarcízio. Comunidades, algoritmos e ativismos digitais: olhares afrodiaspóricos. 2. ed. São Paulo: LiteraRUA, 2021. p. 132-133.

²³ NUNES, Pablo. The Intercept Brasil. Levantamento revela que 90,5% dos presos por monitoramento facial no Brasil são negros. 2019. Disponível em: https://theintercept.com/2019/11/21/presos-monitoramento-facial-brasil- negros/. Acesso em 14 abr. 2021.

²⁴ HARARI, Yuval Noah. 21 lições para o século 21. Tradução: Paulo Geiger. 1. ed. são Paulo: Companhia das Letras, 2018. p. 87.

²⁵ O´NEIL, Cathy. Algoritmos de destruição em massa: como o big data aumenta a desigualdade e ameaça a democracia. Tradução: Rafael Abraham. Santo André-SP: Rua do Sabão, 2020. p.176-177.

²⁶ MAGRANI, Eduardo. Entre dados e robôs: ética e privacidade na era da hiperconectividade. 2. ed. Porto Alegre: Arquipélago Editorial, 2019. p. 149.

²⁷ O´NEIL, Cathy. Algoritmos de destruição em massa: como o big data aumenta a desigualdade e ameaça a democracia. Tradução: Rafael Abraham. Santo André-SP: Rua do Sabão, 2020. p.251-252.

²⁸ O´NEIL, Cathy. Algoritmos de destruição em massa: como o big data aumenta a desigualdade e ameaça a democracia. Tradução: Rafael Abraham. Santo André-SP: Rua do Sabão, 2020. p.46.

²⁹ “(…) no que se refere à responsabilidade jurídica, o aspecto central a ser problematizado no contexto de decisões tomadas por sistemas de IA diz respeito à opacidade dos processos decisórios, que coloca em xeque concepções tradicionais associadas à responsabilidade subjetiva, como a existência de voluntariedade ou culpabilidade. É já corriqueiro o uso da expressão Blck Box para se referir à presença difundida de algoritmos, evidenciando, nas palavras de Frank Pasquale (2015, p. 191), o paradoxo da Era da Informação: “os dados se tornam esmagadores em amplitude e profundidade, mas frequentemente a informação mais importante para nós está fora de nosso alcance, disponível somente para insiders.” (WIMMER, Miriam. Responsabilidade de agentes empresariais por ilícitos administrativos praticados por sistemas de inteligência artificial. In MULHOLLAND, Caitlin e FRAZÃO, Ana. (coord.). Inteligência artificial e direito: ética, regulação e responsabilidade. 2. ed. rev., atual. e ampl. São Paulo: Thomson Reuters Brasil, 2020. p. 385.)

³⁰ BAUMAN, Zygmunt. Modernidade líquida. Tradução: Plínio Dentzien. Rio de Janeiro: Zahar, 2001.

³¹ MAGRANI, Eduardo. Entre dados e robôs: ética e privacidade na era da hiperconectividade. 2. ed. Porto Alegre: Arquipélago Editorial, 2019. p. 136.

³² RODOTÀ, Stefano. A vida na sociedade da vigilância – a privacidade hoje. Tradução: Danilo Doneda e Luciana Cabral Doneda. Rio de Janeiro: Renovar, 2008. p. 237-238

³³ SULOCKI, Victoria de. Novas tecnologias, Velhas discriminações: ou da Falta de Reflexão sobre o Sistema de Algoritmos na Justiça Criminal. In MULHOLLAND, Caitlin e FRAZÃO, Ana. (coord.). Inteligência artificial e direito: ética, regulação e responsabilidade. 2. ed. rev., atual. e ampl. São Paulo: Thomson Reuters Brasil, 2020. p. 681-682.

³⁴ MAGRANI, Eduardo; SILVA, Priscila e VIOLA, Rafael. Novas perspectivas sobre ética e responsabilidade de inteligência artificial. In MULHOLLAND, Caitlin e FRAZÃO, Ana. (coord.). Inteligência artificial e direito: ética, regulação e responsabilidade. 2. ed. rev., atual. e ampl. São Paulo: Thomson Reuters Brasil, 2020. p. 117. ³⁵ NAZARÉ, Maria Helena. Big Data e desafios éticos. In Ética aplicada: novas tecnologias. NEVES, Maria do Céu Patrão e CARVALHO, Maria da Graça (Coord.). 1. ed. jul 2018. Lisboa-Portugal: Edições 70. 2018. p. 318- 319.

³⁶ MAGRANI, Eduardo. Entre dados e robôs: ética e privacidade na era da hiperconectividade. 2. ed. Porto Alegre: Arquipélago Editorial, 2019. p. 264.

³⁷ MAGRANI, Eduardo. Entre dados e robôs: ética e privacidade na era da hiperconectividade. 2. ed. Porto Alegre: Arquipélago Editorial, 2019. p. 245.

³⁸ MAGRANI, Eduardo. Entre dados e robôs: ética e privacidade na era da hiperconectividade. 2. ed. Porto Alegre: Arquipélago Editorial, 2019. p. 245.

³⁹ Conforme entendimento de Silvio Almeida, “se o racismo é inerente à ordem social, a única forma de uma instituição combatê-lo é por meio da implementação de práticas antirracistas efetivas. É dever de uma instituição que realmente se preocupe com a questão racial investir na adoção de políticas internas que visem: (a) promover a igualdade e a diversidade em suas relações internas e com o público externo – por exemplo, na publicidade; (b) remover obstáculos para a ascensão de minorias em posições de direção e de prestígio na instituição; (c) manter espaços permanentes para debates e eventual revisão de práticas institucionais; (d) promover o acolhimento e possível composição de conflitos raciais e de gênero. A segunda consequência é que o racismo não se limita à representatividade. Ainda que essencial, a mera presença de pessoas negras e outras minorias em espaços de poder e decisão não significa que a instituição deixará de atuar de forma racista.” (ALMEIDA, Silvio Luiz de. Racismo estrutural. São Paulo: Editora Jandaíra, 2021. p. 48-49.)

Palavras Chaves

Inteligência artificial, racismo, ética e direitos humanos.