Graças aos avanços do poder computacional ao qual temos acesso e ao grande volume de dados gerados diariamente, modelos de Machine Learning têm se tornado mais complexos e atingindo patamares de performance cada vez mais impressionantes. Pensando nisso, neste artigo, falaremos um pouco mais sobre xAI, ou Inteligência Artificial Explicável.
No entanto, o aumento de performance dos modelos de ML nem sempre foi acompanhado por um avanço na sua transparência. Muitas vezes, nem mesmo os especialistas que desenvolvem esses modelos sabem como eles chegam às suas conclusões.
Se o foco das pesquisas em Machine Learning for apenas na otimização da performance, um modelo que faz boas previsões e boas classificações já é bom o bastante.
Quer entender ainda mais sobre o tema? Continue com a leitura!
Por que a falta de explicabilidade pode se tornar um problema?
Imagine uma professora de ensino médio. Ela trabalha em uma escola pública há apenas 2 anos e é conhecida por ser bem vista pelos seus alunos e colegas.
O diretor da escola fica tão impressionado com as notas e a motivação dos seus alunos que pede à professora que divida com os outros professores as suas técnicas. Ao final do ano, ela recebe uma avaliação brilhante dos pais, colegas e dos alunos.
Dois meses depois, um algoritmo que objetiva melhorar a qualidade do ensino em todo o distrito é implementado na escola e ele passa a avaliar a performance dos professores. A professora recebe então uma nota baixa desse algoritmo e é demitida. Ao procurar o diretor ela não consegue uma explicação do que pode ter impactado sua nota baixa.
A professora desta história chama Sarah Wysocki e em 2011 ela foi apenas uma de 206 professores demitidos após serem avaliados pelo algoritmo implementado no distrito de D.C.
Sem entrar nas repercussões desse caso, é possível observar um problema de não podermos explicar as decisões tomadas por um algoritmo. Quando avaliamos uma pessoa, é importante que ela tenha acesso aos fatores que levaram a esse julgamento. Assim ela pôde contestar a decisão ou trabalhar para melhorar esses fatores.
É aí que entra a importância do estudo da xAI, ou explainable AI, que aborda a necessidade de ser possível interpretar um modelo de Machine Learning.
Isso surge porque é comum que a formulação dos problemas abordados por ML esteja incompleta. Muitas vezes, uma previsão não é suficiente para tratar de um problema. É importante saber mais do que apenas “o quê”, mas também “o porquê”, “o como”. Não basta saber que um professor foi mal classificado em um ano, é importante saber também o motivo para que uma melhora seja alcançada.
Afinal, o que é xAI?
xAI é o campo de pesquisa que se dedica ao estudo de métodos para que aplicações de Inteligência Artificial produzam soluções que possam ser explicadas a seres humanos(6). Ele surge como um contraponto ao desenvolvimento de modelos completamente “black box”, ou seja, modelos opacos em que nem mesmo os desenvolvedores sabem como as decisões são tomadas.
Uma das grandes questões dessa área é a dificuldade de chegar a uma definição fechada do que é um modelo suficientemente explicável. Um survey de 2019 detalha as pesquisas conduzidas nesse campo, apresentando 5 métricas que frequentemente aparecem como desejáveis em modelos explicáveis:
- Justiça: as previsões do modelo contém algum viés? Elas implicitamente ou explicitamente discriminam algum grupo minoritário? Ela também pode envolver o desbalanceamento de dados ou conteúdo impróprio.
- Privacidade: os dados sensíveis utilizados no modelo estão protegidos?
- Confiabilidade: pequenas mudanças no input do modelo podem causar grandes mudanças inesperadas no output?
- Causalidade: a explicação de uma decisão tomada pelo seu modelo pode ser explicada por uma relação de causalidade que é interpretável por um ser humano?
- Confiança: seres humanos confiam no seu modelo? É mais difícil confiar em um modelo black-box do quem em um modelo transparente.
Além dessas métricas, o campo de pesquisa também conta com contribuições geradas pelos estudos de Ciências Humanas e Interação Humano Computador.
Quais são os impactos gerados?
Para entender com profundidade os impactos que modelos de ML geram na sociedade e garantir que eles sejam de fato acompanhados de uma discussão ética, é necessário mais que apenas a otimização de métricas como as descritas acima.
Por isso, essas pesquisas voltadas para estudos qualitativos também oferecem uma complementação imprescindível ao campo da xAI. Para atingir explicabilidade nos nossos modelos, é necessário estudar mais do que como otimizar métricas.
Isso significa que todos os modelos de ML precisam ser explicáveis? Não necessariamente. Quando estamos trabalhando com problemas bem documentados e que já são tratados na área há muitos anos, não é necessário que o algoritmo seja explicável.
Também não é preciso explicar um modelo quando o impacto das suas decisões incorretas é baixo, como, por exemplo, uma AI capaz de aprender a dançar. Mas no caso de modelos de ML que geram um impacto direto na vida das pessoas, como o algoritmo usado para demitir uma professora, a explicabilidade é importante.
Dessa forma, o estudo de xAI é necessário, para que decisões erradas em modelos possam ser contestadas e corrigidas, e para que os modelos possam evoluir junto com a sociedade que eles afetam.
Gostou de conhecer um pouco mais sobre xAI? Fique ligado no nosso blog para receber mais conteúdos como este!
Referências:
Carvalho, D. V., Pereira, E. M., & Cardoso, J. S. (2019). Machine learning interpretability: A survey on methods and metrics. Electronics, 8(8), 832.
O’neil, C. (2016). Weapons of math destruction: How big data increases inequality and threatens democracy. Broadway Books.
Campolo, Alexander, and Kate Crawford. “Enchanted Determinism: Power without Responsibility in Artificial Intelligence.” Engaging Science, Technology, and Society 6 (2020): 1-19.
Doshi-Velez, F., & Kim, B. (2017). Towards a rigorous science of interpretable machine learning. arXiv preprint arXiv:1702.08608.
Adadi, A., & Berrada, M. (2018). Peeking inside the black-box: A survey on Explainable Artificial Intelligence (XAI). IEEE Access, 6, 52138-52160.7- Abdul, A., Vermeulen, J., Wang, D., Lim, B. Y., & Kankanhalli, M. (2018, April). Trends and trajectories for explainable, accountable and intelligible systems: An hci research agenda. In Proceedings of the 2018 CHI conference on human factors in computing systems (pp. 1-18).
