Ensino superior Um ano depois de ter sido criado, o ChatGPT, ferramenta capaz de produzir textos em qualquer área, generalizou-se, gerando dúvidas sobre autoria de teses e trabalhos. Universidades já estão a mudar regras de avaliação
IA obriga faculdades a mudar avaliação de alunos
O ChatGPT consegue reproduzir a linguagem humana e gerar textos originais sobre qualquer assunto
No passado ano letivo, Rui Sousa Silva, professor da Faculdade de Letras da Universidade do Porto, pediu um trabalho académico a uma turma de 50 alunos do 1º ano. Quando começou a corrigi-los, notou algo estranho: nenhum dos trabalhos continha um único erro ortográfico ou gramatical, nem sequer uma pequena gralha, coisa nunca antes vista. E as frases eram curtas e diretas, sem orações intercalares, um estilo típico do inglês mas pouco frequente na escrita portuguesa. Independentemente do conteúdo e do tema, que variava, a estrutura era praticamente igual em todos. Especialista em linguística forense, o docente rapidamente concluiu: “Estes textos não foram escritos por humanos.”
Na altura, o ChatGPT ainda era muito recente. Numa das aulas, Rui Sousa Silva tinha conversado com os alunos sobre esta ferramenta de inteligência artificial (IA) generativa que reproduz a linguagem humana na perfeição e é capaz de responder a perguntas e gerar, em poucos segundos, textos completos em qualquer área e à medida das instruções que recebe, desde poemas a ensaios ou teses académicas. Deixou claro que podiam usá-la para apoio na pesquisa, mas nunca para a realização integral dos trabalhos. Por isso estranhou que tivessem contrariado as suas indicações. Mas a análise linguística que tinha feito dos textos entregues pelos estudantes não oferecia dúvidas, assim como o facto de nenhuma das dissertações fazer referência aos autores que tinham sido abordados em aula. Quando os confrontou, a grande maioria dos alunos acabou por admitir que o verdadeiro autor dos trabalhos era o ChatGPT.
Criada há um ano, a ferramenta generalizou-se rapidamente, ultrapassando em apenas dois meses a marca dos 100 milhões de utilizadores a nível mundial e transformando-se no software com o crescimento mais rápido da História. Para as universidades, nunca nada foi tão potencialmente disruptivo. Ao acelerar a um ritmo inimaginável a capacidade de pesquisa e cruzamento de fontes, as aplicações de IA generativa, como o ChatGPT ou o Bard, por exemplo, podem ajudar a produção científica e, em última análise, fortalecer a aprendizagem; mas, ao mesmo tempo, são capazes de minar a integridade da avaliação dos alunos e até reduzir a sua capacidade de reflexão se os estudantes se limitarem a pedir à máquina que pense por si e a reproduzir acriticamente os textos gerados por esta.
Em todo o mundo, as instituições de ensino superior estão ainda a tentar perceber como adaptar-se à nova realidade. Algumas universidades de referência, como a francesa Sciences Po, proibiram estas ferramentas, mas a maioria acredita que é impossível travar o seu uso. Por isso muitas optaram por permitir esta tecnologia e até incentivar a sua utilização, desde que com regras e com ajustes ao modelo de avaliação. É essa também a tendência em Portugal.
“As tecnologias de IA no ensino não podem ser proibidas. Não há como. Dessa forma, pelo contrário, devem ser utilizadas por todos, em condições controladas, para se perceber como se pode tirar partido delas para aumentar a eficiência da aprendizagem sem pôr em causa o treino e aquisição de competências”, defende Rogério Colaço, presidente do Instituto Superior Técnico, frisando que os alunos têm de perceber que “não as poderão usar de forma acrítica ou fraudulenta”. Para o evitar, devem reforçar-se as avaliações presenciais, diz.
Em alguns cursos da Universidade do Minho já foram mesmo introduzidas alterações na avaliação, “promovendo-se a substituição de trabalhos escritos por provas orais”. Também no Instituto Superior de Economia e Gestão (ISEG), em Lisboa, foram aprovadas pelo Conselho Pedagógico várias recomendações no sentido de privilegiar avaliações presenciais, como exames ou trabalhos elaborados nas aulas. Os que forem realizados fora das salas terão de contemplar uma apresentação oral com um peso significativo na nota — entre 50% e 60% no caso de teses de mestrado e doutoramento — para “confirmar a autoria do trabalho”. E será exigido aos alunos que declarem em que tarefas ou fases da investigação usaram estas tecnologias. “Fugimos do modelo proibicionista. A nossa ideia é mitigar os riscos da utilização da IA generativa, potenciando as suas vantagens”, explica Tiago Cruz Gonçalves, professor do ISEG e membro do grupo de trabalho que produziu estas recomendações.
ERROS, FALSIDADES E ALUCINAÇÕES
Nas suas aulas, o docente ajuda os alunos a usar o ChatGPT ou o Bing para melhorarem a pesquisa, alertando-os para os riscos: ao recorrerem a uma quantidade gigantesca de informação disponível na internet sem distinguir o que é verdadeiro ou falso, estas ferramentas podem reproduzir erros e fontes que não são fiáveis e replicar “enviesamentos cognitivos”, geográficos ou de género, por exemplo.
Na Escola de Tecnologias Aplicadas do ISCTE este tipo de formação é obrigatória para os estudantes de todas as licenciaturas. No módulo Trabalho Académico com IA os jovens aprendem a usar devidamente estas aplicações, até porque a qualidade dos textos produzidos depende da forma mais ou menos sofisticada como lhes forem dadas as instruções e for formulada a pergunta ou o pedido. E ganham consciência das limitações desta tecnologia — que não são poucas. “O ChatGPT tem grande dificuldade em apresentar os dados que sustentam as afirmações que produz e não refere as fontes em que se fundamenta. Quando pedimos as referências bibliográficas em que se baseia, muitas vezes alucina e inventa, invocando artigos científicos que não existem”, adverte o diretor da escola, Ricardo Paes Mamede.
Ainda assim, o docente considera que a ferramenta “é muito boa a organizar e sintetizar argumentos” e tem uma ótima qualidade de escrita, “melhor do que a da maioria dos alunos”. Foi isso, aliás, o que o levou a perceber que a tese de mestrado que um orientando lhe apresentou não tinha sido produzida por ele mas pela aplicação. Conhecia bem a escrita do aluno e não batia certo com o que via à sua frente. “Do ponto de vista da estrutura do texto e da redação, foi a dissertação mais bem escrita que já alguma vez vi”, diz. Mas, além de constituir uma fraude, a tese não era apresentável, por não conter quaisquer referências ou citações ao longo do texto nem fundamentar as afirmações, violando um princípio básico da ciência.
Ricardo Paes Mamede deu duas opções ao aluno: ou refazia a tese por ele próprio ou tinha de referir as fontes em que esta se baseava. Sem conseguir encontrá-las, o jovem acabou por apresentar uma dissertação efetivamente sua, usando a aprendizagem do ChatGPT apenas para melhorar a sua redação. “Pode estar menos bem escrita ou pior estruturada, mas é dele, é original, e refere as fontes que consultou. Isso é o mais importante”, salienta. Agora, o diretor do ISCTE Sintra incentiva os estudantes a recorrerem à IA generativa sobretudo para rever e aprimorar os textos que produzem, melhorando a escrita e a estrutura. Desse modo aprenderão a dominar uma tecnologia emergente respeitando princípios éticos e científicos.
HUMANO VS. MÁQUINA
Depois do surgimento do ChatGPT, muitas plataformas de deteção de plágio usadas pelas universidades receberam atualizações para abranger também a deteção de escrita gerada por inteligência artificial, indicando o grau de probabilidade de determinado texto ter sido escrito por uma máquina. Um pouco por todo o mundo, os professores têm recorrido a estes softwares para perceber se há fraude na autoria dos trabalhos, mas os resultados ainda são pouco fiáveis.
Foi o que Rui Sousa Silva comprovou. Sendo especialista em linguística forense e deteção de plágio, conseguiu perceber a fraude, depois confessada pelos alunos, mas o software foi incapaz de a detetar. E também já foram reportados casos em que aconteceu o oposto, isto é, em que o software gerou “falsos positivos”. Por exemplo, uma destas plataformas apontou como muito provável a Constituição dos EUA ter sido escrita pelo ChatGPT. Assim sendo, há a possibilidade real de alunos inocentes serem injustamente acusados e de colegas fraudulentos escaparem impunes. “Todas as ferramentas que vi até agora falham bastante na deteção da IA. E pairar um ambiente de dúvida é muito pouco saudável”, diz o docente.
André Casado, professor na Faculdade de Ciências Humanas da Universidade Católica, confrontou-se este ano com o peso dessa incerteza. A tese de mestrado de um aluno seu na área de Marketing foi classificada pelo software usado pela instituição como tendo uma probabilidade superior a 50% de ter sido escrita por IA, mas o estudante não assumiu. “Não temos como provar”, assume o professor. É a palavra de um humano contra o veredicto de uma máquina sobre se a tese é, afinal, do humano ou da máquina.
Entre tantas incertezas, as universidades estão ainda a refletir sobre como devem proceder. Ninguém duvida das potencialidades desta tecnologia, mas são também muitos os receios. “Pode ser bastante enriquecedora para o ensino e para a ciência. Mas se for usada sem controlo, vai acabar por condenar o pensamento e a escrita”, teme Rui Sousa Silva.
JOANA PEREIRA BASTOS - LEITOR.EXPRESSO.PT
Semanário | IA obriga faculdades a mudar avaliação de alunos
