Lo strumento rileva il testo generato dall’intelligenza artificiale nelle riviste scientifiche

In un’era di crescente preoccupazione nel mondo accademico per gli articoli generati dall’intelligenza artificiale, arrivano notizie rassicuranti dall’Università del Kansas.

I ricercatori hanno sviluppato un rilevatore di testo basato sull’intelligenza artificiale per articoli scientifici in grado di distinguere tra contenuti scritti da esseri umani e contenuti generati dal computer quasi il 100% delle volte.

In Stare In mostra il 6 novembre Cell Reports Scienze fisicheLa professoressa Heather Desir sottolinea che, sebbene attualmente siano disponibili diversi rilevatori di intelligenza artificiale per contenuti generali, nessuno di essi è particolarmente efficace se applicato ad articoli scientifici.

“La maggior parte dei campi dell’analisi del testo necessitano di un rilevatore davvero generale che funzioni su qualsiasi cosa”, ha detto Desir. Invece, il suo team si è concentrato su rapporti scritti appositamente per riviste scientifiche sul tema della chimica.

“Cercavamo davvero la precisione”, ha detto.

Il rilevatore del team è stato addestrato su riviste pubblicate dall’American Chemical Society. Hanno raccolto 100 passaggi introduttivi scritti da specialisti, quindi hanno programmato ChatGPT per scrivere le proprie introduzioni basate su abstract di riviste o semplicemente su titoli di rapporti.

Quando il rilevatore ChatGPT ha esaminato le tre categorie di report, ha identificato correttamente i segmenti scritti da persone nel 100% dei casi, così come i report generati da reclami che includevano solo i titoli dei report. I risultati sono stati quasi altrettanto buoni con i report basati su segmenti introduttivi, con un’identificazione corretta nel 98% dei casi.

Tuttavia, i classificatori concorrenti, come ZeroGPT, che ha una precisione fino al 98% nel rilevamento di articoli generali scritti dall’intelligenza artificiale, hanno ottenuto risultati mediocri quando si trattava di rapporti relativi alla chimica. Ha raggiunto una precisione media di appena il 37% negli stessi rapporti basati sui titoli, e solo qualche punto percentuale migliore nei rapporti basati su testo introduttivo.

Il secondo concorrente, OpenAI, ha ottenuto risultati ancora peggiori, non riuscendo a identificare correttamente l’autore degli articoli in media nell’80% delle volte.

“Gli editori accademici sono alle prese con l’adozione rapida e diffusa di nuovi generatori di testi basati sull’intelligenza artificiale”, ha affermato Desir. “Questo nuovo reagente consentirà alla comunità scientifica di valutare la diffusione di ChatGPT nelle riviste di chimica, determinare le conseguenze del suo utilizzo e introdurre rapidamente strategie di mitigazione quando si presentano problemi”.

Le riviste scientifiche stanno riscrivendo le loro regole relative alla presentazione degli articoli, e la maggior parte vieta i report generati dall’intelligenza artificiale e richiede la divulgazione di qualsiasi altro processo di intelligenza artificiale utilizzato per generare il report.

Desir ha elencato diverse preoccupazioni sui pericoli derivanti dai contenuti generati dall’intelligenza artificiale che si insinuano nelle riviste scientifiche: “Il suo uso eccessivo potrebbe portare a un’ondata di manoscritti di valore marginale. Potrebbe far sì che articoli e lavori altamente citati siano sovrarappresentati”. ben noto.” “, da ignorare.”

Ha aggiunto: “Ciò che è più inquietante è la tendenza di questi strumenti a creare ‘allucinazioni’ e a fabbricare fatti errati.”

Ad esempio, Desire ha incluso un aneddoto personale sui risultati di uno schizzo biografico che ChatGPT ha scritto su di lei. Ha detto che “si è laureata all’Università del Minnesota, è membro della Royal Society of Chemistry e ha ricevuto la medaglia Beeman”. Risultati impressionanti, ma tutti falsi.

“Sebbene questo esempio sia divertente, infiltrare la letteratura scientifica con bugie non è affatto divertente”, ha detto Desir.

Ma lei resta ottimista. Alcuni sostengono che la resistenza all’aumento dei contenuti generati dall’intelligenza artificiale sia inevitabile, afferma, e affermano che “sviluppare strumenti come questo equivale a partecipare a una corsa agli armamenti”. [against AI] E gli umani non vinceranno”.

Ha detto che gli editori dovrebbero assumere l’iniziativa di denunciare la contaminazione dell’intelligenza artificiale.

“Le riviste dovrebbero adottare misure ragionevoli per garantire che seguano le loro politiche sulla scrittura basata sull’intelligenza artificiale e crediamo che sia del tutto possibile stare al passo con il problema del rilevamento dell’intelligenza artificiale”, ha affermato.