Lo que necesitas saber de este tema
- OpenAI ya tiene un método para crear marcas de agua de texto, aunque su lanzamiento está «bajo consideración» y se discute internamente.
- Informes recientes muestran que las marcas de agua de texto no afectan la calidad de la salida de ChatGPT, y el método sigue siendo resistente a la manipulación y parafraseo local.
- Sin embargo, OpenAI cree que las marcas de agua de texto afectarán de manera desproporcionada a las personas que no hablan inglés, empañarán el uso de chatbots de IA y disuadirán a los usuarios de usar ChatGPT.
Los estudiantes que usan ChatGPT para escribir tareas es una pesadilla para profesores y profesores. Pero parece que OpenAI puede tener una forma de determinar si ChatGPT generó un texto determinado o no.
De acuerdo a Diario de Wall StreetOpenAI ya cuenta con un sistema de marcas de agua para el texto generado por ChatGPT. Pero la compañía está sopesando si publicarlo, citando una serie de problemas y complicaciones asociados con él, así como el potencial desanimado por los usuarios que no quieren ser descubiertos usando texto generado por IA.
Actualizado blog Al informar sobre su investigación sobre la detección de texto mediante IA, OpenAI afirma: «Nuestros equipos han desarrollado un método para marcar texto con marcas de agua, que seguimos considerando a medida que exploramos alternativas».
Los métodos de marca de agua de texto no están exentos de problemas y complejidades y pueden afectar negativamente al contenido generado por IA. Pero la compañía afirma que su método de marca de agua de texto, diseñado exclusivamente para contenido generado por ChatGPT, es muy preciso y tiene una tasa de falsos positivos muy baja.
Según el WSJ, «la tecnología… puede reconocer texto escrito por inteligencia artificial con un 99% de confianza», por lo que el método de marca de agua no afectará la calidad de la salida de ChatGPT.
El método de marca de agua de texto funciona realizando ligeros ajustes en la forma en que la IA selecciona palabras y creando patrones predecibles para mostrar palabras y frases.
Si bien el método ha demostrado ser eficaz contra el parafraseo y la interferencia local, OpenAI señala que «es menos robusto contra la interferencia global, como el uso de sistemas de traducción, el parafraseo con otro modelo generativo o pedirle al modelo que inserte un carácter especial entre cada palabra y luego elimina ese carácter, lo que hace que sea trivial para los atacantes evitarlo”.
Para abordar estos problemas, OpenAI ha comenzado a trabajar en un método de marca de agua diferente que utiliza metadatos incrustados y no produce falsos positivos, mientras que la marca de agua de texto puede generar más falsos positivos cuando se aplica a grandes volúmenes de texto.
Según el estudio, OpenAI también cree que el método de poner marcas de agua en el texto puede afectar desproporcionadamente a algunos grupos más que a otros, y puede llevar a la estigmatización de los chatbots de IA entre hablantes no nativos.
Pero más que eso, la compañía teme que muchos usuarios actuales usen menos ChatGPT si se implementan técnicas de marcas de agua. Por el momento, está en curso un debate interno sobre si se debe publicar el método de marca de agua de texto. En cuanto a un método alternativo para la marca de agua de metadatos, OpenAI aún se encuentra en las primeras etapas de investigación. Por tanto, es demasiado pronto para decir si este enfoque será eficaz o no.