Artificial Intelligence and its Impact on the Production of Illicit Materials

Authors

  • Antonella Petrini Universidad siglo 21, Córdoba, Argentina. Author
  • María Belén Gauna Universidad siglo 21, Córdoba, Argentina. Author

DOI:

https://doi.org/10.56294/ai2024148

Keywords:

artificial intelligence, child sexual abuse, deepfake, criminology, prevention

Abstract

Artificial intelligence has profoundly transformed different areas of human development, but it has also been used for criminal purposes, especially in the generation of child sexual abuse material (CSAM). This alarming phenomenon revealed AI's potential to create hyperrealistic content that is indistinguishable from real images, making it difficult to detect even by specialised analysts. The use of generative AI has enabled the production of sexual images and videos of minors, both synthetic and modified from real photos, posing a serious and growing threat. Organisations such as the Internet Watch Foundation and the National Centre for Missing & Exploited Children have documented a significant increase in the number of reports, highlighting the need for more effective legal frameworks and public policies. At the local level, institutions such as the Buenos Aires Cybersecurity Centre warned about practices such as ‘deepnudes’, highlighting the urgent need to take action in national contexts as well. From a criminological perspective, AI was understood as a tool that facilitated criminal opportunities by reducing barriers for offenders and allowing crimes to be committed without direct contact with victims. In the absence of regulation and digital education, the need for a comprehensive response was raised, including legislation, prevention, international cooperation and citizen training. Protecting children and adolescents from these risks required a joint effort between governments, organisations and civil society to ensure the ethical and safe use of technology.

References

1. CBS News. Florida man accused of using AI to create child porn [Internet]. 2024 [citado 2025 ago 1]. Disponible en: https://www.cbsnews.com/miami/news/florida-man-accused-of-using-ai-to-create-child-porn/?intcid=CNM-00-10abd1h

2. Centro de Ciberseguridad de Buenos Aires. El lado oscuro de la IA (parte II) [Internet]. 2024 [citado 2025 ago 1]. Disponible en: https://buenosaires.gob.ar/noticias/el-lado-oscuro-de-la-ia-parte-ii

3. Clarín. En EE.UU. piden más protección para adolescentes víctimas de deepfakes con desnudos [Internet]. 2024 [citado 2025 ago 1]. Disponible en: https://www.clarin.com/tecnologia/eeuu-piden-proteccion-adolescentes-victimas-deepfakes-desnudos_0_UmN2bNxU8r.html

4. Cloud Booklet. Imágenes realistas falsas: el generador de imágenes de IA [Internet]. 2023 [citado 2025 ago 1]. Disponible en: https://www.cloudbooklet.com/lifestyle/realistic-fake-nudes-with-ai-nude-generator

5. Comisión Europea. AI Watch Defining Artificial Intelligence. 2020. p. 12.

6. Convenio sobre la ciberdelincuencia. Budapest: Consejo de Europa; 2001. Art. 9 [Internet]. Disponible en: https://www.oas.org/juridico/english/cyb_pry_convenio.pdf

7. Cordeiro VC. Combatir el aumento de material de abuso sexual infantil generado por la IA [Internet]. Humanium; 2024 [citado 2025 ago 1]. Disponible en: https://www.humanium.org/es/combatir-el-aumento-de-material-de-abuso-sexual-infantil-generado-por-la-ia/

8. Cordeiro VC. Abuso infantil [Internet]. Humanium; 2021 [citado 2025 ago 1]. Disponible en: https://www.humanium.org/es/enfoques-tematicos/violencia/abuso-infantil/

9. Real Academia Española, Asociación de Academias de la Lengua Española. Diccionario de la lengua española [Internet]. s.f. [citado 2025 ago 1]. Disponible en: https://dle.rae.es/inteligencia#2DxmhCT

10. Forbes. Pedófilo grabó a niños en Disney World para crear imágenes de abuso con IA [Internet]. 2024 [citado 2025 ago 1]. Disponible en: https://www.forbes.com.mx/pedofilo-grabo-a-ninos-en-disney-world-para-crear-imagenes-de-abuso-con-ia/

11. Gaimari G. Inteligencia Artificial e Impacto en el cibercrimen. 2021. p. 39.

12. Infobae. Detuvieron a un hombre del estado de Florida por usar inteligencia artificial para crear pornografía infantil [Internet]. 2024 [citado 2025 ago 1]. Disponible en: https://www.infobae.com/estados-unidos/2024/04/05/detuvieron-a-un-hombre-del-estado-de-florida-por-usar-inteligencia-artificial-para-crear-pornografia-infantil/

13. Infobae. Escándalo en una escuela de Córdoba: un alumno utilizó IA para crear imágenes pornográficas de sus compañeras [Internet]. 2024 [citado 2025 ago 1]. Disponible en: https://www.infobae.com/sociedad/2024/07/03/escandalo-en-una-escuela-de-cordoba-un-alumno-utilizo-ia-para-crear-imagenes-pornograficas-de-sus-companeras/

14. Inhope Organization. What is CSAM? [Internet]. 2021 [citado 2025 ago 1]. Disponible en: https://www.inhope.org/EN/articles/child-sexual-abuse-material

15. Internet Watch Foundation. How AI is being abused to create child sexual abuse material (CSAM) online [Internet]. s.f. [citado 2025 ago 1]. Disponible en: https://www.iwf.org.uk/about-us/why-we-exist/our-research/how-ai-is-being-abused-to-create-child-sexual-abuse-imagery/

16. La Voz. Generó imágenes pornográficas de sus compañeras con IA: ¿Qué hizo la escuela? [Internet]. 2024 [citado 2025 ago 1]. Disponible en: https://www.lavoz.com.ar/ciudadanos/genero-imagenes-pornograficas-de-sus-companeras-con-ia-que-hizo-la-escuela/

17. Le Masurier J. Adolescentes en Estados Unidos afectadas por los 'deepfakes' pornográficos - En Foco [Internet]. France 24; 2024 [citado 2025 ago 1]. Disponible en: https://www.france24.com/es/programas/en-foco/20240509-adolescentes-en-estados-unidos-afectadas-por-los-deepfakes-pornogr%C3%A1ficos

18. Levine AS. Fotos de niños generados por IA revelan depredadores en TikTok e Instagram [Internet]. Forbes; 2023 [citado 2025 ago 1]. Disponible en: https://www.forbes.com.mx/fotos-de-ninos-generados-por-ia-revelan-depredadores-en-tiktok-e-instagram/

19. Lospennato S. Proyecto de Ley Modifica art. 128 CPN [Internet]. HCDN; 2023 [citado 2025 ago 1]. Disponible en: https://www4.hcdn.gob.ar/dependencias/dsecretaria/Periodo2023/PDF2023/TP2023/4436-D-2023.pdf

20. Marín R. California está impulsando un paquete de leyes para regular la inteligencia artificial y combatir los deepfakes [Internet]. Infobae; 2024 [citado 2025 ago 1]. Disponible en: https://www.infobae.com/estados-unidos/2024/09/04/california-esta-impulsando-un-paquete-de-leyes-para-regular-la-inteligencia-artificial-y-combatir-los-deepfakes/

21. Milman G. Proyecto de Ley Modificación del Artículo 128 del Código Penal Argentino [Internet]. HCDN; 2023 [citado 2025 ago 1]. Disponible en: https://www4.hcdn.gob.ar/dependencias/dsecretaria/Periodo2023/PDF2023/TP2023/4411-D-2023.pdf

22. Ministerio de Justicia de la Nación. Ley simple: Delitos contra la integridad sexual [Internet]. s.f. [citado 2025 ago 1]. Disponible en: https://www.argentina.gob.ar/justicia/derechofacil/leysimple/delitos-contra-la-integridad-sexual#titulo-7

23. Ministerio Público Tutelar de la Provincia de Buenos Aires. "Pornografía infantil", no: se llama "abuso sexual contra niñas y niños y adolescentes" [Internet]. 2021 [citado 2025 ago 1]. Disponible en: https://mptutelar.gob.ar/pornograf-infantil-no-se-llama-abuso-sexual-contra-ni-y-ni-os-y-adolescentes

24. Moyano L. El uso de la IA para la creación de material de abuso sexual infantil [Internet]. Ciberseguridad Latam; 2024 [citado 2025 ago 1]. Disponible en: https://www.ciberseguridadlatam.com/2024/08/28/el-uso-de-de-la-ia-para-la-creacion-de-material-de-abuso-sexual-infantil/

25. National Center for Missing & Exploited Children. Child Sexual Abuse Material (CSAM) [Internet]. s.f. [citado 2025 ago 1]. Disponible en: https://www.missingkids.org/

26. Naciones Unidas. Protocolo Facultativo de la Convención sobre los Derechos del Niño, por lo que se refiere a la Venta de Niños, la Prostitución Infantil y la utilización de niños en la Pornografía (CRC-OPSC) [Internet]. 2002 [citado 2025 ago 1]. Disponible en: https://www.ohchr.org/es/instruments-mechanisms/instruments/optional-protocol-convention-rights-child-sale-children-child

27. RAINN. Abuso sexual infantil [Internet]. s.f. [citado 2025 ago 1]. Disponible en: https://rainn.org/articles/abuso-sexual-infantil

28. Romero A. Proyecto de Ley sobre el uso de IA en delitos sexuales infantiles [Internet]. 2023 [citado 2025 ago 1]. Disponible en: file:///C:/Users/pasca/Downloads/S2469_23PL%20(1).pdf

29. Serrahima de Bedoya A. Avances y desafíos de la inteligencia artificial [Internet]. Epositorio Comillas; 2022 [citado 2025 ago 1]. Disponible en: https://repositorio.comillas.edu/xmlui/bitstream/handle/11531/57178/Avances%20y%20desafios%20de%20la%20inteligencia%20artificial%20-%20Serrahima%20de%20Bedoya%2c%20Alvaro.pdf?sequence=2&isAllowed=y

30. Sullivan E. El auge del material de abuso sexual infantil generado por inteligencia artificial [Internet]. The New York Times; 2024 [citado 2025 ago 1]. Disponible en: https://www.nytimes.com/es/2024/02/01/espanol/inteligencia-artificial-abuso-infantil.html

31. Tenbarge K. Deepfake porn and the Mr. Deep Fake economy [Internet]. NBC News; 2023 [citado 2025 ago 1]. Disponible en: https://www.nbcnews.com/tech/internet/deepfake-porn-ai-mr-deep-fake-economy-google-visa-mastercard-download-rcna75071

32. The White Hatter. Alert for parents, caregivers, educators, and law enforcement concerning apps utilizing AI pose risks to youth and adults [Internet]. 2023 [citado 2025 ago 1]. Disponible en: https://thewhitehatter.ca/blog/alert-for-parents-caregivers-educators-and-law-enforcement-concerning-apps-utilizando-ai-pose-risks-to-youth-and-adults/

33. The White Hatter. Deepnudes: undressing AI-generated intimate image abuse material [Internet]. 2023 [citado 2025 ago 1]. Disponible en: https://thewhitehatter.ca/deepnudes-undressing-ai-generated-intimate-image-abuse-material/

Published

2024-12-30

Issue

Section

Review

How to Cite

1.
Petrini A, Belén Gauna M. Artificial Intelligence and its Impact on the Production of Illicit Materials. EthAIca [Internet]. 2024 Dec. 30 [cited 2025 Sep. 5];3:148. Available from: https://ai.ageditor.ar/index.php/ai/article/view/148