Registro y Evaluación del uso de la IA - PPL
Universidad de Sevilla
Escuela Técnica Superior de Ingeniería Informática
Grado en Ingeniería Informática – Ingeniería del Software
Curso: 2024 – 2025
Fecha: 01/05/2025
Versión: v3
Grupo de prácticas: G1
Nombre del grupo de prácticas: ISPP - Grupo 1 - Holos
- María del Mar Ávila Maqueda
- Joaquín González Ganfornina
- Nerea Jiménez Adorna
- Juan del Junco Obregón
- Miguel Ángel Gómez Vela
- Juan Antonio Moreno Moguel
- María del Carmen Barrera Garrancho
- Daniel Guedes Preciados
- Julia Virginia Ángeles Burgos
- Javier Muñoz Romero
- Juan Núñez Sánchez
- Nicolás Pérez Gómez
- Francisco Pérez Lázaro
- Celia Aguilera Camino
- Gabriel María Vacaro Goytía
- Ignacio Warleta Murcia
- José María Portela Huerta
Responsables:
| Miembro | Responsabilidad |
|---|---|
| Miguel Ángel Gómez | Redactor |
| María del Mar Ávila | Revisora |
Repositorio: GitHub - Holos-INC
Tabla de versiones
| Versión | Fecha | Descripción de cambios | Autor |
|---|---|---|---|
| v1.0 | 15/02/2025 | Creación del documento. | Miguel Gómez Vela |
| v1.1 | 05/03/2025 | Actualización con el feedback de algunos usuarios piloto | Miguel Gómez Vela |
| v2.0 | 07/04/2025 | Actualización usos de la IA , sonarQube | Miguel Gómez Vela |
| v3.0 | 01/05/2025 | Actualización usos de la IA , sonarQube | Miguel Gómez Vela |
Índice de Contenidos
- Introducción
- Usos de la Inteligencia Artificial
- Herramientas
- Registro y Evaluación del Uso de IA
- Cálculo de la Alucinación de la IA
1. Introducción
En el contexto del proyecto de esta asignatura, la inteligencia artificial (IA) se ha convertido en una herramienta clave para optimizar procesos, mejorar la eficiencia del desarrollo y garantizar la calidad del producto final. A medida que las tecnologías avanzan, la integración de IA en flujos de trabajo no solo permite automatizar tareas repetitivas, sino que también facilita la toma de decisiones, la depuración de errores y la mejora de la documentación.
Dentro de este proyecto, emplearemos diferentes herramientas basadas en IA para agilizar diversas fases del desarrollo, desde la recopilación y análisis de información hasta la generación de código, revisión de documentos y control de calidad. Estas herramientas no reemplazan el criterio humano, sino que sirven como apoyo para mejorar la productividad y minimizar errores, permitiendo a los integrantes del equipo centrarse en aspectos estratégicos y creativos del desarrollo.
Además, el uso de IA en este contexto debe ser documentado y evaluado para garantizar su efectividad. Se implementará un sistema de registro y análisis del impacto de la IA, con el objetivo de medir su utilidad, detectar posibles mejoras y establecer mejores prácticas para su aplicación en futuros proyectos.
En los siguientes apartados, se detallarán los distintos usos de la IA, así como las políticas de registro y evaluación que permitirán un uso transparente, eficiente y responsable de la inteligencia artificial dentro del equipo.
2. Usos de la Inteligencia Artificial
La integración de inteligencia artificial (IA) en el desarrollo del proyecto permitirá optimizar procesos, automatizar tareas y mejorar la calidad del producto. A continuación, se detallan los distintos usos de la IA dentro del flujo de trabajo, destacando cómo cada uno de ellos aporta valor al equipo y al resultado final.
2.1. Recopilación de Información
Uno de los principales usos de la IA es la búsqueda y análisis de información relevante para el desarrollo del proyecto. Esto incluye la identificación de tendencias del mercado, el análisis de posibles competidores y la recopilación de datos clave para la toma de decisiones. Herramientas como ChatGPT y Microsoft Copilot pueden ayudar a sintetizar grandes volúmenes de datos y extraer información útil de diversas fuentes.
2.2. Revisión de Documentos
Para garantizar que la documentación del proyecto sea clara, coherente y libre de errores, se emplearán herramientas de IA para realizar revisiones automáticas. Estas herramientas podrán detectar errores gramaticales y ortográficos, así como sugerir mejoras en la redacción y estructuración de documentos técnicos. Esto reducirá el tiempo de revisión manual y asegurará una comunicación más efectiva dentro del equipo.
2.3. Explicación de Errores
Durante el desarrollo del proyecto, pueden surgir errores en el código o en la implementación de ciertos procesos. La IA será utilizada para analizar errores, proporcionar explicaciones detalladas sobre su origen y sugerir posibles soluciones. Esto permitirá a los desarrolladores comprender los problemas y resolverlos de forma eficiente.
2.4. Refactorización
La IA también será utilizada para mejorar la calidad del código, proporcionando sugerencias de refactorización. Esto incluirá:
- Reducción de redundancias en el código.
- Optimización del rendimiento de ciertas funciones.
- Mejor legibilidad y mantenibilidad del código.
El uso de herramientas como GitHub Copilot permitirá identificar fragmentos de código mejorables y sugerir cambios para hacer el código más eficiente y claro.
3. Herramientas
Para llevar a cabo el desarrollo del proyecto de manera eficiente, utilizaremos diversas herramientas basadas en inteligencia artificial (IA). Estas herramientas ayudarán en tareas como la generación de código, la revisión de documentos, el control de calidad y la automatización de procesos. A continuación, se describen las herramientas que se emplearán, junto con enlaces a sus respectivas plataformas.
3.1. Microsoft Copilot
Microsoft Copilot es una IA integrada en el ecosistema de Microsoft, diseñada para asistir en la automatización de tareas, generación de texto y mejora de productividad dentro de herramientas como Word, Excel y Teams. En este proyecto, se utilizará para la redacción de documentación y la optimización del flujo de trabajo.
3.2. ChatGPT
ChatGPT es un modelo de IA desarrollado por OpenAI especializado en generación de texto, asistencia en programación y soporte en la toma de decisiones. Su uso en este proyecto incluirá la explicación de errores, revisión de documentos y generación de contenido técnico.
3.3. GitHub Copilot
GitHub Copilot es un asistente de IA para la generación de código automático, desarrollado por GitHub y OpenAI. Se integra con editores como VS Code para sugerir líneas y funciones de código en tiempo real. En este proyecto, se utilizará para optimizar la refactorización, mejorar la legibilidad del código y generar pruebas automatizadas.
3.4. SonarQube
SonarQube es una plataforma de control de calidad del código, que permite identificar errores, vulnerabilidades y problemas de seguridad de manera automática. Su uso en este proyecto se centrará en la detección de malas prácticas y la mejora continua del código fuente.
3.5. Claude
Claude es un modelo de inteligencia artificial especializado en generación y análisis de código, desarrollado por Anthropic. Se utilizará en este proyecto para refactorización, optimización de código y generación de explicaciones detalladas sobre problemas técnicos.
3.6. Claudette
Claudette es una herramienta de inteligencia artificial especializada en el análisis de cláusulas contractuales. Se utiliza para la estimación de cláusulas abusivas en contratos y acuerdos legales. En este proyecto, se utilizará para evaluar y verificar cláusulas contractuales con el fin de identificar posibles prácticas abusivas o desleales en los contratos generados.
4. Registro y Evaluación del Uso de IA
Para garantizar la transparencia, eficiencia y mejora continua en el uso de inteligencia artificial (IA) dentro del proyecto, se implementará un sistema de registro y evaluación de las herramientas empleadas. Este apartado tiene como objetivo documentar cómo se utiliza la IA, evaluar su impacto en el desarrollo y analizar su efectividad en la resolución de problemas.
4.1. Proceso de Registro del Uso de IA
El registro del uso de IA es esencial para mantener un seguimiento estructurado de las consultas realizadas y su impacto en el proyecto. Este proceso permitirá:
- Evaluar la utilidad de las herramientas IA en diferentes tareas.
- Identificar patrones de uso y posibles mejoras en el flujo de trabajo.
- Asegurar la trazabilidad en el desarrollo y documentación del proyecto.
Cada consulta realizada a una herramienta de IA deberá ser registrada con detalles específicos, garantizando que la información esté disponible para futuras referencias y auditorías.
4.2. Políticas de Uso y Registro
Para un uso responsable y documentado de la IA, se establecen las siguientes políticas:
-
Obligatoriedad del registro:
- Toda consulta de IA que influya en la documentación oficial, generación de código o toma de decisiones deberá registrarse en la tabla correspondiente.
- Se recomienda registrar las consultas relevantes incluso si la respuesta no es utilizada.
-
Contenido del registro:
- Cada consulta debe contener información sobre quién la realizó, qué buscaba y cuál fue el resultado obtenido.
- Se debe especificar si la respuesta proporcionada por la IA fue utilizada sin modificaciones o si requirió ajustes.
-
Evaluación del impacto:
- Se deberá analizar si la respuesta de la IA fue útil y en qué medida ayudó a ahorrar tiempo o mejorar el resultado.
4.3. Plantilla para el Registro del Uso de IA
A continuación, se proporciona una plantilla estándar para el registro de cada consulta a herramientas de IA:
ID del Uso: [Número único]
Herramienta Utilizada: [ChatGPT / GitHub Copilot / Microsoft Copilot, etc.]
Descripción del Uso: [Breve explicación de la consulta realizada]
Autor de la Consulta: [Nombre del responsable]
Fecha de la Consulta: [DD/MM/AAAA]
Respuesta Obtenida: [Resumen de la respuesta de la IA]
¿Se utilizó la respuesta sin cambios? (Sí/No)
Modificaciones realizadas: [En caso de que la respuesta haya sido editada]
Tiempo estimado ahorrado: [Minutos / Horas]
4.4. Tabla 1: Registro del Uso de IA
Esta tabla almacenará los registros de todas las consultas realizadas a herramientas de IA dentro del proyecto.
| ID del Uso | Uso (descripción breve) | Autor de la consulta | Fecha | Enlace de la consulta |
|---|---|---|---|---|
| 001 | Revisión del documento: Gestión del uso de la IA v1.0 | Gabriel Vacaro | 05/03/2025 | Enlace a ChatGPT |
| 002 | Resolución de dudas con respecto al uso de Inheritance.TABLE_PER_CLASS con JPARepository | José María Portela | 04/03/2025 | Enlace a ChatGPT |
| 003 | Despliegue de la aplicación | Juan Antonio Moreno | 13/03/2025 | Enlace |
| 004 | Recomendaciones de uso responsive en front | Francisco Pérez | 04/03/2025 | Enlace a ChatGPT |
| 005 | Investigación sobre cómo insertar múltiples líneas de texto en un campo de entrada de texto. | María del Carmen Barrera | 05/03/2025 | Enlace a ChatGPT |
| 006 | Investigación sobre la generación de un mockup de backend en el frontend. | María del Carmen Barrera | 05/03/2025 | Enlace a ChatGPT |
| 007 | Resolución de dudas con respecto uso de DTOs en el repositorio | José María Portela | 21/03/2025 | Enlace a ChatGPT |
| 008 | Ayuda para hacer formularios para los Usuarios Piloto partiendo de los manuales | Nerea Jiménez Adorna | 24/03/2025 | Enlace a ChatGPT |
| 009 | Ideas para el storyboard de inversores y ayuda con gráficas | Nerea Jiménez Adorna | 24/03/2025 | Enlace a ChatGPT |
| 010 | Duda sobre buenas prácticas a la hora de realizar un componente (Frontend) | Gabriel Vacaro Goytia | 25/03/2025 | Enlace a ChatGPT |
| 011 | Corrección de faltas ortográficas e incoherencias en el procesado de feedback | Gabriel Vacaro Goytia | 25/03/2025 | Enlace a ChatGPT |
| 012 | Consulta sobre cómo ajustar la opacidad de una superposición de vídeo en iMovie para la demo | Ignacio Warleta Murcia | 20/03/2025 | Enlace a ChatGPT |
| 013 | Consulta sobre creación de workflow para eliminación de ramas inactivas | Juan del Junco Obregón | 24/03/2025 | Enlace a ChatGPT |
| 014 | Consulta sobre visualización de fórmulas matemáticas en un archivo markdown | Ignacio Warleta | 26/03/2025 | Enlace a ChatGPT |
| 015 | Paso de métodos del controlador a un formato para iniciar el análisis | Nerea Jiménez Adorna | 29/03/2025 | Enlace a ChatGPT |
| 016 | Conversión de string a formato base64 | María del Carmen Barrera | 10/04/2025 | Enlace a ChatGPT |
4.5. Tabla 2: Evaluación de la Utilidad de la IA
Además del registro, es importante evaluar cómo de útil fue la respuesta proporcionada por la IA y si contribuyó a la optimización del trabajo.
| ID del Uso | Intentos hasta obtener respuesta válida | ¿Se obtuvo la respuesta esperada? | ¿Se editó la respuesta? | Tiempo ahorrado (minutos) |
|---|---|---|---|---|
| 001 | 3 | Sí | No | 20 min |
| 002 | 2 | Sí | No | 45 min |
| 003 | 2 | Sí | Sí | 300 min |
| 004 | 3 | Sí | No | 30 min |
| 005 | 2 | Sí | No | 20 min |
| 006 | 1 | Sí | No | 45 min |
| 007 | 1 | Sí | No | 60 min |
| 008 | 1 | Sí | No | 40 min |
| 009 | 1 | Sí | No | 20 min |
| 010 | 2 | Sí | No | 15 min |
| 011 | 5 | Sí | No | 35 min |
| 012 | 1 | Sí | No | 10 min |
| 013 | 1 | Sí | No | 90 min |
| 014 | 1 | Sí | No | 10 min |
| 015 | 3 | Sí | No | 90 min |
| 016 | 1 | Sí | No | 35 min |
5. Cálculo de la Alucinación de la IA
Con el fin de analizar la fiabilidad de las respuestas generadas por las herramientas de inteligencia artificial utilizadas en el proyecto, se incorpora un mecanismo para calcular el porcentaje de alucinación, es decir, respuestas incorrectas, engañosas o poco útiles.
5.1. ¿Qué es una alucinación en IA?
Una alucinación ocurre cuando una IA genera contenido incorrecto, inventado o que no se corresponde con la realidad o con las mejores prácticas conocidas. Evaluar este fenómeno permite identificar en qué medida se puede confiar en las respuestas obtenidas.
5.2. Niveles de alucinación
A cada uso registrado de IA se le asigna un nivel de alucinación:
| Nivel | Descripción |
|---|---|
| 0 | Respuesta completamente correcta y útil. No presenta alucinación. |
| 1 | Respuesta parcialmente incorrecta o confusa. Requiere correcciones. Alucinación leve. |
| 2 | Respuesta incorrecta, inventada o sin base. Alucinación grave. |
5.3. Fórmula de cálculo
El porcentaje de alucinación se calcula mediante la siguiente fórmula:
% Alucinación = (Suma de niveles de alucinación / (Número total de usos × 2)) × 100
Cálculo de la Alucinación de la IA
- Total de registros evaluados: 16
- Respuestas editadas: 1 (ID 003)
- Nivel de Alucinación asignado:
- Nivel 0: Respuestas completamente correctas (15 respuestas).
- Nivel 1: Respuestas editadas (1 respuestas).
- Porcentaje de Alucinación: 3.125%