Ciclo de feedback con IA — de la solicitud del cliente a un trabajo listo para revisar
- Sistemas de IA · Entrega de producto
- 2026
- Decisiones de producto + entrega de sistemas de IA
- Impakers · Operaciones internas de producto
Mantener el criterio humano.
Flujo del producto- 01
Solicitud
Recoger el feedback del cliente.
- 02
Contexto
Preparar la evidencia relevante.
- 03
Revisión humana
Revisar y mejorar la respuesta.
- 04
Entrega
Convertir feedback en cambios.
- 01Intenciones ordenadas y borradores separados
- 02Contexto acotado evaluado frente a la recuperación léxica
- 03Criterios humanos de aceptación y evaluación mediante reproducción
TypeScript · GraphRAG · Grafos de contexto · Entorno de evaluación · Revisión humana
Flujo reconstruido · sin datos de clientes en producción
El problema operativo
Las solicitudes de la bandeja de entrada de Impakers OS solían combinar varias peticiones que requerían respuestas distintas. Un reporte describía a un estudiante que registró su propia salida con su código de asistencia apenas dos minutos después de llegar, preguntaba por qué figuraba con la salida registrada, solicitaba una restricción de cinco minutos para que solo los docentes pudieran registrar la salida y nos pedía verificar si se había enviado una notificación. Un clasificador de una sola intención no podía dirigir todas las partes hacia la explicación, la investigación o el cambio de producto adecuados.
Antes
- Una sola intención elegida por solicitud
- Contexto incorporado sin una base de comparación sólida
- Puntuación del evaluador interpretada como calidad
Después
- 01Intenciones ordenadas y borradores separados
- 02Contexto acotado evaluado frente a la recuperación léxica
- 03Criterios humanos de aceptación y evaluación mediante reproducción
Lo que construí
- Diseñé el tratamiento ordenado de varias intenciones para que una sola solicitud de la bandeja de entrada pudiera recibir una explicación, una investigación y un cambio de producto sin omitir ninguna parte.
- Usé grafos de contexto del servicio para conectar las solicitudes con el conocimiento del producto y las rutas de relaciones relevantes.
- Desarrollé un ciclo del feedback a la evaluación con criterios de aceptación aprobados, límites temporales de reproducción previos a la respuesta, etiquetas humanas y resultados versionados.
- Mantuve las evaluaciones ausentes separadas de los fallos y traté las puntuaciones del evaluador como observaciones hasta calibrarlas con la revisión humana.
Antes / Durante / Después
Antes — hipótesis inicial
Un solo mensaje podía preguntar por qué se había registrado la salida de un estudiante, solicitar que solo los docentes pudieran registrar salidas durante los primeros cinco minutos y preguntar si se había enviado una notificación. Una sola etiqueta podía llevar a responder únicamente una parte.
Durante — restricciones y pivotes
Usé solicitudes etiquetadas para cuestionar el contrato de una sola intención y comparé las opciones de recuperación con una base léxica.
Después — resultado
En operación, el 72.7% de las respuestas redactadas por IA se enviaron tal como estaban. Después de que el responsable revisara los cambios de código propuestos, se fusionó el 93% de los PRs, y la cifra superó el 95% en desarrollos nuevos. Estas señales de adopción acompañan a un pequeño benchmark de recuperación que igualó la cobertura de la base de comparación; no estableció una superioridad general.
Ampliaría las evaluaciones repetidas y mediría la adopción del trabajo resultante, además del éxito de la generación.
Evidencia y alcance
Tecnologías y técnicas aplicadas
Herramientas: TypeScript · GraphRAG · Grafos de contexto · Entorno de evaluación · Revisión humana
Orquestación ordenada de múltiples intenciones
Conservé explicaciones, aclaraciones, investigaciones y correcciones de una solicitud mediante un plan ordenado y borradores separados para el cliente.
Grafos de contexto y evaluación de recuperación
Usé grafos de contexto del servicio y GraphRAG para conectar conocimiento relevante del producto, comparando la recuperación con una base léxica.
Evaluación offline con reproducción y calibración humana
Usé criterios de aceptación aprobados, límites de reproducción previos a la respuesta, etiquetas humanas y resultados versionados, sin tratar la puntuación del evaluador como verdad absoluta.
Cancelación y recuperación por etapa
Mantuve los límites de ejecución por etapa para conservar la recuperación y preparé aclaraciones de contenido conocido sin una llamada adicional al modelo.