Una demo de Kevin Lupera muestra que un reflector puede proponer cambios al prompt de un agente de soporte y elevar el score evaluado, pero sus cifras no prueban una mejora garantizada en producción. Los métodos usaron presupuestos distintos y las tablas de resultados del artículo discrepan; por eso conviene leerlos como resultados reportados por el autor, no como benchmarks comparables ni como evidencia de un 100% de acierto.
Qué hizo la demo con AWS AgentCore
Kevin Lupera describe un agente de soporte al cliente con herramientas simuladas y tickets de pedidos. En algunos casos, el agente emitía reembolsos sin comprobar antes si correspondían. La demo generaba trazas de ejecución, usaba un reflector para proponer cambios al system prompt y evaluaba el agente con casos separados.
As an Amazon Associate I earn from qualifying purchases.
La idea se relaciona con el flujo que documenta Amazon Bedrock AgentCore: partir de trazas, definir una señal de evaluación y generar recomendaciones sobre el prompt del sistema o las descripciones de herramientas. El optimizador no decide por sí solo qué significa «mejor»: sus sugerencias dependen de lo que mida el evaluador.
Qué resultados publicó el autor
La tabla de Lupera reporta estos scores y presupuestos para su demo:
#1 Best Overall
| Método | Score reportado | Turnos | Tiempo reportado |
|---|---|---|---|
| Baseline | 72,62% | No indicado en la tabla | No indicado en la tabla |
| GEPA | 79,63% | 100 | 108 minutos |
| MIPROv2 | 74,40% | 100 | 216 minutos |
| Single Agent Reflector | 81,55% | 20 | 6 minutos |
| Sub-Agent Reflector | 95,83% | 100 | 193 minutos |
Son resultados que publica el autor para su configuración, no mediciones independientes de AWS ni una garantía de que otra tarea obtenga la misma mejora. Tampoco constituyen una comparación a igual costo o esfuerzo: varían tanto los turnos como el tiempo reportado. El score más alto, por sí solo, no demuestra una mejor relación entre resultado y recursos.
El artículo incluye además dos tablas de ocho tickets held-out que no coinciden por completo. La tabla de resumen muestra ocho aciertos después de la optimización, mientras que la tabla detallada registra errores posteriores para B203 y B204 y presenta diferencias en algunos estados iniciales. Esa inconsistencia impide usar el detalle como prueba de un 100% de acierto.
Cómo interpreta AWS la optimización
En la guía oficial de optimización de AgentCore, el proceso parte de trazas de un agente y de un evaluador numérico que representa el objetivo. La documentación de recomendaciones para el system prompt explica que la elección del evaluador debe corresponder al tipo de tarea: GoalSuccessRate para tareas concretas, Helpfulness para interacciones abiertas o un evaluador personalizado cuando las opciones integradas no capturan la métrica de dominio relevante.
Esto tiene una consecuencia práctica: el optimizador tiende a favorecer aquello que el evaluador puntúa. Si el evaluador mide resolución del ticket pero no penaliza reembolsos improcedentes, un prompt podría mejorar el score sin mejorar el comportamiento que realmente importa. El evaluador debe reflejar tanto el objetivo como los errores que se quieren evitar.
AWS advierte expresamente: “Recommendations are generated by LLMs. Review and test before applying.” La recomendación es una propuesta generada por un modelo, no una validación de seguridad, calidad o adecuación operativa.
Cómo validar un cambio antes de producción
La documentación de AgentCore contempla evaluación por lotes con sesiones de prueba y pruebas A/B con distribución controlada de tráfico y puntuación online. Una evaluación offline permite detectar regresiones antes de exponer usuarios; una prueba A/B observa el comportamiento bajo tráfico real controlado. Ninguna sustituye la revisión del prompt ni las salvaguardas propias del caso.
- Define el resultado y los fallos críticos. Elige un evaluador alineado con la tarea y añade verificaciones para errores relevantes, como autorizar un reembolso sin comprobar la política aplicable.
- Compara sobre el mismo conjunto. Ejecuta la versión actual y la propuesta con las mismas tareas y condiciones. Mantén casos representativos y casos difíciles, no solo ejemplos que favorezcan el cambio.
- Revisa más que el promedio. Examina fallos individuales y métricas de regresión, además del score global. Comprueba especialmente las acciones con consecuencias, como emitir reembolsos.
- Prueba de forma controlada antes de ampliar el uso. Usa evaluación offline para filtrar cambios y, si procede, una prueba A/B con distribución limitada. Conserva una vía para retirar el cambio si empeora resultados importantes.
La descripción técnica de AWS sobre el reflector explica este enfoque y sus modalidades de evaluación en su artículo sobre AgentCore Optimization. Las cifras de benchmarking de ese artículo corresponden a un experimento distinto y no deben combinarse con los resultados de Lupera.
Free tools Windows power users keep installed
One-click scans. No signup required.
La observación del autor sobre ajustar instrucciones
Lupera atribuye una mejora en su implementación a especificar un número exacto de caracteres y recalcularlo en cada epoch, en lugar de proporcionar un porcentaje. Su formulación fue: “Lo que destrabó la convergencia (50%→100% en 3 epochs) fue darle un número exacto de caracteres, recalculado por epoch, en vez de un porcentaje.” Es una observación de esa demo y de ese procedimiento, no una regla universal para optimizar prompts.
Quick Recap
Best Value
Qué puede concluirse y qué no
- La demo ilustra un ciclo de trazas, evaluación y recomendación de cambios al prompt.
- Los scores publicados sugieren una mejora dentro de la evaluación del autor, pero no han sido reproducidos independientemente.
- Los presupuestos de turnos y tiempos son distintos, así que la tabla no establece cuál método es más eficiente en condiciones equivalentes.
- La discrepancia entre tablas de tickets impide afirmar a partir del artículo que la versión optimizada resolvió todos los casos.
- La disponibilidad regional, los permisos de cuenta, los precios actuales y los pasos exactos para reproducir esa combinación concreta no quedan establecidos por la demo; consulta el FAQ de AgentCore y la documentación vigente para tu configuración.
Product prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on Amazon at the time of purchase will apply.
