WANDR: Perplexity presenta benchmark para agentes de búsqueda

⏱ Tiempo de lectura: 3 min

Perplexity lanzó WANDR, un benchmark abierto con 500 tareas intensivas en evidencia para evaluar agentes de investigación. El sistema mide si estos agentes pueden descubrir múltiples entidades válidas y respaldar cada una con pruebas citables y verificables, estableciendo nuevos estándares en evaluación de sistemas de búsqueda basados en inteligencia artificial.

Qué es WANDR y cómo funciona

WANDR es un marco de evaluación diseñado específicamente para agentes de investigación que operan bajo dos criterios: amplitud (descubrir muchas entidades relevantes) y profundidad (respaldar cada hallazgo con evidencia verificable). Los 500 casos de prueba reflejan tareas complejas del mundo real donde la búsqueda superficial no es suficiente. El benchmark impulsa la evaluación rigurosa de sistemas de IA más allá de métricas tradicionales.

Resultados iniciales y liderazgo actual

Perplexity Search as Code encabeza el ranking con puntuaciones de 0.363 en soft F1 (flexibilidad en evaluación) y 0.133 en hard F1 (criterios estrictos). Estas métricas indican que incluso los sistemas más avanzados enfrentan desafíos significativos para cumplir con los dos objetivos simultáneamente: encontrar suficientes entidades sin sacrificar la calidad de la evidencia. El benchmark abierto permite que otros laboratorios y empresas evalúen sus propios agentes de investigación bajo los mismos criterios. Fuente: www.marktechpost.com

Elemento	Detalle
Nombre del benchmark	WANDR (Wide And Deep Research)
Cantidad de tareas	500 casos intensivos en evidencia
Tipo de evaluación	Amplitud (múltiples entidades) + profundidad (evidencia citada)
Sistema líder	Perplexity Search as Code
Soft F1 (máximo)	0.363
Hard F1 (máximo)	0.133
Disponibilidad	Benchmark abierto para evaluación comunitaria

Qué se puede esperar ahora

WANDR establece un nuevo estándar para medir la calidad de agentes de búsqueda en investigación académica y profesional. Los desarrolladores de sistemas de IA pueden usar este benchmark para identificar deficiencias en amplitud o validez de evidencia, acelerando mejoras en confiabilidad. La apertura del benchmark fomenta innovación competitiva en búsqueda semántica y verificación de fuentes.

Preguntas frecuentes sobre WANDR

¿Qué diferencia a WANDR de otros benchmarks de búsqueda?

WANDR combina dos dimensiones críticas: cantidad de entidades descubiertas y calidad citada de la evidencia. Otros benchmarks típicamente miden solo precisión o relevancia, pero no ambas simultáneamente con énfasis en verificabilidad.

¿Qué significan las puntuaciones soft F1 y hard F1?

Soft F1 evalúa con flexibilidad en la interpretación de respuestas válidas, mientras que hard F1 aplica criterios estrictos. Las puntuaciones máximas de 0.363 y 0.133 respectivamente indican que hay amplio margen de mejora.

¿Puedo usar WANDR para evaluar mi propio agente?

Sí, el benchmark es abierto. Desarrolladores y laboratorios pueden evaluar sus sistemas bajo los mismos 500 casos y comparar resultados contra la línea base de Perplexity Search as Code.

El punto clave para la comunidad tech

WANDR introduce rigor metodológico en un área donde los sistemas de IA aún luchan: combinar exploración exhaustiva con precisión verificable. Las puntuaciones bajas en hard F1 sugieren que la validación de fuentes sigue siendo el cuello de botella mayor en agentes de investigación.

En Inteligencia Artificial, benchmarks como este son herramientas esenciales para impulsar progreso medible. ¿Crees que la verificabilidad de fuentes debería ser la métrica principal en evaluación de agentes de búsqueda?

Fuente: www.marktechpost.com