2 de octubre de 2026

ReshapeX Team

Índice de Precisión de IA Industrial 2026

← Volver al blog
Gráfico de resultados del Índice de Precisión de IA Industrial 2026. En general, en 100 preguntas: conjunto de referencia de ReshapeX 100,0%, GPT-6 Astra con búsqueda web 52,0% y sin herramientas 12,0%, Claude con búsqueda web 40,5% y sin herramientas 14,0%, Gemini sin herramientas 13,5%. Por tipo de consulta, GPT-6 Astra con búsqueda web obtuvo 22,7% en configuración, 60,2% en búsqueda de pieza, 50,0% en validación, 43,8% en referencia cruzada y 80,0% en diagnóstico; Claude con búsqueda web obtuvo 0,0%, 47,7%, 47,9%, 40,6% y 30,0%.

Pegas un número de pieza en un modelo de IA para comprobar que sigue activo antes de especificarlo en un proyecto. La respuesta llega rápido y suena segura. La das por buena, porque comprobarlo bien implica entrar al portal de un distribuidor o llamar al representante del proveedor, y te quedan cuatro más antes del almuerzo.

Esa seguridad es el problema. Un modelo de propósito general no sabe cuándo está adivinando, así que una respuesta incorrecta y una correcta llegan con el mismo tono. El Índice de Precisión de IA Industrial 2026 mide con qué frecuencia esa adivinanza falla en el tipo de preguntas que hacen ingenieros, compradores y equipos de soporte: qué es compatible, qué la reemplaza, si sigue existiendo. Si tu equipo está por poner la IA frente a esas preguntas, aquí ves con qué frecuencia se equivocará, por tipo de consulta y por marca, antes de que lo descubra un cliente.

¿Quieres ver los resultados primero? El informe completo tiene las 100 preguntas, los resultados por marca y tipo de consulta, y el método completo.

Obtener el informe completo

Qué evaluamos

Los FDE de ReshapeX escribieron 100 preguntas a partir de 14 catálogos de fabricantes: ATI, Banner, Beckhoff, Datalogic, Festo, Fortress, item, Misumi, Rittal, Siemens, TE Connectivity, The Imaging Source, Turck y Yaskawa. Enviamos cada pregunta 3 veces a GPT-6 Astra y a Claude a través de sus API, tanto sin herramientas como con búsqueda web, y a Gemini sin herramientas, para un total de 1500 llamadas el 24 de septiembre de 2026. Los FDE revisaron cada veredicto contra las respuestas de referencia y sus datos clave. Esas respuestas de referencia son de ReshapeX, verificadas por FDE contra la documentación del fabricante, y fueron correctas en las 100 preguntas.

Hallazgo 1: la búsqueda ayuda mucho, y la mejor puntuación aun así fue 52,0%

Sin herramientas, los 3 modelos obtuvieron entre 12,0% y 14,0%, cerca de 1 de cada 8. Con la búsqueda web activada, GPT-6 Astra llegó a 52,0% y Claude a 40,5%, entre 3 y 4 veces sus puntuaciones sin herramientas. Todas las configuraciones con búsqueda superaron a todas las configuraciones sin herramientas.

Donde más ayudó la búsqueda, con una muestra grande, fue en la búsqueda de piezas: un número de pieza suele estar publicado en una página indexada, y un modelo sin herramientas casi nunca lo recuerda. Aun así, la mejor configuración del estudio respondió mal 42 preguntas. La búsqueda encuentra páginas. No comprueba si la página está vigente ni si describe el producto correcto.

La puntuación cuenta una respuesta Correcta como una unidad y una Parcial como media. En el conteo estricto, sin crédito parcial, GPT-6 Astra con búsqueda respondió del todo bien 46 de 100.

Gráfico de resultados del Índice de Precisión de IA Industrial 2026. En general, en 100 preguntas: conjunto de referencia de ReshapeX 100,0%, GPT-6 Astra con búsqueda web 52,0% y sin herramientas 12,0%, Claude con búsqueda web 40,5% y sin herramientas 14,0%, Gemini sin herramientas 13,5%. Por tipo de consulta, GPT-6 Astra con búsqueda web obtuvo 22,7% en configuración, 60,2% en búsqueda de pieza, 50,0% en validación, 43,8% en referencia cruzada y 80,0% en diagnóstico; Claude con búsqueda web obtuvo 0,0%, 47,7%, 47,9%, 40,6% y 30,0%.

Hallazgo 2: haz la misma pregunta 3 veces y obtén respuestas distintas

Cada pregunta se envió 3 veces a cada configuración. En 66 de 500 combinaciones de pregunta y configuración (13,2%), las repeticiones recibieron veredictos distintos (los veredictos por ejecución vienen del borrador del modelo; los FDE hicieron una segunda revisión de cada combinación marcada). Claude con búsqueda cambió de veredicto con más frecuencia, en 21 de 100 preguntas. GPT-6 Astra con búsqueda cambió menos, en 9 de 100. Activar la búsqueda también hizo a Claude menos estable: sin herramientas, cambió en 10 de 100.

Así que una sola prueba puntual demuestra poco. En 21 de 100 preguntas, Claude con búsqueda obtuvo un veredicto distinto según el intento que miraras.

Hallazgo 3: una respuesta incorrecta se ve igual que una correcta

Cerca de 1 de cada 3 respuestas incorrectas afirmó un dato, cifra o código concreto sin salvedad, negativa ni pregunta de aclaración: un estimado de 127 de 349 (36,5%), con un rango de 103 a 146. Esa estimación sale de una primera pasada basada en reglas, comprobada con una revisión basada en modelo de una muestra estratificada, no de una lectura humana de cada respuesta. Por separado, las notas revisadas por FDE describen al menos 13 de las 349 respuestas incorrectas como inventadas, un mínimo y no un conteo completo.

Las respuestas incorrectas no se delataron. En los casos de veredicto cambiante que aparecen más abajo, ejecuciones que se contradicen (2 números de pedido distintos, o un SKU exacto y un rotundo "no existe") llegaron con la misma seguridad. Como mucho una puede ser correcta, y nada en la redacción dice cuál. Así se ve una alucinación con piezas industriales. Un modelo al que le falta un dato tiende a producir uno plausible, y un número de pieza plausible que no existe parece real hasta que alguien lo pide. El Índice lo califica de forma directa: un código, cifra o afirmación de catálogo inventados hacen que toda la respuesta sea Incorrecta, aunque el resto sea exacto. El desglose completo de fallos, con ejemplos comentados, está en el informe.

Donde más falla: la configuración

Con la búsqueda activada, Configuración fue el tipo de consulta con la puntuación más baja: GPT-6 Astra 22,7%, Claude 0,0%. Estas preguntas describen un producto configurado, como una placa de interfaz para un robot concreto, y piden el número de pieza exacto. Ese número de pieza suele generarlo un configurador o construirse con las reglas de pedido de un catálogo, no está impreso en una página, así que la búsqueda tiene poco que recuperar. La salvedad va justo aquí: ATI aporta todas menos una de las 11 preguntas de Configuración, así que este resultado es sobre todo una puntuación sobre un solo catálogo.

En el otro extremo, GPT-6 Astra con búsqueda tuvo su mejor resultado en Diagnóstico / Soporte técnico, con 80,0%, pero ese tipo tiene solo 5 preguntas y una sola respuesta mueve mucho la puntuación. Para GPT-6 Astra, los otros 3 tipos quedan en medio; Claude tuvo su mejor resultado en Validación / Confirmación, apenas por delante de Búsqueda de pieza. El informe desglosa cada tipo y cada marca.

Dónde encaja ReshapeX

ReshapeX es una capa de grounding de conocimiento para la IA desplegada en la industria. (Explicamos por qué un modelo inventa números de pieza en Las alucinaciones no son un bug.) Para cada fabricante, el Knowledge Construction System (KCS) construye un grafo de conocimiento a partir de los catálogos y la documentación del propio fabricante: números de pieza, reglas de pedido, compatibilidad, estado de ciclo de vida, sustitutos aprobados. Un arnés de herramientas hecho a medida permite al modelo consultar ese grafo para obtener un dato verificado, en lugar de recordarlo de sus datos de entrenamiento o leerlo de una página web. En producción, los evals revisan cada respuesta antes de que la vea un cliente, y la sincronización continua mantiene el grafo al día a medida que el fabricante cambia sus líneas. Explicamos el diseño en El harness es la arquitectura y en Why AI Gets Industrial Product Questions Wrong (en inglés).

Las respuestas de ReshapeX, verificadas por FDE contra la documentación del fabricante, fueron correctas en las 100 preguntas y forman el conjunto de referencia. Eso significa que ReshapeX no se calificó junto a los demás sistemas en igualdad de condiciones. Sus respuestas verificadas definieron qué es correcto, y ninguna configuración evaluada llegó a esos datos clave verificados más del 52,0% de las veces. Esas respuestas provinieron de ReshapeX funcionando con versiones de GPT y Claude anteriores a las evaluadas. Creemos que el grounding explica la diferencia. El estudio no se diseñó para probarlo, y no mide con qué frecuencia aciertan las respuestas de ReshapeX sin revisar.

Antes de citar cualquiera de estos datos, conoce sus límites. Las respuestas de ReshapeX se recopilaron marca por marca entre el 1 de junio y el 24 de septiembre de 2026. Un modelo redactó un veredicto sugerido para cada combinación, y un FDE tomó la decisión final en las 500, corrigiendo el borrador en 33. Los FDE escribieron las preguntas y asignaron cada veredicto, sin revisión de terceros. 17 preguntas se hicieron en español, todas de Misumi e item, así que no se pueden separar idioma y catálogo. Gemini se evaluó solo sin herramientas, porque los términos de su proveedor exigen permiso por escrito para hacer benchmarks con cualquier forma de grounding, incluida la búsqueda. El informe enumera todas las limitaciones.

2 respuestas que se contradicen

El informe no publica los veredictos por ejecución para mantener privada la clave de respuestas. En ambos casos las ejecuciones se contradicen, así que no pueden ser todas correctas. Las preguntas y respuestas se citan en el idioma original (inglés).

  • Beckhoff, BEC-04, Claude sin herramientas. La pregunta: "Within the CX7000 series (Arm Cortex embedded PCs with integrated I/Os), which single model has an on-board CANopen commander (master) interface? Give the order number." La ejecución 1 respondió CX7053. La ejecución 3 respondió CX7051. Las 3 ejecuciones dieron 3 números de pedido distintos.
  • Rittal, RITTAL-11, Gemini sin herramientas. La pregunta: "I need a KX terminal box in 304 stainless, 200 wide, 200 tall, 80 deep. What’s the SKU?" La ejecución 1 dio un SKU exacto: "KX 1568.000". La ejecución 2 dijo: "Rittal does not make a 200 × 200 × 80 mm terminal box in the KX stainless steel range."

El método, en breve

Cada llamada fue de un solo turno, sin historial ni memoria de cuenta, con ID de modelo fijados (gpt-6-astra, claude-fable-5-1, gemini-3.8-flash) y el esfuerzo de razonamiento predeterminado de cada API. Las preguntas cubren 5 tipos de consulta: Búsqueda de pieza (44), Validación / Confirmación (24), Referencia cruzada (16), Configuración (11) y Diagnóstico / Soporte técnico (5). Una respuesta es Correcta cuando coincide con los datos clave de la respuesta de referencia, con cualquier redacción y en cualquier idioma. Doce reglas de calificación afinan ese criterio. Los FDE sometieron 157 de 500 combinaciones a una segunda revisión más a fondo. La clave de respuestas no se publica, para que las preguntas sigan sirviendo como prueba, y el informe imprime una huella digital SHA-256 del conjunto de preguntas. El método completo y las limitaciones están en el informe. Prensa, revisores y proveedores de modelos pueden solicitar la clave de respuestas a James Sugrue (james@reshapeautomation.com), y cualquiera puede volver a ejecutar las preguntas y enviarnos lo que encuentre. Si una nueva ejecución muestra un error en nuestra calificación, lo corregiremos en la próxima versión.

Descarga el informe completo: las 100 preguntas, los resultados por marca y tipo de consulta, el análisis de fallos y el método completo.

Obtener el informe completo

¿Quieres ver cómo responde tu propio catálogo? Danos tus 20 preguntas más difíciles y las ejecutaremos sobre tus SKU, citando cada respuesta. Agenda una llamada de descubrimiento.

Preguntas frecuentes.

¿Qué tan preciso es GPT-6 Astra con números de pieza industriales?

GPT-6 Astra obtuvo 12,0% en preguntas sobre piezas industriales sin búsqueda web en el Índice de Precisión de IA Industrial 2026, evaluado con 100 preguntas tomadas de 14 catálogos de fabricantes el 24 de septiembre de 2026, y respondió del todo bien solo 11 de 100. Con su herramienta de búsqueda activada, la puntuación de GPT-6 Astra subió a 52,0%, la más alta de los tres productos evaluados, con 46 de 100 preguntas respondidas correctamente.

¿La búsqueda web mejora la precisión de la IA en preguntas sobre piezas industriales?

Sí, de forma considerable. La búsqueda web multiplicó las puntuaciones por 3 o 4 en el Índice de Precisión de IA Industrial 2026: GPT-6 Astra pasó de 12,0% sin herramientas a 52,0% con búsqueda (4,3x), y Claude (claude-fable-5-1) pasó de 14,0% a 40,5% (2,9x). Aun con la búsqueda activada, Claude respondió correctamente solo 35 de 100 preguntas.

¿Cómo se evaluó el Índice de Precisión de IA Industrial?

Los forward deployed engineers (FDE) de ReshapeX escribieron 100 preguntas de 14 catálogos de fabricantes y 5 tipos de consulta, y enviaron cada una a GPT-6 Astra, Claude y Gemini a través de sus API, sin herramientas y con búsqueda, 3 veces cada una, para un total de 1500 llamadas el 24 de septiembre de 2026. Las respuestas de referencia de ReshapeX se recopilaron por API, por marca, entre el 1 de junio y el 24 de septiembre de 2026, y luego los FDE las verificaron contra la documentación del fabricante.

¿Qué tan consistentes son las respuestas de la IA a una misma pregunta?

No mucho. Ante la misma pregunta hecha 3 veces, los modelos evaluados discreparon en el veredicto en 66 de 500 combinaciones de pregunta y configuración (13,2%) en el Índice de Precisión de IA Industrial 2026. Claude (claude-fable-5-1) con búsqueda fue el menos consistente, con cambios en 21 de 100 preguntas, mientras que GPT-6 Astra con búsqueda fue el más consistente, con cambios en 9 de 100.

¿Qué tipo de pregunta es más difícil para los modelos de IA?

Las preguntas de configuración, que piden a un modelo armar o identificar un producto configurado exacto, obtuvieron la puntuación más baja con búsqueda web en el Índice de Precisión de IA Industrial 2026: GPT-6 Astra llegó a 22,7% y Claude (claude-fable-5-1) obtuvo 0,0%. Casi todas las preguntas de esa categoría vienen de un solo fabricante, ATI, así que el resultado refleja sobre todo un catálogo y no las preguntas de configuración en general.

¿Quién hizo el Índice de Precisión de IA Industrial y qué cuenta como respuesta correcta?

ReshapeX hizo el Índice. Las respuestas de ReshapeX, verificadas por FDE contra la documentación del fabricante, fueron correctas en las 100 preguntas (100,0%) y forman el conjunto de referencia. Las respuestas de GPT-6 Astra, Claude y Gemini se calificaron contra ese conjunto: un modelo redactó un veredicto sugerido para cada combinación, y un FDE tomó la decisión final en las 500, corrigiendo el borrador en 33. Ninguna configuración evaluada llegó a esos datos clave más del 52,0% de las veces.

¿El Índice demuestra que el grounding produce una mayor precisión de la IA?

No, no se diseñó para demostrarlo. Las respuestas de referencia provinieron de un sistema de ReshapeX con una capa de grounding de conocimiento, que funciona con versiones de GPT y Claude anteriores a gpt-6-astra y claude-fable-5-1, evaluados aquí. ReshapeX cree que el grounding explica la diferencia, pero el estudio no aisló esa variable, y no mide con qué frecuencia aciertan las respuestas de ReshapeX sin revisar.

Danos tus veinte preguntas más difíciles.

Haremos demo con tus SKUs, correremos tus evals y citaremos cada respuesta.

  • Ejemplos Reales
  • Demo Funcional
  • Tus Datos
Agenda una reunión