El registro
El piso solo sube, y sube midiendo. Está junto a la última lectura. La cohorte auditada va primero; la muestra más pequeña sigue, rotulada como muestra, con el veredicto que le dio su propio comprobante (race-eval-b5, 5 de septiembre de 2026).
Tasa de falso éxito, auditada
15.3% dijo “listo” cuando no lo estaba: 143 de 932 compilaciones verificadas, con modelos gratuitos (intervalo de 95%: 13.2%–17.8%). El límite de producción es 2%, así que la puerta de lanzamiento no se cumple. Cohorte auditada de compilaciones amplias · 1 de septiembre de 2026 · registro de mediciones
Verificadas de principio a fin, auditadas
68.8% de las compilaciones verificadas de principio a fin: 641 de 932 (intervalo de 95%: 65.7%–71.7%). Evidencia histórica, no calificación del código de hoy. La misma cohorte auditada · 1 de septiembre de 2026 · registro de mediciones
Tasa de resolución de compilaciones, muestra de 36 briefs
91.7% de los briefs se construyó hasta un resultado verificado con modelos gratuitos. 33 de 36 (rango 78.2%–97.1%). Una muestra, no la cohorte auditada, y el veredicto de su comprobante es por debajo del listón: tres compilaciones rompieron algo, y el listón no admite ninguna. Muestra histórica, 36 de 37 · 2026-09-05
Tasa de falso éxito, muestra de 36 briefs
0.0% dijo “listo” cuando no lo estaba. 0 de 36, pero el rango es 0%–9.6%, así que no es una promesa, y los 932 auditados de arriba dicen 15.3%. Una muestra cuyo comprobante tiene el veredicto por debajo del listón. Muestra histórica, 36 de 37 · 2026-09-05
Tasa de daño colateral, muestra de 36 briefs
8.3% rompió algo que nadie pidió tocar: 3 de 36. Por eso la muestra está por debajo del listón. El listón es cero. Muestra histórica, 36 de 37 · 2026-09-05
Violaciones de accesibilidad
0 errores de accesibilidad en nuestras páginas, en un navegador real con dos anchos. auditoría a escala de servicio · 2 de septiembre de 2026
Lo que puedes tener hoy
Lo que puedes tener aquí hoy, parte por parte
Cada resultado que anuncia la página de inicio, dividido en las partes por las que preguntarías por separado. Cada etiqueta se calcula a partir de registros, nunca se escribe a mano. Disponible aquí significa que un modelo creó ese tipo con un resultado verificado en la ejecución de evaluación race-eval-b5, y que cada capacidad que usa está comprobada en vivo. Requiere conexión significa un servicio que conectas primero. Experimental significa que se inicia y se verifica, pero ningún registro lo demuestra de principio a fin, o que una capacidad que usa está instalada y aún no comprobada en vivo. Aún no disponible significa que nada aquí lo crea.
Tres ejecuciones de prueba reales (en inglés)
Recorded runs
Three real runs, as the grader recorded them.
Passed
Asked “Add a contact page at contact.html with the studio's email address, hello@wildwoodpottery.co.uk, and link to it from the home page.”
Result Changed contact.html, index.html in a website project, built by a free AI model.
Verified 5 of 5 checks on what was asked passed, and 3 of 3 checks that the rest of the project was left alone.
Not verified This adds contact.html, and nothing in your project's tests covers that yet — they passed before the file existed and they pass now, which says nothing about it.
Eval run · 2026-09-05 · add-a-contact-page
Passed
Asked “If someone passes a filename that does not exist, say so plainly instead of crashing.”
Result Changed tool.py in a python-tool project, built by a free AI model.
Verified 2 of 2 checks on what was asked passed, and 1 of 1 checks that the rest of the project was left alone.
Not verified Not established by this run: that a passing rate on this corpus holds on work outside it.
Eval run · 2026-09-05 · python-handle-a-missing-file
Broke something it was not asked to touch
Asked “Add a services page at services.html listing three things we offer, and link to it from the main navigation.”
Result Changed index.html, services.html, style.css in a website project, built by a free AI model.
Verified 4 of 4 checks on what was asked passed, and 1 of 2 checks that the rest of the project was left alone.
Failed check file_matches index.html: no match for 'id="contact"'.
Eval run · 2026-09-05 · website-add-a-services-page
Briefs from ForgeOS’s own evaluation corpus, built by the free model fleet and graded against the files produced, on 2026-09-05 — not customer projects. That run: 33 of 37 passed. The full record.
Cinco conteos de lo que puede construir
Suenan parecidos. No lo son. Del más amplio al más estricto.
Iniciables
37 tipos de proyecto que puede iniciar como un proyecto funcional con pruebas. Iniciar no prueba que construya bien uno. contado a partir del iniciador de proyectos
Cubiertos por el corpus
37 tipos tienen briefs de prueba con respuestas escritas. Esto muestra que las verificaciones funcionan; no es que un modelo construya uno. contado a partir del corpus de evaluación de compilaciones
Calificados con modelo
11 tipos en los que un modelo construyó al menos un brief hasta un resultado verificado en la última ejecución. Una ejecución muestrea algunos briefs, no todos. ejecución de evaluación race-eval-b5 · 5 de septiembre de 2026
Recetas de tecnología
127 tecnologías con un comando de compilación real, aunque una máquina dada no tenga las herramientas. contado a partir de las recetas del tejido de compilación
Catalogadas
325 combinaciones de tecnología y área del sistema para las que puede planificar. Una combinación es una tecnología en un área, así que una tecnología usada en dos áreas cuenta dos veces: no es un conteo de tecnologías distintas. Catalogada no es comprobada, así que tómalo como una lista, no como una habilidad. contado a partir del catálogo del tejido de compilación
Benchmark: solo los brazos medidos
Solo se comparan los brazos medidos de abajo. Cada uno de los demás brazos declarados aparece como no medido, con su motivo; no se infiere ningún puntaje ni ranking para él.
Brecha con el agente de frontera
Among measured arms only (claude_code, forgeos_free_models, forgeos_model_free): measured on 50 tasks across 3 arms; no arm is proven better across every dimension. Frontier: forgeos_free_models, forgeos_model_free. La tasa de resolución de la flota gratuita menos la de Claude Code fue de 0.0 puntos en estas 50 tareas (0 es paridad en esta ejecución). Una sola ejecución no establece paridad ni superioridad en general. comprobante de comparación · 2026-09-26 (ejecución 2)
tasks_seen 50 minimum_tasks_per_arm 50
publishable true
claim Among measured arms only (claude_code, forgeos_free_models, forgeos_model_free): measured on 50 tasks across 3 arms; no arm is proven better across every dimension. Frontier: forgeos_free_models, forgeos_model_free.
forgeos_model_routed
No medido. The run host lacked a workspace with a connected provider, a spending limit and an available model; the September 1 run is a different snapshot.
forgeos_model_free
56% resueltas · 56% de pruebas ocultas aprobadas · 44% necesitó a una persona · $0.0000 de costo medio por tarea · N=50 tareas.
forgeos_free_models
96% resueltas · 96% de pruebas ocultas aprobadas · 4% necesitó a una persona · $0.0000 de costo medio por tarea · N=50 tareas.
claude_code
96% resueltas · 96% de pruebas ocultas aprobadas · 4% necesitó a una persona · $0.0861 de costo medio por tarea · N=50 tareas.
codex
No medido. The September 26 run stopped before task 1: the ChatGPT usage limit was exhausted and the API account had no credits.
cursor
No medido. Declared after this run; no Cursor CLI run receipt is retained for this comparison.
replit_agent
No medido. No run receipt is retained; this arm requires a person to drive the Replit workspace and retain screen receipts.
Lo que esto no es. Esto no es un puntaje de SWE-bench. Son nuestras propias tareas de archivos pequeños, ejecutadas por nosotros. Esta comparación no establece ningún resultado a escala de repositorio ni frente a un brazo no medido.
El estándar de ForgeOS
Cada página web que construye ForgeOS se mide, en un navegador real sobre un teléfono lento emulado, contra los listones de abajo. Cada listón está fijado en el valor del benchmark publicado que nombra, o más allá. Una compilación que no alcanza un listón se devuelve para repararla; si aun así no lo alcanza cuando se agotan los intentos, se entrega indicando qué listón no alcanzó, y nunca se le llama lista. Un listón que no se pudo medir se reporta como no medido, nunca como cumplido. Son nuestras mediciones frente a benchmarks publicados, no una certificación ni un ranking.
Debajo de los listones: cada plantilla inicial con la que empieza un proyecto, según lo medido en el registro evidence/launch-fitness/outcome-standard.json.
- Largest Contentful Paint: at most 2.5 s · Google
- Cumulative Layout Shift: at most 0.1 · Google
- Total Blocking Time (the lab stand-in for Interaction to Next Paint): at most 200 ms · Google
- Page weight on first load: at most 1,500 KB · HTTP Archive
- JavaScript on first load: at most 300 KB · HTTP Archive
- Images load, are local, keep their shape and are sharp: at most 0 faults · policies/responsive-image-quality.json
- Accessibility in the rendered page (axe-core, WCAG 2.2 A and AA rules): at most 0 violations · W3C / Deque
- Accessibility in the source (the launch-fitness WCAG 2.2 AA checks): at most 0 findings · W3C
- No sideways scrolling and no cut-off text at 360, 390, 768, 1280 and 1440 px: at most 0 faults · W3C
- No placeholder content: at most 0 findings · Google / IETF
- The launch-fitness matrix at FIT 100: at least 100 · config/launch-fitness-standard.json
- The app works when pressed: passed · src/forgeos/functional_acceptance.py
- website meets every bar that applies
- web-app-spa meets every bar that applies
- browser-extension meets every bar that applies
- progressive-web-app meets every bar that applies
- scene-3d meets every bar that applies
- game-2d meets every bar that applies
- game-3d meets every bar that applies
- realtime-hardware meets every bar that applies
- blog meets every bar that applies
- landing-page meets every bar that applies
- portfolio meets every bar that applies
- dashboard meets every bar that applies
- docs-site meets every bar that applies
- brand-assets meets every bar that applies
- prototype meets every bar that applies
- motion meets every bar that applies
- slides meets every bar that applies
- data-report meets every bar that applies
- print-piece meets every bar that applies
- email-newsletter meets every bar that applies
- social-kit meets every bar that applies
- press-kit meets every bar that applies
- shop meets every bar that applies
- campaign meets every bar that applies
- gov-service meets every bar that applies
- impact meets every bar that applies
- performance meets every bar that applies
Cómo leerlo
Las muestras pequeñas son ruidosas
Una sola ejecución nunca demuestra un cambio. Con 36 briefs el rango es amplio (78.2%–97.1%).
Lo mejor no es lo último
Guardamos ambos. Solo una medición real sube el piso.
Sin comprobante, se rechaza
Un número sin comprobante guardado nunca se muestra.
Lo que bloquea el lanzamiento
El falso “listo” debe estar por debajo de 2%. Las ejecuciones antiguas no califican el código de hoy.
Pruébalo con tu propia idea.
Gratis. Te preguntamos antes de enviar código a modelos gratuitos que podrían conservarlo (por qué).
