AI News Analytics Engine, a Learning Loop That Refuses to Blame the Wrong Part

A learning system is only as trustworthy as its ability to say which part of itself actually failed. Today’s progress is a daily post-close loop for the model that decides which news topics matter for a given stock, and the choice that makes it worth building at all is the one made before it ever learns anything: refusing to treat every missed opportunity as the topic model’s fault.

What runs every day. After the close, the system reviews its own decisions against what the market actually did that session and sorts the results into review material. Three inputs feed it: opportunities the engine passed on that turned out to matter, trades that went against it, and headlines the operator supplies by hand that never reached the system in the first place.

Attribution before blame. Each case is traced to the stage actually responsible, data coverage, configuration, an intentional filter, or one of the two models, before any lesson gets drawn. On real sessions, the large majority of raw candidates turn out not to be model material at all. Skip that separation and the system would learn lessons that belong to a different component entirely, quietly degrading the part that was already working in order to chase a fix for the part that wasn’t broken.

Two kinds of gap, two different rules. A gap in how the system recognises a form of news is deterministic, provable with a test case, and fixed the same day, under a rule that every fix ships with a case that fails before the change and passes after it, plus a full regression suite. A gap in what counts as relevant for a specific stock is statistical, and those are never edited by hand. They go to a watchlist and only enter the model once independent measurement supports them, and the system tracks exactly how long that takes, a number that measures how far ahead of the data human judgment is running, something no other part of this process can measure.

Built to be checked, not trusted blindly. A regression suite covering recognition coverage, neutrality and false positives runs before any change is accepted. Several recognition gaps have already been closed, each measured against real historical headlines before being adopted. The loop launches from the dashboard, runs in the background without interrupting live operation, and refuses to run twice at once. It is deliberately manual, because a process that fires on its own and nobody reads has taught nobody anything.

Nothing in this loop can place a trade, change risk, or alter what the engine considers relevant on its own. A learning system that knows exactly what it doesn’t know yet is worth more than one that learns fast and can’t say why.

Un sistema de aprendizaje solo es tan confiable como su capacidad de decir qué parte de sí mismo realmente falló. El avance de hoy es un circuito diario post-cierre para el modelo que decide qué temas de noticias importan para una acción dada, y la decisión que hace que valga la pena construirlo es la que se tomó antes de que aprendiera nada: negarse a tratar cada oportunidad perdida como culpa del modelo de temas.

Lo que corre cada día. Después del cierre, el sistema revisa sus propias decisiones contra lo que realmente hizo el mercado en esa sesión y clasifica los resultados en material de revisión. Tres entradas lo alimentan: oportunidades que el motor dejó pasar y que resultaron importar, operaciones que salieron en contra, y titulares que el operador aporta a mano y que nunca llegaron al sistema en primer lugar.

Atribución antes que culpa. Cada caso se rastrea hasta la etapa realmente responsable, cobertura de datos, configuración, un filtro intencional, o uno de los dos modelos, antes de sacar cualquier lección. En sesiones reales, la gran mayoría de los candidatos crudos resulta no ser material del modelo en absoluto. Sin esa separación, el sistema aprendería lecciones que pertenecen a un componente completamente distinto, degradando en silencio la parte que ya funcionaba para perseguir una corrección de la parte que no estaba rota.

Dos tipos de hueco, dos reglas distintas. Un hueco en cómo el sistema reconoce una forma de noticia es determinista, demostrable con un caso de prueba, y se corrige el mismo día, bajo una regla en la que cada corrección se entrega con un caso que falla antes del cambio y pasa después, más una suite de regresión completa. Un hueco en lo que cuenta como relevante para una acción específica es estadístico, y esos nunca se editan a mano. Van a una lista de observación y solo entran al modelo cuando la medición independiente los respalda, y el sistema rastrea exactamente cuánto tiempo toma eso, un número que mide qué tan adelantado va el juicio humano respecto a los datos, algo que ninguna otra parte de este proceso puede medir.

Construido para ser verificado, no para confiarse a ciegas. Una suite de regresión que cubre cobertura de reconocimiento, neutralidad y falsos positivos corre antes de que se acepte cualquier cambio. Ya se cerraron varios huecos de reconocimiento, cada uno medido contra titulares históricos reales antes de ser adoptado. El circuito se lanza desde el dashboard, corre en segundo plano sin interrumpir la operación en vivo, y se niega a correr dos veces a la vez. Es deliberadamente manual, porque un proceso que se dispara solo y que nadie lee no le ha enseñado nada a nadie.

Nada en este circuito puede colocar una operación, cambiar el riesgo, o alterar por sí solo lo que el motor considera relevante. Un sistema de aprendizaje que sabe exactamente qué es lo que todavía no sabe vale más que uno que aprende rápido y no puede explicar por qué.