Un desarrollador publicó una entrada de blog que propone una forma de integrar circuitos de lógica booleana en una red neuronal entrenada. El circuito leería los valores de las neuronas como señales de sí o no y devolvería los resultados al modelo. La publicación es un boceto funcional y no reporta experimentos ni código.
Un desarrollador publicó una entrada de blog que describe cómo acoplar un circuito de lógica booleana a una red neuronal entrenada existente, un diseño que permitiría que las señales internas de un modelo activen una lógica estricta de sí o no y devuelvan los resultados al modelo. La publicación es un boceto funcional, no un sistema terminado. El autor afirma que no se adjunta código y que el texto es una forma de estructurar sus ideas para un proyecto más complejo que está desarrollando.
El autor divide el problema en dos partes. La primera es representar la lógica booleana como neuronas. La segunda es conectar esa lógica con una red que fue entrenada con números reales.
¿Cómo funcionan las compuertas booleanas como neuronas?
La primera parte es la más sencilla. Una neurona calcula una suma ponderada de sus entradas, le suma un sesgo y pasa el resultado por una función de activación. Si cada entrada es 0 o 1, y la función de activación solo verifica si el resultado es mayor que cero, las compuertas lógicas básicas surgen de las matemáticas. La compuerta AND puede escribirse como A más B menos 1,5, evaluada frente a cero. La compuerta OR usa menos 0,5 en el mismo lugar. La compuerta NOT es 0,5 menos A. El autor sostiene que estas compuertas bastan para construir cualquier expresión booleana, y que las neuronas construidas con ellas se combinan de la misma forma en que los operadores simbólicos se combinan en el papel.
La segunda parte es más difícil. Las señales dentro de una red entrenada rara vez son 0 y 1 limpios. Son números reales que pueden ubicarse en cualquier punto de una escala. Para que el circuito funcione, el autor propone un mapeo de entrada, que lee de la red hacia el circuito, y un mapeo de salida, que escribe desde el circuito de vuelta hacia la red. Bromea diciendo que es algo parecido a Neuralink, pero para modelos de lenguaje grandes.
¿Cómo conectarían una sonda y un estímulo una red con un circuito lógico?
Para la entrada, el autor define una «sonda» que toma una neurona con una salida de valor real y la convierte en una señal booleana. Su ejemplo es una sonda llamada Disparador, escrita como capa 3, neurona 234, mayor que 1. La sonda emitiría 0 cuando el valor de esa neurona sea menor o igual a 1, y 1 en los demás casos. Dice que una sonda puede construirse como una sola neurona en el borde del circuito, con su umbral definido a partir de lo que hace la neurona objetivo y de cómo se comporta su actividad en distintas condiciones.
Para la salida, el autor define un «estímulo», un empuje aditivo que se activa o desactiva según un valor booleano. Un estímulo nombra una neurona y un número con signo que determina tanto la dirección como la intensidad del empuje. En su ejemplo, un estímulo llamado Sandía apunta a la capa 11, neurona 15292, con un valor de -12,5. La magnitud de ese valor se elegiría según el efecto observado en el modelo entrenado. Plantea un caso hipotético: si una neurona particular hacía que el modelo actuara como una sandía al ser empujada con -12,5, un estímulo podría conectarse a la salida de un circuito lógico diseñado para activar ese comportamiento en el momento adecuado.
El autor también explica cómo funcionaría un estímulo dentro de un transformador, la arquitectura que está detrás de la mayoría de los modelos de lenguaje grandes. Una neurona individual en el perceptrón multicapa tiene una única activación escalar. Sus pesos de salida apuntan en una dirección específica dentro del flujo residual del modelo, que transporta información entre capas en forma de vectores. Un estímulo suma su magnitud con signo a lo largo de esa dirección, la cual se normaliza a longitud 1.
El tiempo es otra restricción. Dentro de un único pase hacia adelante, una sonda debe leer una neurona antes de que el circuito estimule una ubicación. En su ejemplo, la sonda lee la capa 3 y el estímulo actúa sobre la capa 11, lo cual funciona porque la lectura ocurre antes en el pase. Leer una capa posterior y estimular una anterior requeriría llevar la señal hacia adelante hasta un paso de procesamiento posterior.
El autor dice estar «bastante seguro» de que el marco cubre tres aspectos: un método para traducir una expresión booleana en un circuito neuronal, un método para convertir neuronas de valor real en entradas booleanas para ese circuito y un método para convertir las salidas booleanas del circuito de vuelta en valores reales dentro de la red. No reporta haber realizado experimentos, y la publicación no muestra si el enfoque cambia el comportamiento de un modelo en la práctica. La entrada termina con una nota que indica que el código de su proyecto más grande no está incluido.
Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.