Um desenvolvedor publicou um post em blog propondo uma forma de integrar circuitos de lógica booleana a uma rede neural treinada. O circuito leria os valores dos neurônios como sinais de sim ou não e enviaria os resultados de volta ao modelo. O post é um esboço de trabalho e não relata experimentos nem código.
Um desenvolvedor publicou um post em blog descrevendo como acoplar um circuito de lógica booleana a uma rede neural treinada já existente, um desenho que permitiria que os sinais internos de um modelo acionassem uma lógica estrita de sim ou não e devolvessem os resultados ao modelo. O post é um esboço de trabalho, não um sistema finalizado. O autor afirma que nenhum código foi anexado e que o texto serve para estruturar seu raciocínio em um projeto mais elaborado que está desenvolvendo.
O autor divide o problema em duas partes. A primeira é representar a lógica booleana como neurônios. A segunda é conectar essa lógica a uma rede treinada com números reais.
Como as portas booleanas funcionam como neurônios?
A primeira parte é a mais simples. Um neurônio calcula uma soma ponderada de suas entradas, adiciona um viés e passa o resultado por uma função de ativação. Se todas as entradas forem 0 ou 1, e a função de ativação apenas verificar se o resultado é maior que zero, as portas lógicas básicas surgem naturalmente da matemática. A operação E pode ser escrita como A mais B menos 1,5, testada em relação a zero. A operação OU usa menos 0,5 no mesmo ponto. A operação NÃO é 0,5 menos A. O autor argumenta que essas portas são suficientes para construir qualquer expressão booleana e que neurônios construídos com elas se combinam da mesma forma que os operadores simbólicos no papel.
A segunda parte é mais difícil. Os sinais dentro de uma rede treinada raramente são 0 e 1 limpos. São números reais que podem estar em qualquer ponto de uma escala. Para que o circuito funcione, o autor propõe um mapeamento de entrada, que lê dados da rede e os envia ao circuito, e um mapeamento de saída, que escreve os dados do circuito de volta na rede. Ele brinca que a ideia se parece um pouco com a Neuralink, mas para grandes modelos de linguagem.
Como uma sonda e um estímulo conectam uma rede a um circuito lógico?
Para a entrada, o autor define uma “sonda” que recebe um neurônio com saída de valor real e a transforma em um sinal booleano. Seu exemplo é uma sonda chamada Trigger, escrita como camada 3, neurônio 234, maior que 1. A sonda emitiria 0 quando o valor desse neurônio estivesse igual ou abaixo de 1, e 1 nos demais casos. Ele afirma que uma sonda pode ser construída como um único neurônio na borda do circuito, com seu limiar definido a partir do conhecimento sobre o que o neurônio-alvo faz e como sua atividade se comporta em diferentes condições.
Para a saída, o autor define um “estímulo”, um impulso aditivo que é ativado ou desativado por um valor booleano. Um estímulo nomeia um neurônio e um número com sinal, que define tanto a direção quanto a intensidade do impulso. Em seu exemplo, um estímulo chamado Watermelon tem como alvo a camada 11, neurônio 15292, com valor de -12,5. O tamanho desse valor seria escolhido com base no efeito observado no modelo treinado. Ele apresenta um caso hipotético: se um determinado neurônio fizesse o modelo agir como uma melancia quando empurrado em -12,5, um estímulo poderia ser conectado à saída de um circuito lógico projetado para ativar esse comportamento no momento certo.
O autor também explica como um estímulo funcionaria dentro de um transformer, a arquitetura por trás da maioria dos grandes modelos de linguagem. Um neurônio individual no perceptron multicamadas tem uma única ativação escalar. Seus pesos de saída apontam para uma direção específica no fluxo residual do modelo, que transporta informações entre as camadas na forma de vetores. Um estímulo adiciona sua magnitude com sinal ao longo dessa direção, com a direção normalizada para comprimento 1.
O tempo é outra restrição. Dentro de uma única passagem direta, uma sonda precisa ler um neurônio antes que o circuito estimule uma localização. Em seu exemplo, a sonda lê a camada 3 e o estímulo atua na camada 11, o que funciona porque a leitura acontece antes na passagem. Ler uma camada posterior e estimular uma anterior exigiria levar o sinal adiante até uma etapa de processamento posterior.
O autor diz estar “bastante certo” de que o framework cobre três pontos: um método para traduzir uma expressão booleana em um circuito neural, um método para converter neurônios de valor real em entradas booleanas para esse circuito e um método para converter as saídas booleanas do circuito de volta em valores reais dentro da rede. Ele não relata a execução de experimentos, e o post não mostra se a abordagem altera o comportamento de um modelo na prática. O post termina com uma observação de que o código de seu projeto maior não está incluído.
Este artículo fue escrito con la asistencia de IA.
News Factory APP - noticias agénticas para impulsar tu SEO y AEO.