I+D PROPIO · INTELIGENCIA ARTIFICIAL
Quirl + Holonet + BitAionTres caminos para investigar cómo procesamos el lenguaje.
Investigar una arquitectura de IA empieza por sus preguntas: cómo representar la información, cómo conservarla y cómo evaluar lo que aprende un sistema. En dev2bit exploramos estas cuestiones en tres líneas de I+D: Quirl, Holonet y BitAion.
- Tipo de proyecto
- I+D propio de dev2bit
- Relación
- Tres líneas de I+D
- Quirl
- Rust · Procesamiento de texto
- Holonet
- PyTorch · Modelo neuronal
- BitAion
- C · Cómputo binario en CPU
EL PUNTO DE PARTIDA
Entender la arquitectura.
Construir para investigar.
Cuando un sistema trabaja con lenguaje, las decisiones sobre representación, memoria y aprendizaje condicionan su funcionamiento. Investigar esas decisiones permite plantear alternativas y convertir una idea técnica en algo que se pueda estudiar mediante código.
Quirl explora el aprendizaje basado en reglas explícitas. Su desarrollo construye la base necesaria para preparar textos, segmentarlos y describir sus términos. Holonet explora una arquitectura neuronal con memoria de fase, acompañada de herramientas de entrenamiento y evaluación.
Quirl y Holonet son líneas paralelas. A este mismo grupo de I+D pertenece BitAion, que investiga el cómputo binario orientado a CPU. Cada línea tiene su modelo conceptual, su implementación y sus preguntas de investigación.
EXPLORAR LA ARQUITECTURA
Una pregunta compartida.
Tres formas de abordarla.
Selecciona una línea para recorrer sus componentes y su propósito.
Del texto a una representación organizada.
La base implementada en Quirl transforma documentos en unidades de trabajo: normaliza el texto, mantiene distintas vistas y obtiene segmentos y estadísticas del vocabulario.
- DocumentoEntrada del corpus
- NormalizaciónVistas y fragmentos
- SegmentaciónUnidades de texto
- MétricasVocabulario y frecuencias
Sobre esta base, el diseño de Quirl plantea inducir reglas, relacionarlas con evidencias y seleccionar explicaciones compactas. La preparación del lenguaje es el prototipo implementado; la inducción y el razonamiento por reglas forman parte de la arquitectura de investigación.
Una secuencia que actualiza un estado de memoria.
Holonet representa cada entrada, calcula variaciones de fase y actualiza un estado complejo con componentes reales e imaginarios. Una proyección permite recuperar información de ese estado para producir la salida.
- TokensRepresentación de entrada
- FasesActualización del estado
- MemoriaEstado por capa
- ProyecciónPredicción del modelo
En el bloque recurrente, la dimensión de la memoria se mantiene mientras se procesa la secuencia. Esta propiedad abre una pregunta de investigación: cuánta información útil puede conservar y recuperar el modelo al aumentar la longitud del texto.
Investigar desde las operaciones del procesador.
BitAion explora cómo representar y procesar información mediante bloques de bits, operaciones lógicas y aritmética entera. El trabajo se centra en el coste del cálculo y en la organización de la memoria para una arquitectura de IA orientada a CPU.
- RepresentaciónBloques de bits
- CandidatosSelección jerárquica
- AtenciónSimilitud binaria
- SalidaLectura y actualización
El desarrollo incluye componentes de representación, selección de candidatos, atención y entrenamiento. La arquitectura propone avanzar hacia un núcleo de cómputo binario y contiguo, con presupuestos de trabajo y emisión progresiva de resultados. La latencia y el coste son objetivos que se estudian mediante instrumentación y pruebas.
QUIRL · DESARROLLO EN RUST
Preparar el lenguaje
antes de trabajar con reglas.
Un sistema modular de ingestión, normalización, segmentación y análisis de términos.
Conservar distintas lecturas del texto
El procesamiento distingue el texto original, la vista normalizada y otras representaciones, como minúsculas o plegado de caracteres. El trabajo con fragmentos y posiciones permite organizar la correspondencia entre esas vistas.
Los documentos, recursos y ejecuciones se gestionan mediante módulos separados. Esta separación facilita estudiar cada etapa del procesamiento y evolucionar sus componentes.
Convertir el corpus en información de trabajo
La segmentación prepara unidades de texto. Las métricas describen frecuencias, vocabulario y distribución de términos; la clasificación heurística reconoce patrones como números, unidades, fechas y direcciones web.
El diseño simbólico explora cómo seleccionar reglas que expliquen los datos de forma compacta. Entre sus fundamentos está el principio de longitud mínima de descripción (MDL).
HOLONET · DESARROLLO EN PYTORCH
Del bloque neuronal
al entorno de experimentación.
Arquitectura, entrenamiento y evaluación como partes del mismo trabajo de investigación.
Memoria mediante fases
El bloque HoloBlock actualiza un estado complejo mediante rotaciones de fase. El modelo incorpora representaciones de tokens, posiciones, conexiones residuales y capas de transformación.
Entrenamiento configurable
El código contempla entrenamiento de lenguaje y secuencias de entrada y salida, acumulación de gradientes, guardado de checkpoints y reanudación de las ejecuciones.
Evaluación y comparación
Incluye evaluación de pérdida y perplejidad, pruebas de recuperación de información en textos largos y una implementación Transformer de referencia para plantear comparaciones.
BITAION · INVESTIGACIÓN EN CÓMPUTO BINARIO
Explorar la IA
desde los bits y la memoria.
Una tercera línea dentro del I+D propio de dev2bit, centrada en arquitecturas orientadas a CPU.
La necesidad que aborda BitAion es investigar cómo ejecutar y actualizar un modelo aprovechando operaciones sencillas del procesador y una organización cuidadosa de los datos. Su nombre, «tiempo continuo del bit», expresa el interés por un flujo de procesamiento continuo.
Su especificación propone un núcleo basado en bits, enteros y tablas de consulta, con accesos contiguos a memoria. El prototipo en C desarrolla componentes de ese planteamiento, con trabajo específico para AVX2 y conteo de bits.
Comparar información mediante operaciones binarias
La representación se organiza en bloques de bits. Las operaciones XOR, XNOR y el conteo de bits intervienen en la construcción y comparación de representaciones, mientras la selección jerárquica acota los candidatos con los que trabaja la atención.
Este enfoque permite investigar conjuntamente la representación, el acceso a memoria y el presupuesto de cálculo de cada etapa.
Estudiar el aprendizaje junto al coste de ejecución
El código incorpora rutinas de entrenamiento y actualización, telemetría y herramientas de prueba. La especificación plantea microactualizaciones con presupuesto y salidas progresivas que puedan refinarse durante el procesamiento.
También desarrolla propuestas de cómputo sobre representaciones comprimidas. Estas extensiones forman parte del diseño de investigación y de la evolución del prototipo.
ALGORITMOS Y TÉCNICAS
Tres arquitecturas.
Decisiones algorítmicas concretas.
La investigación se concreta en cómo se representa la información, cómo se selecciona lo relevante y cómo se aprende. Este recorrido explica los algoritmos de cada línea y el propósito de sus componentes.
01 / QUIRL
Inducir reglas.
Elegir las que explican mejor.
El núcleo simbólico de Quirl está desarrollado como arquitectura de investigación. Estas técnicas definen su aprendizaje e inferencia; el prototipo Rust implementa la preparación y el análisis del texto sobre los que se apoya ese diseño.
Antiunificación: aprender un patrón común
El diseño de Quirl agrupa ejemplos con una estructura semejante y sustituye sus diferencias por variables tipadas. Este proceso, llamado antiunificación, propone una regla que puede cubrir varios casos sin memorizar cada uno por separado.
Explicar(fotosíntesis)
Explicar(gravedad)
→ Explicar(X)Ejemplo de generalización estructural.La regla candidata combina ese patrón con una plantilla de respuesta. Su aceptación depende de las condiciones de aplicación y del coste que introduce.
Guardas y agrupación por similitud
Las guardas restringen cuándo puede aplicarse una regla: qué tipo de entidad ocupa una variable, si un tema está presente o si un fragmento de código supera una comprobación. El diseño distingue condiciones obligatorias y condiciones que añaden una penalización.
Para inducir clases a partir de rasgos discretos, se proponen MinHash y LSH como técnicas de agrupación por similitud. Los errores de verificación también sirven para agrupar ejemplos que necesitan una explicación común.
MDL: equilibrar explicación y complejidad
El criterio de mínima longitud de descripción compara el coste de guardar las reglas con el coste de describir lo que esas reglas todavía no explican.
L(total) = L(reglas) + L(datos | reglas)Una regla candidata debe compensar su propia complejidad.En el diseño operativo se estima un cambio local: coste amortizado de la regla más variación del residuo y penalizaciones. Por ejemplo, 20 bits de regla y un residuo que baja de 120 a 75 bits dan ΔMDL = −25 bits. Es un ejemplo del criterio de selección.
Atención simbólica e índices especializados
Quirl plantea recuperar las reglas aplicables a través de un trie de patrones y listas invertidas de guardas. Otros índices organizan símbolos, relaciones discursivas y estructuras de código.
Esta atención simbólica utiliza coincidencia estructural y contexto para decidir dónde buscar. Su propósito es acotar los candidatos antes de evaluar transformaciones y conservar las relaciones entre una regla y la evidencia que la sustenta.
Beam search, e-graphs y verificación
La inferencia diseñada mantiene una agenda de huecos pendientes. Una búsqueda en haz —beam search— conserva un conjunto limitado de expansiones; la poda descarta alternativas de mayor coste.
Como opción, los e-graphs agrupan expresiones equivalentes para explorar reescrituras y extraer una de menor coste. El diseño limita nodos, profundidad y trabajo por foco. Los verificadores y las pruebas de código condicionan la aceptación.
Backoff y preparación del corpus
Cuando faltan reglas, la arquitectura propone un respaldo estadístico con n-gramas y suavizado Kneser–Ney, o PPM como alternativa. Los casos recurrentes de respaldo alimentan nuevas propuestas de reglas.
El prototipo Rust implementa la preparación que precede a ese aprendizaje: normalización Unicode, vistas del texto, segmentación, frecuencias y clasificación heurística de términos. La entropía de las frecuencias ayuda a describir cómo se distribuye el vocabulario.
Fundamentos: principio MDL y e-graphs y saturación de igualdades.
02 / HOLONET
Actualizar una memoria de fase.
Aprender cómo consultarla.
La implementación de Holonet combina un estado complejo recurrente con proyecciones aprendidas. El bloque se puede ejecutar sobre una secuencia o avanzar token a token.
Acumulación de fases y estado complejo
HoloBlock normaliza la entrada y obtiene un incremento de fase mediante una proyección aprendida. Una función tanh y un factor de escala acotan ese incremento. La suma acumulada permite calcular las fases de una secuencia de forma vectorizada.
θₜ = escala · tanh(Wθ · hₜ)
φₜ = Σⱼ≤ₜ θⱼ
Hₜ = H₀ ⊙ exp(iφₜ)El producto es componente a componente; el estado se almacena mediante partes reales e imaginarias.En el avance token a token se aplica la rotación al estado anterior. La dimensión del estado por capa permanece fija, mientras su capacidad para conservar información es una cuestión que se evalúa.
Lectura mediante una fase de consulta
Una segunda proyección obtiene una fase de consulta. El bloque rota el estado en sentido contrario a esa fase, toma la componente real y la proyecta al espacio de salida.
qₜ = escala · tanh(Wq · hₜ)
yₜ = Wo · Re(Hₜ ⊙ exp(−iqₜ))Lectura del estado antes de las conexiones residuales.El bloque combina esta lectura con conexiones residuales, normalización y una red de transformación con activación GELU. La acumulación y la trigonometría se calculan en FP32 para cuidar la estabilidad numérica.
OCP: proyecciones generadas desde códigos
La variante opcional OCPLinear sustituye determinadas proyecciones densas por una suma de factores. Un generador compartido transforma códigos aprendidos en parámetros de frecuencia, fase, amplitud y sesgo; con ellos sintetiza los vectores de cada factor.
y = Σᵣ cᵣ · Aᵣ · (Bᵣ · x)Forma simplificada; la capa puede añadir sesgo y un término diagonal.El interés es estudiar una parametrización compacta. El número de factores controla la capacidad de la proyección; los factores se generan durante el cálculo y también tienen un coste de memoria y ejecución.
Optimización y evaluación del aprendizaje
El entrenamiento utiliza AdamW y ofrece acumulación de gradientes, recorte de gradientes y promedio exponencial de pesos —EMA—. Los checkpoints permiten guardar y reanudar una ejecución.
El entorno evalúa pérdida y perplejidad, e incluye pruebas de recuperación de información insertada en textos largos. Una implementación Transformer sirve como referencia para diseñar comparaciones entre memoria, calidad de predicción y coste.
03 / BITAION
Representar, comparar y aprender
con operaciones sobre bits.
El prototipo en C permite estudiar una cadena de representación, selección de candidatos, atención y salida. La especificación completa añade mecanismos de capacidad, compresión y actualización que amplían el horizonte de investigación.
Mezcla por XOR y rotaciones
El mezclador denominado IBLT en el proyecto combina un bloque con versiones rotadas de ese mismo bloque:
y = x ⊕ ROTL(x, r₁) ⊕ ROTL(x, r₂)XOR combina los bits; ROTL desplaza sus posiciones de forma circular.La técnica distribuye información entre posiciones antes de las etapas siguientes. El trabajo de implementación incluye rotaciones por bytes, máscaras precalculadas y tratamiento de las fronteras de los registros vectoriales.
SBA y construcción de consultas, claves y valores
SBA —Stochastic Bit Accumulation— representa amplitudes mediante estadísticas de bits en microventanas. Las operaciones lógicas y el conteo de unos convierten esas ventanas en señales discretas.
Estas señales intervienen en la construcción de Q/K/V: consultas, claves y valores de la atención. El motor incluye una ruta que fusiona estadísticas y construcción Q/K/V, con el objetivo de reutilizar datos mientras permanecen cerca del procesador.
Selección Z₂ y alternativa híbrida LSH
El núcleo Z₂ compara los bits coincidentes desde el extremo menos significativo. Para dos palabras, cuenta los ceros finales de su XOR; palabras idénticas reciben el máximo acuerdo.
t(x, y) = ctz(x ⊕ y)El acuerdo se pondera mediante una tabla para puntuar candidatos.Este criterio construye una lista corta antes de la atención. Existe además una ruta opcional LSH + Z₂: primero reúne candidatos mediante tablas de hash y después los refina con la puntuación dyádica.
Atención binaria y distancia de Hamming
La puntuación básica de atención relaciona coincidencias de bits y distancia de Hamming, que cuenta las posiciones diferentes entre dos representaciones.
s = 2 · popcount(XNOR(Q, K)) − L
s = L − 2 · Hamming(Q, K)L es el número de bits comparados.En un ejemplo de ocho bits, 11001010 y 11000011 difieren en dos posiciones: Hamming = 2 y s = 4. La fórmula convierte la similitud binaria en una puntuación utilizable por la atención.
Tablas de consulta, Q16 y lectura de salida
El motor transforma puntuaciones en pesos mediante una tabla exponencial y normalización en formato Q16. La salida emplea distancias binarias y un banco de códigos para seleccionar símbolos; también se exploran rutas apoyadas en memoria de contextos.
La mezcla de valores se combina con residuales XOR y mecanismos sigma-delta. La especificación amplía este diseño con una normalización por recíproco de Newton y emisión progresiva con correcciones acotadas.
AVX2, localidad y presupuestos de trabajo
Los kernels trabajan con palabras de 64 bits y registros vectoriales AVX2. El conteo de bits usa operaciones POPCNT o tablas para grupos de cuatro bits, combinadas con instrucciones de reorganización y suma.
La alineación, las copias contiguas, la precarga y la fusión de etapas buscan reducir movimientos de memoria. Los límites de candidatos y microactualizaciones permiten estudiar el equilibrio entre trabajo por paso y capacidad del modelo. La telemetría registra el coste de sus etapas.
Otras técnicas de la arquitectura BitAion
BFL-Ultra, MoBE y BGFF
La especificación propone BFL-Ultra, una factorización con bases binarias y coeficientes enteros; MoBE, una selección de expertos binarios; y BGFF-DenseΩ, detectores de patrones que activan inyecciones XOR. Son mecanismos para investigar capacidad de representación con operaciones discretas.
BIL²/³ y BentField
Las interacciones binarias por pares y triples —BIL²/³— amplían la comparación más allá de coincidencias individuales. BentField plantea términos cuadráticos sobre bits, combinando rotaciones, máscaras y paridades para enriquecer las consultas y claves.
Ω-Flux: acoplamiento binario
El diseño divide un bloque en dos partes y conserva una mientras transforma la otra: yA = xA; yB = xB ⊕ Φ(xA). Este acoplamiento permite recuperar xB aplicando de nuevo XOR con la misma función de xA. La arquitectura estudia su uso como transformación interna.
Ω-C3 y memoria con deltas
Ω-C3 propone tablas para calcular coincidencias y operaciones lógicas sobre una representación comprimida, evitando reconstruir todo el bloque. La matriz morfológica μPMM-Δ plantea una base con cambios compactos. Son extensiones del diseño que conectan compresión, actualización y acceso a memoria.
DECISIONES TÉCNICAS
Qué investigamos
y cómo lo abordamos.
| Pregunta | Línea | Trabajo desarrollado |
|---|---|---|
| ¿Cómo organizar el lenguaje? | Quirl | Pipeline modular para preparar documentos, generar vistas de texto, segmentar y obtener estadísticas. |
| ¿Cómo expresar conocimiento mediante reglas? | Quirl | Diseño de una arquitectura simbólica con inducción, evidencias y selección de reglas como objetivos de investigación. |
| ¿Cómo mantener memoria al recorrer una secuencia? | Holonet | Bloque neuronal recurrente con estado complejo y actualización mediante fases. |
| ¿Cómo explorar parametrizaciones compactas? | Holonet | Proyecciones opcionales generadas a partir de códigos compactos y factores matemáticos. |
| ¿Cómo estudiar el comportamiento del modelo? | Holonet | Herramientas de entrenamiento, evaluación de lenguaje y recuperación de información, junto a un modelo de referencia. |
| ¿Cómo aprovechar el cómputo binario en CPU? | BitAion | Especificación y prototipo en C con representación por bloques de bits, selección de candidatos, atención, entrenamiento e instrumentación. |
EL VALOR DEL TRABAJO
Hacer que las preguntas
se puedan investigar.
Componentes que podemos examinar
La modularidad de Quirl permite situar el trabajo en una etapa concreta: preparación, normalización, segmentación o métricas. El desarrollo convierte una arquitectura conceptual en una base de procesamiento que se puede ampliar.
Un entorno para contrastar hipótesis
Holonet reúne el modelo y las herramientas para entrenarlo y estudiar su comportamiento. BitAion aporta otra vía para estudiar el coste de las operaciones y la organización de la memoria. La eficiencia, la calidad de las predicciones y la recuperación de información son cuestiones que deben contrastarse mediante experimentos comparables.
MÁS PROYECTOS DE INTELIGENCIA ARTIFICIAL
Otras formas de trabajar
con el lenguaje y el conocimiento.
DE LA PREGUNTA AL DESARROLLO
¿Tu proyecto plantea
un reto técnico propio?
Cuéntanos qué necesitas resolver, con qué información trabajas y cómo comprobarías que la solución funciona. Podemos ayudarte a concretar el alcance técnico y los siguientes pasos.