Usuario:Ortega5892/Taller/Red backup

Esto es una página para pruebas Ortega5892. Esto es una página de usuario de Wikipedia. Esto no es un artículo enciclopédico.  Vaciar esta subpágina de usuario  Haga clic aquí y agregue en la parte superior de la página: #REDIRECCIÓN [[Usuario:Ortega5892/Taller]]

Una red neuronal cuántica (QNN) es un modelo de red neuronal que está basado en los principios de la mecánica cuántica. Hay dos aproximaciones diferentes en la investigación de las QNN, uno explotando el procesamiento de información cuántica para mejorar los modelos de redes neuronales actuales (a veces también viceversa), y el otro que busca efectos cuánticos potenciales en el cerebro.

Redes neuronales cuánticas artificiales

En la aproximación computacional a la investigación sobre redes cuánticas neuronales,​​ los científicos intentan combinar los modelos de redes neuronales artificiales (que son muy utilizados en el aprendizaje automático para clasificación de patrones) con las ventajas de información cuántica para desarrollar algoritmos más eficaces (para un análisis, ver​). Una de las principales motivaciones para estas investigación es la dificultad de entrenar redes neuronales, especialmente en aplicaciones de macrodatos. Hay esperanzas de que ciertas características de la informática cuántica, como por ejemplo el paralelismo cuántico o los efectos de interferencia y entrelazamiento cuántico, puedan ser utilizados para obtener ventajas sobre las redes clásicas.

Puesto que la implementación de las tecnologías necesarias para la creación de una computadora cuántica siguen en una etapa embrionaria, tales modelos de redes neuronales cuánticas o bien son meramente propuestas teóricas o bien se implementan en modelos híbridos en la que la mayor parte de los cálculos los realiza una computadora clásica, mientras el dispositivo cuántico realiza una pequeña parte en la que se ha demostrado la ventaja cuántica.​

La investigación en torno a las redes neuronales cuánticas está dando sus primeros pasos, pero existen un alto número de propuestas con enfoques y rigor matemático muy dispares. La mayoría de ellas están basadas en la idea de reemplazar las neuronas binarias o de Macculloch-Pitt por un cúbit (a las que se puede llamar un quron), resultando en unidades neuronales que puede estar en un estado de superposición (activa y en reposo a la vez).

Idea histórica

Las primeras teorías sobre computación neuronal fueron publicadas por Subhash Kak, quien habla de la semejanza de la función de activación neuronal con la ecuación de valores propios de la mecánica cuántica.​ Kak también habla de la aplicación de estas ideas al estudio de las funciones del cerebro y las limitaciones de esta aproximación.​​ Ajit Narayanan y Tammy Menneer propusieron una implementación fotónica de un modelo de red neuronal cuántica que está basado en la teoría de los múltiples universos que se derrumban en el modelo deseado tras realizar una medición.​ Desde entonces se han publicado muchos más artículos en revistas de ciencias de la computación así como en las de física cuántica para encontrar un modelo de red neuronal cuántico óptimo.

Esquema de red neuronal cuántica

El aprendizaje automático con una red neuronal (cuántica) consta de las siguientes etapas (para más detalle ver Red neuronal artificial):

1. Introducción de datos: En primer lugar se deben codificar los datos de entrada a la red.
2. Procesamiento de datos: Los datos se procesan a través de las neuronas de la red utilizando unos parámetros variacionales (normalmente denominados pesos), obteniéndose uno o varios datos de salida.
3. Entrenamiento: Los datos de salida se comparan con unas etiquetas asociadas a los datos de entradas que están predefinidas para calcular la función de pérdida, que mide la diferencia entre éstos. El objetivo del entrenamiento es ajustar los pesos de modo que la se obtenga la mínima pérdida, y por tanto la red ajuste de manera óptima una función entre los datos de entrada y de salida.

Existen diferentes propuestas para aplicar la mecánica cuántica en cada una de estas etapas, de manera que se pueden tener redes híbridas en las que algunas etapas son clásicas y otras son cuánticas.

Problema de la linealidad de la mecánica cuántica

Las redes neuronales tienen la capacidad de ajustar muchos tipos diferentes de funciones, para lo cual es necesario añadir un componente no lineal en el sistema. Esto se consigue aplicando una función no lineal a la salida de cada neurona, la cual se denomina función de activación. Sin embargo, la ecuación de Schrödinger, que determina la evolución de los sistemas cuánticos, es una ecuación lineal. Por tanto, todas las puertas lógicas que se emplean en la computación cuántica se basan en operadores lineales unitarios, siendo uno de los problemas principales a la hora de implementar redes neuronales cuánticas.

Existen ideas para imitar la función de activación de un perceptrón con un formalismo de mecánica cuántica, que van desde medidas especiales​​ hasta la postulación de operadores cuántico no lineales (un modelo matemático que está siendo rebatido).​​

También se ha propuesto utilizar sistemas cuánticos abiertos. En éstos, la evolución del sistema principal junto con el entorno sigue siendo lineal, pero la evolución vista únicamente desde el sistema principal es no lineal. Esto da lugar a la Computación Cuántica Disipativa.​​

Requisitos de una red neuronal cuántica

Los autores de ​ establecieron tres requisitos para que una red neuronal cuántica puede ser considerada como tal:

1. El estado inicial del sistema cuántico debe codificar una cadena binaria de longitud N.

2. La red neuronal cuántica debe reflejar uno o más aspectos de los mecanismos básicos de la computación neuronal.

3. La evolución está basada en efectos cuánticos, tales como superposición, entrelazamiento o interferencia, y debe ser totalmente consistente con la teoría cuántica.

Neuronas cuánticas y circuitos variacionales

Muchos investigadores intentan encontrar un equivalente cuántico del perceptrón, la unidad con la que se construyen las redes neuronales. Recientemente se ha propuesto una implementación sencilla de la función de activación utilizando el modelo de computación cuántica basada en circuitos por parte de Schuld, Sinayskiy y Petruccione, basándose en el algoritmo cuántico de estimación de fase.​

Algunas contribuciones invierten la aproximación e intentan explotar las ideas de la investigación de redes neuronales para obtener aplicaciones potentes para informática cuántica, como el diseño de algoritmos cuánticos apoyados por aprendizaje de máquinas.​ Un ejemplo es el trabajo de Elizabeth Behrman y Jim Steck, quiénes proponen un modelo de computación cuántica que consiste en un número de cúbits con interacciones mutuas modificables.​ Siguiendo la regla clásica de backpropagation, la fuerza de las interacciones son aprendidas de un conjunto de ejemplos entrantes, entonces la red cuántica 'aprende' un algoritmo.

Circuito RHE (RUS: Repeat Until Success en inglés). ​

Circuito cuántico que simula neurona.

Puede entrenar sobre superposición lineal todo a la vez, de inputs con el output. De una vez.

También funciona con red de Hopfield como la feddforward red.

Typically, every neuron combines the input values through a weighted sum, applies a non-linear activation function and produces the corresponding value as output. The activation function often takes the form of a step function or, in modern uses, of a continuous sigmoid function. Its non-linearity is an essential feature that makes the collective dynamics dissipative and attractor-based [7, 8] and contributes to the ability of neural networks to capture highly non-trivial patterns [8, 9].

Los patrones atractores son para la Hopfield, que mete punto fijo.

The central issue in QNN lies in theproblem of incorporating the non-linear, dissipative dynamics of classical neural networks into the linear, unitary framework of quantum mechanics. Potential resolutions attempted so far include introducing quantum measurements [16, 17], exploiting the quadratic form of kinetic term to generate non-linearity [18], using dissipative quantum gates [16] and reversible circuits [19].

Our approach uses the recently developed repeat-until-success techniques for quantum gate synthesis [23–26].

Yo creo que lo importante es explicar la parafernalia del theta para hacer la suma donde van los parámetros, con la rotación suma, y luego que se rota con la no lineal. Que esa no lineal se consigue con un RUS, que mezcla también medida, dando no linealidad. Y referenciar los RUS. No aparecen en Wikipedia.

RUS mimetiza activación threshold, dar estado activado o no.

Usa sigmoideas o step, que es límite de la sigmoidea.

Hace clasificadores y memoria asociativa.

Del review

VQC: Circuitos cuánticos variacionales.

Those quantum gates utilizes quantum superposition

and entanglement to take an advantage over classical

computing, and

VQC usa puertas con rotaciones y parámetros libres para hacer aproximación, optimización y clasificación.

Algoritmo VQA híbrido, hace optimización clásica.

Capas de entanglement en vez de funciones de activación para tener estructura multilayer.

Rotaciones parametrizadas y entanglement gates para procesar los datos, que se codifican en los qubits. El qubit final se mide y se descodifica en output data. Los parámetros se optimizan con Adam.

Se hacen Quantum Convolutional NN. Capa a feautre map más pequeña, etc.

Aprendizaje cuántico

La mayoría de algoritmos de aprendizaje siguen el modelo clásico de entrenar una red neuronal artificial para aprender una función de entrada-salida conjunto de entrenamiento dado y utilizar unos bucles de retroalimentación clásicos para actualizar parámetros del sistema cuántico hasta que convergen a una configuración óptima. El aprendizaje como problema de optimización de parámetros también ha sido atacado por modelos adiabáticos de informática cuántica.​

Cómo se entrena la red, el algoritmo cuántico

Algoritmo cuántico en vez de el gradiente descencdiente, basados en el algoritmo de búsqueda de grover. [Puede que haya referencia a web de grover].

Buscar sobre todos los posibles pesos.

correctly; in other words we would like |_i = n* m, where n is the

number of training examples and m is the number of output nodes.

No entiendo qué es este producto para la rho, ósea wtf.

Se usa generalización donde el número de soluciones es desconocido [18]. Se pone estado en superposición de todos los vectores de pesos y se busca el que realiza la tarea correctamente.

No tiene por qué haber una solución que clasifique todo correctamente, de modo que se debe poner cierta tolerancia de porcentaje, clasificar cierto porcentaje.

Rho >= m*n*p: el oráculo

Second, the amount of time

needed to find a vector which correctly classifies the training set is O(p2b/t), which has

exponential complexity with respect to the number of bits in the weight vector.

Tiempo crece exponencialmente con bits que guardan los pesos. = Número de pesos.

Se propone randomizado algoritmo de entrenamiento que busca cada nodo vector de pesos independientemente, el de cada nodo. Se buscan los pesos para ese nodo con cierta p, luego iterativamente se baja p. Una vez acabado, se fijan esos pesos y se pasa a otro nodo. Así el número de pesos es poco. Los nodos no entrenados se guardan clásicamente.

Búsqueda es cuadrático speedup, el problema es exponencial. Con rándom ahora es exponencial sólo en conexiones de un nodo y no toda la red.

Se puede combinar con gradiente, uno mejorando lo del otro.

Esto es cómo hacer random walk al problema de optimización? Porque random walk es Grover, y esto es optimizar por Grover.

Quantum Neural Networks can be theoretically trained similarly to training classical/artificial neural networks. A key difference lies in communication between the layers of a neural networks. For classical neural networks, at the end of a given operation, the current perceptron copies its output to the next layer of perceptron(s) in the network. However, in a quantum neural network, where each perceptron is a qubit, this would violate the no-cloning theorem.​​ A proposed generalized solution to this is to replace the classical fan-out method with an arbitrary unitary that spreads out, but does not copy, the output of one qubit to the next layer of qubits. Using this fan-out Unitary ($U_{f}$) with a dummy state qubit in a known state (Ex. $|0\rangle$ in the computational basis), also known as an Ancilla bit, the information from the qubit can be transferred to the next layer of qubits.​ This process adheres to the quantum operation requirement of reversibility.​​

Using this quantum feed-forward network, deep neural networks can be executed and trained efficiently. A deep neural network is essentially a network with many hidden-layers, as seen in the sample model neural network above. Since the Quantum neural network being discussed utilizes fan-out Unitary operators, and each operator only acts on its respective input, only two layers are used at any given time.​ In other words, no Unitary operator is acting on the entire network at any given time, meaning the number of qubits required for a given step depends on the number of inputs in a given layer. Since Quantum Computers are notorious for their ability to run multiple iterations in a short period of time, the efficiency of a quantum neural network is solely dependent on the number of qubits in any given layer, and not on the depth of the network.​

Cost functions

To determine the effectiveness of a neural network, a cost function is used, which essentially measures the proximity of the network’s output to the expected or desired output. In a Classical Neural Network, the weights ($w$) and biases ($b$) at each step determine the outcome of the cost function $C(w,b)$.​ When training a Classical Neural network, the weights and biases are adjusted after each iteration, and given equation 1 below, where $y(x)$ is the desired output and $a^{\text{out}}(x)$ is the actual output, the cost function is optimized when $C(w,b)$= 0. For a quantum neural network, the cost function is determined by measuring the fidelity of the outcome state ($\rho ^{\text{out}}$) with the desired outcome state ($\phi ^{\text{out}}$), seen in Equation 2 below. In this case, the Unitary operators are adjusted after each iteration, and the cost function is optimized when C = 1.​

Equation 1 $C(w,b)={1 \over N}\sum _{x}{||y(x)-a^{\text{out}}(x)|| \over 2}$

Equation 2 $C={1 \over N}\sum _{x}^{N}{\langle \phi ^{\text{out}}|\rho ^{\text{out}}|\phi ^{\text{out}}\rangle }$

Redes neuronales híbridas

Entrenamiento clásico sobre red cuántica.

Red neuronal convolucional con convolución cuántica

Convolucional NN cuántica para clasificación de imágenes.

Algunos Q algoritmos son exponencialmente más rápidos.

NISQ: noisy intermediate-scale quantum devices

Quanvolutional NN [14]: QNN

Imagen: N*N*M; M acanales y N*N pixeles

QNN es la CNN con filtros quanvolucionales adicionales.

Los filtros procesan submuestras del tensor imagen.

Se aplica capa convolucional, con Ui(theta) a un estado de qubits, y luego se saca información clásica a un número escalar, como hace un filtro clásico. Se descodifica el codificado fautre con función user defined protocol d.

Operación cuántica se parametriza con theta, valor del pixel.

La matriz de filtrado clásicamente en CNN se entrena, es lo que multiplica a cada pixel para dar el feature en el nuevo feature mapping.

Para ser mejor la QNN

1. The quantum transformations executed on classical input data by the

quantum device are computationally intractable to calculate (or simulate)

classically.

2. The quantum transformations provide a benefit over other similar, tractable,

classical transformations.

Capas convolucionales, pooling, y fully connected.

CONV1 y POOL1 se cambian por la cuántica QUANV1. Hay otra CONV2 y POOL2.7

Rotaciones de 1 qubit con parámetro theta continuo del pixel, para no discretizar los pixeles.

NO VEO POR QUÉ ES VARIACIONAL SI DICE QUE ES EL VALOR DEL PIXEL.

No vence al clásico, pero mejora respecto a otro que hicieron.

Supremacía cuántica

Interferencia, superposición y entanglement para cálculos más potentes. Capacidad de ajustar funciones.

El codificado afecta a la capacidad y entrenabildiad.

Capacidad: cuantificación de la clases de funciones que puede ajustar [1].

Según modelo se hace más grande, el landscape de optimización se hace más flat, problema del gradient vanishing.

Entrenabilidad: capacidad de entrenar, tanto velocidad como de poder hacerlo, depende del landscape, que no tenga el flat, barren plateau.

Codificación: Hadamard a los 0 y luego RZ con angulo según valor del feature vectorial a codificar, normalziado entre -1 y 1. Entanglement con CNOT y más RRZ. Según cuanto se repita mayor profundidad del codificado, mejor entrenabilidad. El que no se puede simular clásicamente es el mejor. Esto se ha probado en PC cuántico real [ref de este paper].

El feature map es muy muy importante para que la Q gane a la C.

No se sabe por qué hacerlo como lo hacen sale así de guay.

Del review

The problem of gradient disappearance while backpropagating

Classical deep learning models solve this problem by utilizing an appropriate activation function, but quantum deep learning does not use an activation function, thus eventually, a different solution is needed.

Esto se llama barren plateaus, el problema, que aumenta exponencialmente con el número de qubits. Problema abierto.

La ventaja cuántica sólo se da bajo ciertas circunstancias.

Lógica difusa

Se ha prestado cierta atención a un modelo inspirado por la mecánica cuántica que usa ideas de la teoría cuántica para implementar una red neuronal basada en lógica difusa.​

Memoria asociativa cuántica.

El algoritmo de memoria cuántica asociativa ha sido introducido por Dan Ventura y Tony Martinez en 1999.​ Los autores no intenta traducir la estructura de las redes neuronales artificiales con la teoría cuántica, sino que proponen un algoritmo para una computadora cuántica basada en circuitos que simulan memoria asociativa. Los estados de memoria (en las redes neuronales de Hopfield están guardados en los pesos de las conexiones neuronales) son escritos en una superposición, y un algoritmo de búsqueda cuántica similar al de Grover recupera el estado de la memoria más cercano a una entrada dada. Una ventaja reside en la capacidad de almacenamiento exponencial de estados de memoria, aun así la pregunta que se mantiene es si el modelo tiene significado teniendo en cuenta el propósito inicial de las redes de Hopfield como una demostración de que una red neuronal puede simular características del cerebro.

Recientemente se ha conseguido modelizar la memoria asociativa cuántica utilizando una red neuronal cuántica que cumple todos los requisitos, gracias a la aplicación de los circuitos RHE. ​

Redes neuronales cuánticas biológicas

A pesar de que muchos investigadores de red neuronales cuánticas explícitamente limitan su alcance a una perspectiva computacional, el campo está estrechamente relacionado con investigaciones de efectos cuánticos potenciales en redes neuronales biológicas.​​ Modelos de memoria y agentes cognitivos basados en colectivos cuánticos han sido propuestos por Subhash Kak, pero él también señala a problemas concretos de límites de observación y control de estas memorias debido a razones lógicas fundamentales.​​ La combinación de la neurociencia y la física cuántica también nutre un debate vívido más allá de las fronteras de ciencia, siendo un ejemplo ilustrativo revistas como NeuroQuantology o el método de curación de Neurología Cuántica.​​

Ve también

• Holographic associative Memoria
• Cognición cuántica
• Inteligencia artificial cuántica
• Aprendizaje automático cuántico

Referencias

[[Categoría:Redes neuronales artificiales]] [[Categoría:Mecánica cuántica]]