L'activation function d'un noeud définit la sortie de ce noeud donné une entrée ou un ensemble d'entrées. Un circuit de puce informatique standard peut être vu comme un réseau numérique de fonctions d'activation pouvant être "ON" (1) ou "OFF" (0), en fonction de l'entrée. Ceci est similaire au comportement du perceptron linéaire dans les réseaux de neurones .