1、 感知机简义

感知机接收多个输入信号，输出一个信号。0对应“不传递信号”，1对应“传递信号”。权重越大，对应该权重的信号的重要性就越高。

1.1 简单应用

x1、x2是输入信号，y是输出信号，w1、w2是权重（w是weight的首字母）。图中的○称为“神经元”或者“节点”。输入信号被送往神经元时，会被分别乘以固定的权重（w1x1、w2x2）。神经元会计算传送过来的信号的总和，只有当这个总和超过了某个界限值时，才会输出1。这也称为“神经元被激活”。这里将这个界限值称为阈值，用符号θ表示。

1.2 感知机与逻辑电路

1.2.1 与门(AND gate)

与门仅在两个输入均为1时输出1，其他时候则输出0。

当 (w1, w2, θ) = (0.5, 0.5, 0.7) 时，可以满足条件。此外，当 (w1, w2, θ)为(0.5, 0.5, 0.8)或者(1.0, 1.0, 1.0)时，同样也满足与门的条件。设定这样的参数后，仅当x1和x2同时为1时，信号的加权总和才会超过给定的阈值θ。

1.2.2 与非门(NAND gate)

仅当x1和x2同时为1时输出0，其他时候则输出1。

只要把实现与门的参数值的符号取反,就可以实现与非门。

1.2.3 或门

只要有一个输入信号是1，输出就为1。

1.2.4 小结

3个门电路只有参数的值（权重和阈值）不同。也就是说，相同构造的感知机，只需通过适当地调整参数的值，就可以变为与门、与非门、或门。

这里决定感知机参数的并不是计算机，而是我们人。我们看着真值表这种“训练数据”，人工考虑（想到）了参数的值。而机器学习的课题就是将这个决定参数值的工作交由计算机自动进行。学习是确定合适的参数的过程，而人要做的是思考感知机的构造（模型），并把训练数据交给计算机。

2、 感知机的实现

2.1 简单实现

def AND(x1, x2):
    w1, w2, theta = 0.5, 0.5, 0.7
    tmp = x1 * w1 + x2 * w2
    if tmp <= theta:
        return 0
    elif tmp > theta:
        return 1

if __name__ == '__main__':
    for xs in [(0, 0), (1, 0), (0, 1), (1, 1)]:
        y = AND(xs[0], xs[1])
        print(str(xs) + " -> " + str(y))

2.2 导入权重和偏置

import numpy as np

x = np.array([0, 1])
w = np.array([0.5, 0.5])
b = -0.7
y = np.sum(w*x) + b
print(w*x)
print(np.sum(w*x))
print(y)

2.3 使用权重和偏置的实现

w1和w2是控制输入信号的重要性的参数，而偏置是调整神经元被激活的容易程度（输出信号为1的程度）的参数。比如，若b为−0.1，则只要输入信号的加权总和超过0.1，神经元就会被激活。但是如果b为−20.0，则输入信号的加权总和必须超过20.0，神经元才会被激活。

import numpy as np

def AND(x1, x2):
    x = np.array([x1 , x2])
    w = np.array([0.5, 0.5])
    b = -0.7
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1

if __name__ == '__main__':
    for xs in [(0, 0), (1, 0), (0, 1), (1, 1)]:
        y = AND(xs[0], xs[1])
        print(str(xs) + " -> " + str(y))

import numpy as np

def NAND(x1, x2):
    x = np.array([x1, x2])
    w = np.array([-0.5, -0.5])  # 仅权重和偏置与AND不同！
    b = 0.7
    tmp = np.sum(w * x) + b
    if tmp <= 0:
        return 0
    else:
        return 1

if __name__ == '__main__':
    for xs in [(0, 0), (1, 0), (0, 1), (1, 1)]:
        y = NAND(xs[0], xs[1])
        print(str(xs) + " -> " + str(y))

import numpy as np

def OR(x1, x2):
    x = np.array([x1 , x2])
    w = np.array([0.5, 0.5])
    b = -0.2
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1

if __name__ == '__main__':
    for xs in [(0, 0), (1, 0), (0, 1), (1, 1)]:
        y = OR(xs[0], xs[1])
        print(str(xs) + " -> " + str(y))

由或门引入异或门

或门的情况下，当权重参数 (b, w1, w2) = (−0.5, 1.0, 1.0)时，可满足或门的真值表条件。且由此式子可得成由直线−0.5 + x1 + x2 = 0分割开的两个空间，其中一个空间输出1，另一个空间输出0。

或门在(x1, x2) = (0, 0)时输出0，在(x1, x2)为(0, 1)、(1, 0)、(1, 1)时输出1。图中，○表示0，△表示1。如果想制作或门，需要用直线将图中的○和△分开。

3、 感知机的局限性

3.1 简义

感知机的局限性就在于它只能表示线性空间(由一条直线分割的空间)。由曲线分割而成的空间称为非线性空间，由直线分割而成的空间称为线性空间。

即：“单层感知机无法表示异或门”或者“单层感知机无法分离非线性空间”。

3.2 例子（异或门）

仅当x1或x2中的一方为1时，才会输出1

4、 解决感知机的局限性-多层感知机

叠加了多层的感知机也称为多层感知机（multi-layered perceptron）。

例：2（或3）层感知机

1.第0层的两个神经元接收输入信号，并将信号发送至第1层的神经元。

2.第1层的神经元将信号发送至第2层的神经元，第2层的神经元输出y。

异或门的制作方法有很多，其中之一就是组合我们前面做好的与门、与非门、或门进行配置。

、

from ch02.nand import NAND
from ch02.OR import OR
from ch02.and03 import AND


def XOR(x1, x2):
    s1 = NAND(x1, x2)
    s2 = OR(x1, x2)
    y = AND(s1, s2)
    return y

if __name__ == '__main__':
    for xs in [(0, 0), (1, 0), (0, 1), (1, 1)]:
        y = XOR(xs[0], xs[1])
        print(str(xs) + " -> " + str(y))

5、 感知机与计算机

感知机通过叠加层能够进行非线性的表示，理论上还可以表示计算机进行的处理。

理论上2层感知机就能构建计算机。已有研究证明，2层感知机（激活函数使用了非线性的sigmoid函数的感知机）可以表示任意函数。但是，使用2层感知机的构造，通过设定合适的权重来构建计算机是一件非常累人的事情。

实际上，在用与非门等低层的元件构建计算机的情况下，分阶段地制作所需的零件（模块）会比较自然，即先实现与门和或门，然后实现半加器和全加器，接着实现算数逻辑单元（ALU），然后实现CPU。因此，通过感知机表示计算机时，使用叠加了多层的构造来实现是比较自然的流程。