麦卡洛克(神经生理学家)和皮茨(逻辑学家)在1943年发表的论文《神经活动中内在思想的逻辑演算》中,将形式神经元概念化为计算单元,用以构建人工神经网络。该论文提出了一个简洁而强大的神经元与神经网络数学模型。他们的目标是理解大脑如何执行逻辑运算——例如计算机所进行的那些运算。
形式神经元是生物神经元的数学与计算表示。它具有多个输入和一个输出,对应生物神经元的树突和轴丘(轴突的起始点)。突触的兴奋与抑制作用由与输入相关的数值系数(突触权重)表示。
在他们的模型中,一个形式神经元从其他神经元或外部来源接收二进制输入(激活或未激活)。每个输入都通过特定的权重进行加权,这可以代表生物模型中神经元之间突触连接的强度。
基于其输入的加权和,形式神经元产生一个二进制输出,该输出可被激活(1)或停用(0)。这一输出通常通过应用激活函数 \( f \) 来确定,该函数根据阈值 \( \theta \) 将加权和 \( S \) 转换为输出 \( y \):
\( y = f(S - \theta) \)
在McCulloch和Pitts的初始模型中,函数 \( f \) 是一个赫维赛德函数。
\( f(S - \theta) = \begin{cases} 1 & \text{如果 } S \geq \theta \\ 0 & \text{如果 } S < \theta \end{cases} \)
McCulloch和Pitts利用这些形式化神经元构建了能够执行逻辑运算(如合取AND、析取OR和否定NOT)的人工神经网络。他们证明,即使采用这些简单的连接规则,也能构建出能够执行复杂逻辑运算的神经网络。这种对神经元的形式化处理对于实现神经网络的数学分析与建模至关重要,从而为人工智能和计算神经科学(将计算机科学应用于理解神经系统的学科)的未来研究奠定了基础。
注:麦卡洛克和皮茨的形式神经元未考虑时间、连续信号或突触可塑性。然而,它们代表了神经网络概念的首次数学形式化,是现代人工智能的起源。