只有当你用非线性激活函数压缩节点的输出信号时，神经网络才是非线性的。一个完整的神经网络（具有非线性激活函数）是一个任意函数逼近器。

好处：需要注意的是，如果你在多个连续层中使用线性激活函数，由于它们是线性的，你也可以将它们修剪到单层。（权重将被更改为更极端的值）。使用线性激活函数创建多层网络将无法建模比单层网络更复杂的功能。

解释压缩输出信号可以很好地解释为该信号的强度（从生物学上讲）。认为将输出强度解释为模糊逻辑中的置信度等价物可能是不正确的。

是的，你是正确的。输入信号及其各自的权重是一个线性组合。非线性来自于你对激活函数的选择。请记住，线性函数是画成一条线的——sigmoid、tanh、ReLU等可能不是用一条直线画的。

大多数函数和分类任务可能最好用非线性函数来描述。如果我们决定使用线性激活函数，我们最终会得到复杂函数的更粗糙的近似。

你有时可以在论文中读到神经网络是通用近似器。这意味着一个“完美”的网络可以适合你可以抛出的任何模型/函数，尽管配置完美的网络（#节点和#层）是一项艰巨的任务。

在维基百科页面上阅读更多关于其含义的信息。