《神经网络》课件

神经网络人工智能的核心技术课程大纲与学习目标课程大纲学习目标•神经网络基础•理解神经网络的基本概念•训练原理•掌握训练神经网络的方法•深度学习框架•熟悉常用深度学习框架•卷积神经网络•循环神经网络•应用领域什么是神经网络？模拟人脑神经网络结构和功能由大量相互连接的神经元构成神经网络的历史起源19431麦卡洛奇皮茨神经元模型-19582感知机模型19863反向传播算法20064深度学习兴起生物神经元的启发结构功能连接细胞体、轴突、树突接收信息、处理信息、传递信息突触连接，传递神经信号人工神经元的基本结构输入加权求和激活函数输出接收来自其他神经元的信息对输入进行加权求和将加权求和的结果进行非线性传递信息给其他神经元变换神经元的数学模型output=f∑weights*inputs+bias激活函数概述引入非线性，提升网络表达能力将神经元的输出值映射到特定范围内影响神经网络的学习和预测效果常见激活函数详解sigmoid公式特点•输出范围在0到1之间fx=1/1+exp-x•平滑连续，可导•梯度消失问题常见激活函数详解ReLU公式特点•简单高效，计算速度快fx=max0,x•避免梯度消失问题•可能出现“死亡神经元”常见激活函数详解tanh公式特点•输出范围在-1到1之间fx=expx-exp-x/expx+exp-x•中心对称，梯度相对较大•应用场景较为有限神经网络的基本架构多层神经元组合形成网络结构不同层的神经元负责提取不同层次的特征层与层之间通过连接权重进行信息传递前馈神经网络信息单向传播，从输入层到输出层没有循环连接，每个神经元只影响下一层常用於图像识别、语音识别等任务神经元多层感知机（）MLP输入层1接收原始数据隐藏层2提取高级特征输出层3产生预测结果深度神经网络的层次结构多层隐藏层，提取更深层次的特征能够学习更复杂的模式和规律需要大量数据和计算资源训练神经网络的训练原理使用训练数据集，调整网络参通过损失函数评估预测结果的12数误差利用优化算法，最小化损失函数3损失函数定义目标类型衡量预测结果与真实标签之间的差异最小化损失函数，提高预测精度•均方误差•交叉熵•铰链损失反向传播算法从输出层到输入层，计根据梯度方向，调整网不断迭代，直到损失函算梯度络参数数收敛梯度下降的基本概念步长学习率控制每次更新的幅度方向目标沿损失函数梯度下降的方向找到损失函数的最小值点213学习率与优化学习率优化算法控制每次更新参数的步长•梯度下降•随机梯度下降•Adam过拟合与欠拟合过拟合模型过于复杂，在训练集上表现良好，但在测试集上表现很差欠拟合模型过于简单，无法很好地拟合训练数据，在测试集上也表现不佳正则化技术正则化正则化L1L2使参数向收缩，稀疏化模型使参数接近，减小参数波动00Dropout随机丢弃神经元，减少过拟合原理Dropout原理作用在训练过程中，随机丢弃一部分神经元防止神经元之间过度依赖，提高模型泛化能力批量标准化步骤11对每个批次的样本进行标准化处理步骤22将标准化后的结果进行缩放平移作用3加速训练过程，提高模型稳定性神经网络的参数初始化适当的参数初始化有利于加速训避免梯度消失或爆炸问题练影响模型的学习和预测效果权重初始化策略初始化初始化Xavier He适用于和激活函数适用于激活函数sigmoid tanhReLU梯度消失问题随着网络层数的增加，梯度逐渐减小导致网络无法有效更新参数，学习停常见於深层神经网络，使用ReLU或批滞量标准化可以缓解梯度爆炸问题随着网络层数的增加，梯度逐渐增大导致参数更新过大，网络变得不稳定常见於深层神经网络，使用梯度裁剪或批量标准化可以缓解深度学习框架介绍提供高层抽象，简化神经网络开提供丰富的工具和功能，加速模发型训练支持多种硬件平台，提高模型效率概述TensorFlow特点优势•开源框架•灵活高效•支持多种平台•可扩展性强•提供丰富的API•广泛应用使用PyTorch特点优势•动态计算图•研究友好•易于调试•社区活跃•灵活易用•快速迭代快速入门Keras基于或构建的TensorFlow TheanoAPI简化模型定义和训练过程适合快速原型开发和模型部署卷积神经网络（）CNN专门处理图像数据的深度学习模通过卷积操作提取图像特征型在图像识别、目标检测等领域取得巨大成功的基本原理CNN卷积层池化层全连接层提取图像特征降低维度，提高模型鲁棒性将特征映射到输出类别卷积层工作机制卷积核与图像区域进行点积运算滑动卷积核在图像上滑动，提取特征特征图生成新的特征图池化层的作用降维鲁棒性减少参数数量，降低计算量对局部特征的小变化不敏感平移不变性对图像位置的微小变化不敏感感受野概念定义影响卷积神经网络中，神经元对输入图像的感知范围感受野越大，神经元能够提取更全局的特征经典网络架构CNNAlexNet1首次取得突破性成果VGGNet2更深层的网络结构ResNet3解决深层网络的梯度消失问题AlexNet860M层数参数包含层卷积层和层全连接层拥有约万个参数8360002012年份在年竞赛中取得冠军2012ImageNetVGGNet使用更小的卷积核，堆叠更多层取得更高的识别精度奠定了深度卷积神经网络的基础ResNet残差连接1解决深层网络的梯度消失问题更深的网络2可以训练上百层的网络结构更高精度3在图像识别任务中取得更优的性能循环神经网络（）RNN处理序列数据的深度学习模型具有记忆功能，能够学习序列之间的依赖关系应用於自然语言处理、语音识别等领域基本结构RNN输入隐藏层输出接收序列数据存储序列信息，传递给下一时刻产生预测结果网络LSTM门控机制记忆单元控制信息的流动，解决长期依赖问存储长期依赖信息，防止梯度消失题应用广泛应用於自然语言处理，例如机器翻译长期依赖问题RNN难以记住长距离依赖信息导致对远距离的词语无法进行有效的关联和等模型能够有效缓解长期依赖问题LSTM GRU注意力机制计算注意力权重根据上下文信息，计算每个词语的权重加权求和对输入进行加权求和，突出重点信息提升模型提高模型对重要信息的关注度，改善性能架构Transformer特点应用•完全基于注意力机制•机器翻译•并行计算，提高训练效率•文本摘要•在自然语言处理领域取得巨大成功•问答系统自编码器无监督学习模型，用于降维和特征提取通过压缩和重建数据，学习数据的隐含特征应用於图像压缩、异常检测等领域生成对抗网络（）GAN由生成器和判别器组成，相互对生成器尝试生成逼真的数据，判抗别器尝试区分真假数据应用於图像生成、文本生成等领域强化学习与神经网络强化学习1通过与环境交互，学习最优策略神经网络2作为强化学习的价值函数或策略函数应用3游戏、机器人控制、推荐系统神经网络的应用领域计算机视觉图像分类目标检测图像分割人脸识别自然语言处理机器翻译文本摘要情感分析问答系统语音识别语音转文字语音控制语音合成语音搜索未来发展趋势更深层的网络更高效的算法探索更大规模和更复杂的模型开发更有效的训练和优化算法更广泛的应用应用於更多领域，解决更复杂的问题神经网络的伦理考量公平性隐私安全避免算法歧视，确保公平公正保护个人隐私，避免数据泄露防止恶意攻击，确保模型的安全可靠课程总结与展望神经网络是人工智能的核心技术，具未来将持续发展，应用於更多领域，需要深入学习，不断探索，推动神经有强大的学习能力改变人类生活网络的进步。