《深度学习算法》课件2

深度学习算法探索人工智能前沿课程概述课程目标学习内容12掌握深度学习核心算法原理从基础神经网络到前沿模型架构先修知识什么是深度学习？定义与传统机器学习区别深度学习优势机器学习子领域，基于深层神经网络模自动特征提取，无需人工设计特征处理非结构化数据能力强，可学习复杂拟人脑学习过程模式深度学习的发展历程年11943McCulloch和Pitts提出首个神经元数学模型年21986Hinton提出反向传播算法年32012AlexNet在ImageNet竞赛中取得突破至今42016-Transformer革命与大型语言模型兴起神经网络基础生物神经元人工神经元激活函数单层感知器vs树突输入，细胞体加权求和，轴突引入非线性，使网络能学习复杂函数最简单神经网络，仅能解决线性可分问题→→→输出多层感知器（）MLP结构输入层、隐藏层、输出层组成的前馈神经网络前向传播数据从输入层流向输出层，逐层计算反向传播误差从输出层反向传递，更新各层权重激活函数详解Sigmoid输出范围0-1，早期常用，存在梯度消失问题Tanh输出范围-1到1，零中心化，仍有梯度问题ReLUmax0,x，计算高效，解决梯度消失变体Leaky ReLU、PReLU、ELU改进负值区间表现损失函数均方误差（）交叉熵MSE回归任务常用，计算预测值与真分类任务首选，衡量两个概率分实值差的平方和布差异Hinge Loss支持向量机中使用，最大化分类间隔优化算法梯度下降法随机梯度下降梯度下降Mini-batch使用全部数据计算梯度，更新慢但稳定每次仅用一个样本，更新快但波动大折中方案，平衡计算效率与稳定性高级优化算法1Momentum引入动量，加速收敛并克服局部最小值2AdaGrad自适应学习率，参数更新根据历史梯度调整3Adam结合动量和自适应学习率，目前最流行算法过拟合问题定义表现1模型训练表现好，泛化能力差训练误差低，测试误差高2解决方向原因43正则化、数据增强、提前停止模型过于复杂，训练数据不足正则化技术正则化L2添加权重平方惩罚项，防止权重过大正则化L1Dropout添加权重绝对值惩罚项，促进特征稀疏训练时随机关闭部分神经元，防止共适应批量归一化（Batch）Normalization原理标准化每层输入，缓解内部协变量偏移优点加速训练，允许更高学习率，减少初始化依赖实现在每个小批量上计算均值方差，进行归一化转换卷积神经网络（）概述CNN基本结构与区别12MLP卷积层+池化层+全连接层的层局部连接和权重共享，空间结级结构构敏感适用场景3图像识别、视频分析、语音处理等核心组件卷积层CNN卷积操作1滤波器在输入上滑动，计算点积卷积核2学习提取特定特征的权重矩阵步长和填充3控制输出大小和边界处理方式核心组件池化层CNN最大池化取区域最大值，保留显著特征平均池化计算区域平均值，平滑特征池化作用降维、减少计算量、增加平移不变性经典架构CNNLeNet-519981首个成功CNN，手写数字识别2AlexNet2012深度CNN突破，ImageNet冠军VGGNet20143使用小卷积核和深度设计，结构规整现代架构CNNResNet InceptionDenseNet残差连接解决深层网络并行多尺度卷积，提高密集连接每层，强化特退化问题特征多样性征重用循环神经网络（）概述RNN基本结构适用场景与前馈网络区别包含循环连接，能处理序列数据文本、语音、时间序列等顺序数据有记忆能力，考虑历史信息的前向传播和反向传播RNN算法BPTT时间展开沿时间反向传播误差，更新权重将循环结构展开为链式结构处理长序列训练时存在梯度消失或爆炸问题长短期记忆网络（）LSTM解决问题1缓解梯度消失，捕获长期依赖门控机制2输入门、遗忘门、输出门控制信息流细胞状态3长期记忆通道，保存重要信息门控循环单元（）GRU结构特点与比较LSTM更新门和重置门，简化版LSTM参数更少，训练更快，性能相当应用场景资源受限环境，数据量较小情况序列到序列模型（）Seq2Seq编码器将输入序列编码为固定长度向量解码器将编码向量解码为目标序列应用机器翻译、文本摘要、对话系统Beam Search解码时保留多个候选序列，提高质量注意力机制Self-Attention Multi-Head1序列内部元素相互关注多个注意力头并行计算2应用优势43增强编解码器模型能力捕获长距离依赖，并行计算模型Transformer位置编码优势与应用添加位置信息，弥补序列顺序缺失并行训练，处理长序列，NLP革命性进步整体架构编码器-解码器结构，完全基于注意力机制模型BERT预训练与微调双向编码应用场景大规模无监督预训练后针对任务微调同时考虑上下文，全面理解语义文本分类、问答系统、命名实体识别系列模型GPT自回归特性1单向预测，从左到右生成文本规模突破2GPT-3具1750亿参数，少样本学习能力强伦理考量3可能产生偏见内容，需谨慎使用生成对抗网络（）GAN基本原理生成器和判别器相互博弈学习生成器创造逼真样本，目标是欺骗判别器判别器区分真假样本，提升鉴别能力训练过程交替优化两网络，达到纳什均衡的变体GANDCGAN CycleGANStyleGAN引入卷积层，稳定训练，生成高质量图像无需配对数据的图像转换，保持内容一致控制生成图像风格，产生逼真人脸自编码器结构原理降噪自编码器12编码器压缩信息，解码器重建输入加噪声，学习恢复原始数数据据变分自编码器3学习潜在空间概率分布，可控生成深度强化学习DQNQ-learning深度Q网络，结合Q学习与深学习状态-动作价值函数度神经网络经验回放马尔可夫决策过程存储交互经验，打破样本相关状态、动作、奖励、状态转移性2314策略梯度方法REINFORCE1直接优化策略，高方差Actor-Critic2结合策略和价值学习，降低方差PPO3近端策略优化，稳定高效迁移学习定义预训练模型微调策略领域适应利用已有知识解决新问题大数据集训练后迁移至小数冻结部分层，仅训练任务相减少源域与目标域分布差异据集关层小样本学习问题定义仅少量样本学习新类别元学习学会如何学习，快速适应新任务原型网络计算类别原型，基于距离分类联邦学习核心思想1数据本地训练，仅共享模型更新隐私保护2原始数据不离开设备，降低泄露风险应用场景3医疗数据分析，移动设备协作图神经网络（）GNN图卷积网络消息传递图数据表示拓展卷积到非规则数据结构聚合邻居信息，更新节点表示节点、边、特征的结构化信息知识图谱与深度学习知识表示学习模型知识图谱补全TransE实体和关系嵌入到低维向量空间关系建模为向量空间中的平移操作预测缺失的实体关系，扩展知识库多模态学习跨模态表示视觉语言预训练模型-CLIP将不同模态数据映射到共享语义空间图像文本对联合建模，理解双模态内容对比学习连接图像文本，零样本迁移能力强神经网络压缩与加速模型剪枝知识蒸馏1移除不重要连接，减少参数量大模型知识迁移到小模型2低秩分解量化技术43分解权重矩阵，压缩模型规模降低权重精度，减少存储需求与神经架构搜索AutoML问题定义1自动寻找最优网络结构，减少人工设计搜索空间2定义可能架构集合，包含层类型和连接方式搜索策略3进化算法、强化学习、梯度下降等方法效率提升4权重共享、早停等技术加速搜索过程可解释AI重要性局部解释全局解释增加透明度，建立信LIME、SHAP等解释单理解模型整体行为和决任，满足法规要求个预测策边界对抗样本与鲁棒性攻击类型防御策略鲁棒性评估123白盒攻击利用梯度，黑盒攻击不需对抗训练、输入处理、模型蒸馏提测试在不同扰动下模型性能稳定性内部信息高鲁棒性深度学习的可靠性与安全性异常检测模型校准识别偏离正常模式的样本，提高安全性不确定性估计确保预测概率与真实概率一致模型预测置信度评估，知道何时不知道因果推理与深度学习相关因果vs区分统计相关性与因果关系因果发现从数据中学习因果图结构因果推理预测干预效果，回答假如问题深度学习在计算机视觉中的应用图像分类目标检测语义分割识别图像主要内容，如ImageNet挑战定位并识别多个物体，如YOLO、Faster像素级分类，明确物体边界R-CNN深度学习在自然语言处理中的应用文本分类1情感分析、主题分类、垃圾邮件检测命名实体识别2识别文本中人名、地点、组织等实体机器翻译3语言间自动转换，如谷歌翻译问答系统4理解问题并生成答案深度学习在语音识别中的应用声学模型将语音信号转换为音素序列语言模型预测单词概率，修正音素识别错误端到端ASR直接从语音到文本，跳过中间步骤深度学习在推荐系统中的应用12协同过滤深度兴趣网络基于用户相似性或物品相似性的推荐建模用户动态兴趣，提高点击率预测3序列推荐考虑用户行为时序信息的个性化推荐深度学习在医疗健康领域的应用深度学习显著提高了医疗准确率，尤其在药物发现领域深度学习在金融领域的应用风险评估信用评分模型，违约风险预测欺诈检测异常交易识别，防范金融欺诈量化交易市场预测，自动交易策略优化客户画像精准营销，个性化金融产品推荐深度学习在自动驾驶中的应用环境感知路径规划1物体检测与追踪，场景理解安全高效导航，避障策略2端到端学习决策控制43直接从感知到控制的映射行为预测，多智能体协调深度学习在游戏中的应用AI系列电子游戏游戏设计AlphaGo深度强化学习与蒙特卡洛树搜索结合从像素直接学习策略，超越人类水平自动生成地形、角色、故事情节深度学习的硬件基础加速1GPU并行计算能力强，矩阵运算高效与2TPU NPU专为神经网络设计，能效比更高分布式训练3多设备协同，加速大模型训练边缘计算4模型部署至终端设备，降低延迟深度学习框架对比框架优势劣势适用场景TensorFlow生产部署强API复杂工业应用PyTorch动态图易用部署不便研究实验MXNet多语言支持社区小分布式训练模型部署与服务模型序列化ONNX格式转换，跨平台兼容容器化Docker封装环境依赖，便于迁移服务APIRESTful接口提供推理能力边缘部署模型压缩优化，适应资源受限设备深度学习的伦理问题隐私保护算法偏见数据收集和使用中的用户隐私考量训练数据中的社会偏见可能被放大12社会影响43透明度就业替代、信息茧房等广泛问题黑盒模型难以解释的决策过程深度学习的未来趋势大规模预训练低资源学习超大模型如GPT、DALL-E成为基础设施小数据、低能耗、轻量级模型发展神经符号融合-结合神经网络与符号推理优势如何进行深度学习研究论文写作分析评估清晰表达创新点，提供充分实实验设计全面测试，统计显著性分析验证据问题定义合理设置对照组，确保可复现明确研究目标，文献调研，找性准切入点深度学习相关资源开放数据集顶级会议开源项目ImageNet、COCO、NeurIPS、ICML、Hugging Face、WMT、SQuAD等ICLR、CVPR、ACL等TensorFlow模型库、PyTorch生态总结与展望技术融合1跨领域结合催生新突破应用拓展2更多行业数字化转型核心引擎基础研究3理论完善与技术创新并重学习建议4实践项目、参与竞赛、跟踪前沿。