《深度学习实践补》课件

《深度学习实践补》课程介绍探索深度学习前沿技术与实践应用掌握从基础理论到实际部署的完整流程系统学习各类神经网络架构与优化方法课程目标与学习成果掌握主流框架1熟练使用和开发模型PyTorch TensorFlow实现高级模型2能独立构建、、等架构CNN RNNTransformer解决实际问题3应用深度学习解决计算机视觉与任务NLP优化部署技能4学习模型压缩与边缘设备部署方法深度学习回顾感知机模型1单层网络结构，线性分类能力多层前馈网络2引入隐藏层，解决非线性问题反向传播算法3高效计算梯度，实现网络训练深层架构革命4计算能力突破，模型规模扩展神经网络基础深度网络多层架构提取复杂特征1激活函数2引入非线性变换能力神经元模型3权重求和与激活计算数学基础4线性代数与微积分深度学习框架概述MXNet多语言，高效分布式APITensorFlowPyTorch静态图优化，生产部署强JAX动态计算图，研究友好函数变换，高性能计算简介PyTorch动态计算图灵活定义与修改网络结构命令式编程直观调试，适合研究探索丰富生态优质模型库与工具支持分布式训练多与多节点扩展能力GPU简介TensorFlow静态计算图多平台部署生产级支持高级API预编译优化，高效执行支持移动设备与浏览器企业级应用与服务集成简化模型构建流程Keras数据预处理技巧数据分割特征工程训练集验证集测试集划分//归一化标准化/提取关键信息，降低维度数据清洗统一特征值范围与分布处理缺失值与异常值数据增强方法几何变换颜色变换噪声添加随机擦除旋转、翻转、缩放、裁剪亮度、对比度、色相调整高斯噪声、模糊、锐化遮挡、、方法CutOut MixUp批量归一化（Batch）Normalization计算均值方差每批次特征统计量分析归一化处理转换为零均值单位方差缩放平移可学习参数调整分布加速收敛缓解梯度消失，稳定训练模型训练策略超参数选择模型训练1学习率、批量大小设定前向传播与梯度更新2参数调优性能评估43根据评估结果优化配置验证集指标监控优化器选择SGD基础随机梯度下降，动量变体AdaGrad/RMSProp自适应学习率调整Adam结合动量与自适应调整LAMB/LARS大批量训练专用优化器学习率调整技巧训练周期固定学习率阶梯衰减余弦退火过拟合问题及解决方案增加数据量简化模型正则化扩充训练集，增强多样减少参数，降低复杂度约束，限制权重L1/L2性Dropout随机失活，提高泛化能力正则化技术正则化正则化弹性网络L1L2稀疏性约束，特征选择权重衰减，防止过大结合与的优势L1L2技术详解Dropout训练时随机断开神经元连接测试时保留所有连接但缩放权重等效于模型集成，提高泛化能力迁移学习基础源任务知识1预训练模型积累的能力知识迁移2将已学习特征用于新领域目标任务应用3针对特定问题优化模型性能提升4减少数据需求，加速收敛预训练模型应用特征提取器1冻结预训练层，仅训练新分类器初始化基础2以预训练权重为起点全面训练部分层微调3冻结底层，调整高层表示知识蒸馏4将大模型知识转移到小模型微调（）技巧Fine-tuning差异化学习率底层小学习率，高层大学习率渐进式解冻逐层解锁训练，自底向上目标任务适配定制输出层匹配新问题正则化控制防止过拟合小数据集卷积神经网络进阶深度可分离卷积分解标准卷积，降低计算量膨胀卷积扩大感受野，保持分辨率残差连接跳跃连接，缓解梯度问题注意力机制动态聚焦重要特征区域目标检测基础问题定义评估指标主要方法后处理定位物体位置与分类种类、精确率、召回率、单两阶段检测器对比非极大值抑制去重IoU AP/算法解析YOLO单阶段设计网格划分1直接预测边界框与类别将图像分成网格单元SxS2高效推理多尺度预测43实时检测能力不同大小锚框共同作用语义分割入门像素级分类编码器解码器跳跃连接-为每个像素分配类别下采样提取特征，上采结合多尺度特征样恢复分辨率评估标准、系数IoU Dice架构详解U-Net对称编码器解码器结构-多层跳跃连接保留空间信息适用于医学图像等精细分割任务循环神经网络进阶梯度问题1长序列训练中的消失与爆炸门控机制2选择性记忆与遗忘信息双向结构3同时考虑上下文信息注意力增强4动态关注序列关键部分与对比LSTM GRULSTMGRU输入门、遗忘门、输出门更新门、重置门更强记忆能力，参数更多简化结构，训练更快序列到序列模型编码器中间表示解码器应用领域将输入序列转为上下文向量捕获输入序列的语义信息生成目标序列输出机器翻译、文本摘要、对话系统注意力机制基础选择性关注1动态聚焦于相关输入部分加权求和2基于重要性分配权重缓解瓶颈3解决长序列信息压缩问题提升性能4显著改善序列建模效果架构解析Transformer输出层根据任务生成结果1多层解码器2自注意力与编码器注意力多层编码器3自注意力与前馈网络位置编码4注入序列位置信息输入嵌入5将符号转为向量表示模型介绍BERT双向编码同时考虑左右上下文预训练任务掩码语言模型与下一句预测迁移能力适用多种下游任务NLP变体模型、、RoBERTa ALBERTDistilBERT系列模型概述GPT1GPT-1初代自回归预训练模型2GPT-2扩展规模，零样本能力3GPT-3亿参数，少样本学习17504GPT-4多模态能力，增强推理自然语言处理实践文本预处理分词策略词嵌入选择分词、清洗、标准化字符、词、子词分词方静态与上下文相关表示法模型部署服务与性能优化API文本分类任务数据准备文本清洗与标签处理特征提取词嵌入与句子表示分类器设计选择CNN/RNN/Transformer评估优化准确率、值、混淆矩阵F1命名实体识别（）NER识别文本中的人名、地点、组织等实体序列标注问题，常用BIO标记方案双向LSTM结合CRF层提升识别性能机器翻译实践并行语料库大规模双语对齐文本编码器解码器-架构主导Transformer注意力机制动态对齐源语言与目标语言评估标准、、人工评估BLEU METEOR图像分类进阶残差网络稠密连接复合缩放视觉Transformer跳跃连接缓解退化问题每层连接到所有后续层平衡深度宽度分辨率将图像分块序列化处理//图像风格迁移将艺术风格应用于内容图像分离内容与风格特征表示优化内容损失与风格损失的加权和生成对抗网络（）基础GAN生成器创造判别器评估1从随机噪声生成样本区分真实与生成样本2渐进收敛对抗训练43生成样本质量提升零和博弈优化过程实现DCGAN设计原则生成器判别器使用卷积层替代全连接层转置卷积实现上采样避免梯度稀疏LeakyReLU批量归一化稳定训练激活输出范围控制无池化层保留空间信息Tanh条件生成对抗网络条件输入1为生成器和判别器提供控制信号控制生成2指定类别、属性或文本描述应用场景3类别条件生成、图像到图像转换提升稳定性4更好的模式覆盖与训练稳定性强化学习入门环境交互1智能体在环境中执行动作奖励反馈2获得即时或延迟奖励信号策略优化3调整行为最大化累积奖励自主学习4通过试错提升决策能力算法Q-learning状态动作价值-函数表示长期收益预期Q值迭代更新基于贝尔曼方程的迭代优化探索与利用贪心策略平衡尝试与利用ε-离线学习可从历史经验数据中学习深度网络（）Q DQN神经网络近似经验回放目标网络突破性成果使用深度网络表示函数存储历史转换随机采样固定目标稳定训练过程掌握多种游戏Q Atari策略梯度方法直接优化策略不经过值函数中介参数化表示神经网络建模动作概率梯度上升增大高回报动作概率连续动作空间自然处理连续控制问题算法Actor-Critic网络网络Actor Critic策略模型，决定如何行动12值函数，评估动作质量双重更新优势函数43交替优化两个网络减少方差，提升稳定性多任务学习特征共享底层表示为多任务共用知识迁移平衡训练相关任务间互相促进处理任务难度与数据不平衡元学习概念学会学习泛化迁移优化初始化学习算法快速适应新任务的能力跨任务知识迁移寻找适合快速适应的起点设计更好的优化过程少样本学习技术数据增强1扩充有限样本集度量学习2学习样本相似性度量元学习3学习快速适应新任务迁移学习4利用已有知识辅助自监督学习简介性能提升下游任务微调减少标注依赖，提高泛化能力无标签预训练利用学到的特征解决实际问题设计预训练任务学习通用特征表示利用数据内在结构创建监督信号对比学习方法学习将相似样本拉近，不同样本推远同一样本不同视角作为正样本对温度参数控制对比强度模型压缩与加速硬件定制加速专用芯片与加速器1编译优化2运算融合与内存管理量化与剪枝3降低精度与移除冗余知识蒸馏4小模型学习大模型能力架构设计5轻量化网络结构设计知识蒸馏技术教师模型大型高性能预训练模型软标签指导传递类别间相似性知识学生模型学习模仿教师输出与中间特征轻量级部署保留性能但大幅减小体积量化与剪枝量化剪枝降低数值精度移除冗余连接结构化与非结构化方法FP32→FP16/INT8/INT4边缘计算部署模型优化压缩、量化、优化计算图硬件适配针对边缘设备特性定制延迟控制平衡精度与响应时间功耗管理适应电池与散热限制模型可解释性注意力可视化特征归因代理模型概念分析关注区域热力图展示输入对预测的贡献度可解释模型近似黑盒行为高级特征与人类概念对应对抗样本与防御对抗攻击现实威胁防御策略检测方法微小扰动引起错误预测物理世界中的对抗样本对抗训练与输入净化识别与过滤对抗输入深度学习伦理与偏见数据偏见算法放大训练数据中的社会偏见模型学习并强化偏见12缓解措施社会影响43公平性指标与平衡训练不公平决策与歧视风险前沿研究方向基础模型1大规模多模态预训练模型类脑计算2神经形态计算与类脑架构自动机器学习3自动化模型设计与优化多模态学习4跨模态理解与生成能力课程总结实用技能1从理论到实践的完整流程工程能力2框架使用与模型优化技术前沿视野3最新模型与研究方向了解实践应用4解决实际问题的综合能力实践项目展示与讨论展示学生实践项目成果分享项目实施过程与经验教训讨论改进方向与实际应用可能性。