《深度学习基础概念》课件

习础深度学基概念人工智能领域核心技术模拟人脑神经网络课程概述课标程目掌握深度学习理论基础习学路径从基础到前沿应用识先修知么习什是深度学？义关定系基于多层神经网络的机器学习技术习历深度学的史11943McCulloch-Pitts神经元模型提出21986反向传播算法32012AlexNet革命性突破42016+经络础神网基经生物神元树突接收信号，轴突传递信号经人工神元单层感知器1结构2工作原理输入层直接连接输出层加权求和后通过激活函数局限性层多感知器输层出1产生最终结果隐层藏2提取复杂特征输层入3接收原始数据激活函数Sigmoid ReLU输出范围0,1，存在梯度消失max0,x，解决梯度消失tanh输出范围-1,1，零中心化传前向播输层计输结入数据逐算激活函数出果初始特征向量权重矩阵乘法操作引入非线性变换预测或中间表示损失函数熵交叉2分类问题常用误均方差1回归问题常用绝对误平均差对异常值不敏感3传反向播算法复重迭代权更新重直到收敛或达到条件计算梯度沿梯度反方向移动计损前向算失使用链式法则求偏导预测值与真实值对比优化算法SGD AdamRMSprop小批量随机梯度下降自适应矩估计，结合动自适应学习率调整量过拟拟合与欠合拟欠合拟过拟良好合合模型过于简单，训练集表现差模型泛化能力强模型过于复杂，记住噪声则术正化技1L1正则化2L2正则化添加权重绝对值，产生稀疏添加权重平方和，防止大权重3Dropout随机关闭神经元，减少共适应标批准化优势应原理用位置标准化每层输入分布加速训练，缓解梯度消失通常在激活函数前积经络卷神网（CNN）组核心件卷积层，池化层结构应领特点用域局部连接，参数共享图像识别，视频分析213积层卷积卷核可学习的特征提取器积卷操作滑动窗口乘加运算图特征激活后的特征表示层池化最大池化平均池化保留区域最大值计算区域平均值降维减少计算量，提高平移不变性经构典CNN架LeNet19981首个成功的CNN，识别手写数字2AlexNet2012深度CNN突破，赢得ImageNet竞赛VGG20143使用小型卷积核，深度统一结构络残差网（ResNet）块络飞跃残差超深网性能添加跳跃连接，传递梯突破百层甚至千层限制大幅降低错误率度环经络循神网（RNN）时序建模2处理变长序列数据结构特点1包含循环连接，记忆前状态应场用景文本、语音、时间序列3长记忆络短期网（LSTM）输门入控制记忆哪些信息遗门忘决定丢弃哪些信息输门出控制输出哪些信息记忆单元长期存储信息门环单控循元（GRU）结构更新门和重置门，无记忆单元较比计算更高效，性能相近简化版LSTM，参数更少序列到序列模型编码器将输入序列压缩为上下文向量间态中状包含源序列全部信息码解器生成目标序列注意力机制1Self-Attention2多头注意力序列内部元素相互关注并行注意力计算，多角度信息3核心计算Query、Key、Value变换Transformer模型纯构注意力架无需RNN结构计并行算训练速度大幅提升编码位置注入序列位置信息连残差接促进梯度流动BERT模型编码预训练务调双向任微同时考虑左右上下文掩码语言模型，句子关针对下游任务适应训练系预测GPT系列模型1GPT-1基础自回归语言模型2GPT-2增大规模，无监督学习3GPT-31750亿参数，少样本能力4GPT-4多模态，推理能力增强对络生成抗网（GAN）别生成器判器创造逼真样本，欺骗判别器区分真实与生成样本两网络零和博弈，互相促进提升变编码分自器（VAE）编码器将输入映射到潜在分布间潜在空连续、可解释表示码解器从潜在变量重建输入强习深度化学环智能体境1学习决策策略提供状态与奖励2奖动励4作3指导优化方向影响环境状态策略梯度方法REINFORCE算法Actor-Critic蒙特卡洛采样估计期望结合价值估计减少方差优势函数相对于基线的优势测量络深度Q网（DQN）1经验回放2目标网络存储历史经验随机采样稳定训练，减少相关性3Q值预测神经网络预测状态-动作价值迁习移学务训练源任1大数据预训练模型识迁知移2提取通用表示特征标务调目任微3少量数据适应新任务样习少本学原型网络基于类别原型的度量学习元学习学会如何学习，快速适应仅用少量样本进行有效学习监习自督学对习预测务标签比学任无数据学习区分相似与不同样预测图像缺失部分或旋利用数据内在结构创建本转角度监督信号图经络神网节点表示捕获节点特征传递消息聚合邻居信息图表示整体结构特征识图谱习知与深度学实关识体嵌入系建模知推理将实体映射到向量空间学习实体间交互模式预测缺失关系与实体态习多模学视觉语态检-言模型跨模索12整合图像与文本信息文本查图像，图像查文本联习合表示学多感知融合43构建统一语义空间结合多种感知模态习计视觉应深度学在算机中的用图类标检测图像分目像生成识别图像中的主体对象定位并识别多个物体创建真实感图像语义实分割与例分割语义分割实例分割像素级别类别划分，不区分个体区分同类不同个体，精确边界精细图像理解的关键技术习语处应深度学在自然言理中的用文本分类、命名实体识别、情感分析、文本摘要译对话统机器翻与系经译神机器翻端到端翻译系统语多言模型支持上百种语言转换对话管理维持上下文连贯对话情感理解捕捉用户意图与情绪习语识别应深度学在音中的用声学特征提取梅尔频谱图分析声学模型音素识别与建模语言模型语言规则与概率码输解出生成最可能文本习统应深度学在推荐系中的用协过滤兴络同内容推荐深度趣网基于用户行为相似性基于商品特征相似性建模用户复杂兴趣演化习疗领应深度学在医域的用预测药发现医学影像分析疾病物肿瘤检测，器官分割基于多源数据预测风险加速新药研发流程习领应深度学在金融域的用1股票预测时序模型分析市场趋势2风险评估信用评分，欺诈检测3智能交易高频交易策略优化4投资组合资产配置优化习动驾驶应深度学在自中的用规划为路径行决策最优行驶路线转向，加速，刹车环图境感知高精地目标检测，场景理解厘米级定位2314习绍深度学框架介其他框架MXNet，Jax，PaddlePaddlePyTorchTensorFlowFacebook开发，研究友好Google开发，生产部署成熟训练模型技巧习调学率整逐步减小或周期变化早停法验证集性能不再提升时停止权重初始化Xavier，He初始化梯度裁剪防止梯度爆炸评释模型估与解1交叉验证K折划分，多次评估2特征可视化t-SNE降维，注意力热图3敏感性分析输入扰动影响输出4SHAP值特征对预测贡献度预处强数据理与增标准化、归一化、数据增强、特征工程习战深度学的挑赖计资质数据依算源黑盒性需要大量标注数据训练大模型需高性能硬件决策过程难以解释习伦问题深度学的理见偏与公平性隐护私保模型决策存在社会偏见用户数据安全与隐私透明度用户有权知情AI决策过程习发深度学的未来展规1大模模型千亿参数超大模型资习2低源学数据高效学习方法态3多模融合跨感知模态统一模型经4神符号方法结合符号推理与学习经络压缩神网与加速模型量化1降低参数精度，如INT8识馏知蒸2小模型学习大模型能力剪枝3移除不重要连接低秩分解4分解卷积核矩阵联习邦学训练本地模型聚合1数据留在用户设备中心服务器整合模型2训练再次4模型更新3用户设备继续训练分发新模型到用户经构神架搜索（NAS）动设计自化算法自动探索网络结构间搜索空定义可能的架构集合搜索策略强化学习，进化算法评估方法准确率，延迟，能耗习深度学研究前沿1自监督大模型无需大量标注数据2神经渲染新视角三维场景生成3图神经网络复杂关系数据建模4因果推理发现数据中因果关系总结与展望础论基理神经网络数学原理构模型架CNN、RNN、Transformer应前沿用视觉、语言、多模态未来方向自监督、低资源、神经符号。