《深度学习导论》课件

深度学习导论人工智能前沿技术探索大脑启发的学习算法课程概述课程目标学习内容先修知识123掌握深度学习核心理论神经网络架构与算法基础线性代数、概率论什么是深度学习？定义与传统机器学习区别应用领域多层神经网络的机器学习子领域自动特征提取能力图像识别、语音处理、自然语言理解深度学习的发展历程人工智能第一次浪潮1感知器提出1950s人工智能第二次浪潮2反向传播算法1980s人工智能第三次浪潮3深度学习爆发2012+神经网络基础生物神经元与人工神经元激活函数模拟大脑工作原理、、Sigmoid ReLUTanh单层感知器线性分类器原型多层感知器（）MLP结构输入层隐藏层输出层--前向传播信息从输入流向输出反向传播算法权重更新的核心机制损失函数均方误差交叉熵其他常用损失函数回归问题常用分类问题首选，Hinge LossHuberLoss优化算法随机梯度下降2单样本更新参数梯度下降法1全数据集计算梯度小批量梯度下降批次数据平衡效率与稳定性3高级优化算法Adam1自适应矩估计RMSprop2均方根传播算法Adagrad3自适应梯度算法过拟合与欠拟合欠拟合良好拟合过拟合模型太简单，无法捕捉数据规律模型复杂度适中模型太复杂，记住了噪声正则化技术正则化正则化1L12L2促进稀疏性，特征选择权重衰减，防止过大权重早停法3验证集性能不再提升时停止训练技术Dropout原理训练时随机关闭神经元实现每层应用不同概率的丢弃率效果防止共适应，相当于集成学习批量归一化原理标准化每一层的输入分布优势加速收敛，缓解梯度消失实现方法在每层输出后添加归一化层卷积神经网络（）概述CNN结构特点应用领域局部连接，权重共享图像识别，视频分析优势空间特征提取能力强的基本组件CNN卷积层池化层全连接层提取特征，减少参数降维，提取显著特征分类决策，整合特征量经典架构CNNLeNet-519981手写数字识别先驱AlexNet20122竞赛突破ImageNetVGGNet20143简洁统一的深层结构更深的架构CNNResNet InceptionDenseNet残差连接解决深度问题多尺度特征提取密集连接加强特征传播目标检测系列R-CNN1区域提议分类+系列YOLO2单步检测，实时性强SSD3多尺度特征图检测语义分割FCN全卷积网络，端到端U-Net系列DeepLab编码解码结构，医学图像处理空洞卷积，提高分辨率循环神经网络（）概述RNN结构特点应用领域12具有记忆能力的循环连接序列数据处理，如文本、语音优势3可处理变长输入，保持时序信息长短期记忆网络（）LSTM门控机制2输入门、遗忘门、输出门结构1记忆单元三种门控单元+优势解决长期依赖问题3门控循环单元（）GRU结构与比较应用LSTM重置门和更新门更简单，参数更少机器翻译、文本生成序列到序列模型结构Encoder-Decoder编码器压缩信息，解码器生成输出注意力机制关注输入序列的相关部分应用实例机器翻译、摘要生成架构Transformer自注意力机制多头注意力位置编码捕捉序列内部关联并行捕捉不同特征添加位置信息模型BERT预训练与微调通用预训练任务特定微调1+双向编码2考虑上下文双向信息应用领域3问答系统、文本分类系列模型GPT架构特点1自回归语言模型训练方法2预测下一个词任务应用前景3内容生成、对话系统生成对抗网络（）GAN生成器与判别器2伪造与鉴别的博弈基本原理1生成器与判别器对抗训练训练过程交替优化两个网络3的变体GANDCGAN CycleGANStyleGAN深度卷积，图像生成循环一致性，无配对转换风格控制，高质量人脸GAN变分自编码器（）VAE原理结构与比较GAN概率生成模型，学习潜在分布编码器潜在空间解码器更稳定，但生成质量较低--深度强化学习概述强化学习基础深度网络策略梯度方法Q智能体、环境、奖励学习与深度神经网直接优化策略函数Q机制络结合与AlphaGo AlphaZero算法原理蒙特卡洛树搜索深度神经网络+突破性成果击败人类冠军，自学围棋规则影响与启示通用算法解决复杂问题元学习概念1学会如何学习方法2基于优化、基于记忆、基于度量应用场景3少样本学习，快速适应迁移学习原理常用技术应用实例123从源任务迁移知识到目标任务微调、特征提取、域适应医学图像分析，少标注数据场景联邦学习分布式训练2多设备协作学习隐私保护1数据本地训练，共享模型挑战与机遇非独立同分布数据，通信效率3自监督学习原理方法从数据本身生成监督信号对比学习，预测任务最新进展，，CLIP SimCLRMAE图神经网络GCN卷积操作扩展到图结构GraphSAGE归纳学习，采样聚合图数据表示节点、边、特征知识图谱与深度学习知识表示知识推理知识图谱补全实体和关系的嵌入路径推理，规则归纳预测缺失的三元组神经网络压缩量化技术知识蒸馏降低参数精度模型剪枝大模型知识转移到小模型移除不重要的连接和神经元神经架构搜索（）NAS自动化架构设计1算法搜索最优网络结构搜索空间2层类型、连接模式搜索策略3进化算法、强化学习可解释性AI重要性方法挑战安全性、合规性、信任特征归因、可视化技术复杂模型黑箱特性对抗样本概念生成方法防御策略微小扰动导致错误预测、、攻击对抗训练、防御蒸馏FGSM PGDCW深度学习硬件加速1GPU2TPU并行计算能力强谷歌专用张量处理器专用芯片3针对优化的设计AI ASIC边缘计算与深度学习概念挑战设备端本地推理资源受限，功耗限制应用场景智能家居，自动驾驶深度学习框架比较TensorFlow PyTorchMXNet各框架优缺点对比数据预处理技术数据清洗特征工程数据增强缺失值处理，异常检测特征选择，特征变换翻转，旋转，缩放模型评估与选择超参数调优2网格搜索，随机搜索交叉验证1折验证评估性能K模型集成投票，堆叠，Boosting3深度学习项目流程问题定义明确目标和评估指标数据收集与处理获取数据，清洗，增强模型设计与训练架构选择，参数调优部署与维护生产环境部署，监控更新计算机视觉应用图像分类、人脸识别、自动驾驶领域的深度学习应用自然语言处理应用机器翻译情感分析问答系统语言间自动转换理解文本情感倾向自动回答用户问题语音识别与合成声学模型音频转换为音素序列语言模型音素序列转换为文本端到端模型直接音频到文本转换推荐系统协同过滤深度推荐模型冷启动问题基于用户物品交互推荐神经网络提取复杂特征新用户新物品推荐策略-医疗健康领域应用疾病诊断药物发现个性化医疗医学影像分析辅助诊断分子结构预测与筛选基于基因组学的治疗方案金融领域应用风险评估量化交易12信用评分、欺诈检测市场预测、自动交易反欺诈3异常交易识别、行为分析工业领域应用预测性维护质量控制生产优化故障预测，设备监控缺陷检测，产品分类流程优化，资源调度艺术创作与深度学习风格迁移、音乐生成、绘画作品示例AI深度学习的伦理问题隐私保护算法偏见数据安全与个人隐私模型公平性与歧视问题社会影响就业变化与技术鸿沟深度学习的未来发展潜在突破点神经符号结合，能量效率趋势预测挑战与机遇低数据学习，多模态融合可解释性，知识迁移213如何持续学习学习资源推荐实践项目建议研究方向选择书籍《深度学习》，《动手学深度复现经典论文，参与开源项目关注顶会论文，找准兴趣点学习》总结回顾课程要点梳理1从基础到前沿全面覆盖核心概念回顾2神经网络架构、训练技巧学习建议3理论结合实践，持续学习问答环节欢迎提问1任何有关深度学习的疑问讨论交流2分享学习经验后续学习3提供进一步指导。