《Python网络爬虫技术（第2版）（微课版）》教案项目7 使用Scrapy爬虫——爬取某企业官网新闻动态 教案

项目使用爬虫——爬取某企业7Scrapy官网新闻动态教案课程名称Python网络爬虫技术课程类别必修适用专业大数据技术类相关专业总学时64学时其中理论24学时，实验40学时总学分

4.0学分本章学时10学时

一、材料清单1《Python网络爬虫技术第2版微课版》教材2配套PPT3引导性提问4探究性问题5拓展性问题

二、教学目标与基本要求.教学目标1分析目前数据流通的现状，明确数据爬取是实现数据要素化的重要方式而后介绍Scrapy爬虫框架，阐述该框架与一般Python爬虫的区别，讲解Scrapy爬虫框架的安装、创建爬虫项目，框架中各组件的功能和用途，最后以某企业官网的“新闻中心”页面为例，使用Scrapy框架实现爬虫，抓取指定网站的内容或图片，实时获取企业动态，并进行备份和存储.基本要求21了解Scrapy框架各组件的作用以及数据流向2熟悉Scrapy的常用命令及其作用3掌握Scrapy爬取文本信息的方法4能够使用Scrapy框架爬取网站信息5能够根据项目最终目标修改items/pipelines脚本6能够编写spider脚本，解析网页

三、问题引导性提问

1.引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的1如何创建Scrapy爬虫项目？2如何从页面上分析数据的XPATH路径？3Scrapy的命令有哪些？4Scrapy框架有哪些优势？5Scrapy爬虫项目包含哪些文件？.探究性问题2探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问1Scrapy框架包含了哪些组件？2Scrapy各个组件之间的数据流向是怎样的？3Scrapy爬虫与其他Python爬虫有何区别？.拓展性问题3拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题亦可以提供拓展资料供学生研习探讨，完成拓展性问题1Scrapy框架适用于哪些数据获取场景？2Scrapy框架体现了软件架构设计中的哪些思想？3如何更有效的存储内容页上的相关数据？

四、主要知识点、重点与难点主要知识点

1.1Scrapy框架各组件的作用以及数据流向2Scrapy的常用命令及其作用3Scrapy爬取文本信息的方法4下载器中间件、Spider中间件的定制方法重点

2.1Scrapy框架创建项目的流程和命令2Scrapy脚本的编写和设置难点

3.Scrapy中间件的定制方法

五、教学过程设计理论教学过程

1.1Scrapy爬虫框架的构成2Scrapy各组件的作用3常见的Scrapy命令4创建Scrapy爬虫项目5修改items/pipelines脚本6创建spider爬虫脚本模板7编写spider脚本8修改settings脚本9运行爬虫项目实验教学过程

2.1安装Scrapy爬虫框架并创建爬虫项目2通过Scrapy爬虫项目爬取文本信息

六、教材与参考资料教材

1.池瑞楠.Python网络爬虫技术第2版微课版[M].人民邮电出版社.

2023.参考资料

2.

[1]江吉彬.Python网络爬虫技术[M].人民邮电出版社.

2019.

[2]黄瑞军.Python爬虫项目教程微课版[M].人民邮电出版社.

2021.

[3]黑马程序员.Python网络爬虫基础教程[M].人民邮电出版社.

2022.。