python爬虫期末试题及答案

python爬虫期末试题及答案

一、单项选择题（共30题，每题1分，共30分）在每题列出的四个选项中，只有一个最符合题目要求，请将正确答案的序号填在括号内Python中用于发送HTTP请求的标准库是（）A.requests B.urllib C.http.client D.socket以下哪个不是Python爬虫常用的数据解析库（）A.BeautifulSoup B.lxml C.pandas D.PyQuery使用requests库发送请求时，若需传递请求头信息，应通过哪个参数实现（）A.params B.headers C.data D.json以下代码的作用是（）import requestsresponse=requests.gethttps://www.example.comprintresponse.textA.发送POST请求并获取响应B.发送GET请求并获取响应文本C.解析HTML文档D.存储响应数据lxml库中用于解析HTML文档的对象是（）A.etree B.BeautifulSoup C.XPath D.CSS在爬取数据时，若目标网站存在反爬机制，以下哪种方法可降低被封禁IP的风险（）A.频繁发送请求B.使用固定User-Agent C.添加随机延迟D.忽略robots协议以下哪个函数用于从列表中提取符合条件的元素（）A.map B.filter C.reduce D.sort第1页共10页Python中用于处理JSON数据的模块是（）A.json B.pickle C.csv D.re使用requests库发送POST请求时，参数应放在哪个关键字参数中（）A.params B.data C.headers D.url以下关于robots协议的说法，正确的是（）A.所有网站都必须遵守robots协议B.robots协议仅限制爬虫访问C.可通过修改robots.txt绕过限制D.robots协议是一种反爬手段以下哪个不是Scrapy框架的核心组件（）A.Engine B.Spider C.Item D.Selenium在XPath表达式中，//div[@class=content]的作用是（）A.选择所有div标签B.选择class为content的div标签C.选择id为content的div标签D.选择包含content的div标签爬取数据时，若目标网站使用动态加载技术（如AJAX），以下哪种工具更适合处理（）A.requests+BeautifulSoup B.Selenium C.Scrapy D.urllibPython中用于处理CSV文件的模块是（）A.csv B.pandas C.openpyxl D.xlrd以下代码的输出结果是（）```pythonimport requestsurl=https://www.example.comtry:response=requests.geturl,timeout=5第2页共10页response.raise_for_status#检查状态码print请求成功except requests.exceptions.Timeout:print请求超时except requests.exceptions.HTTPError ase:printfHTTP错误:{e}A.请求成功B.请求超时C.HTTP错误D.无输出以下哪个方法可获取响应中的JSON数据（）A.response.json B.response.text C.response.contentD.response.headers爬取数据时，若需模拟用户行为，以下哪个请求头信息可能被用于反爬识别（）A.Host B.User-Agent C.Content-Type D.Accept以下关于爬虫合法性的说法，正确的是（）A.所有网站都允许爬虫爬取B.需遵守目标网站的robots协议C.爬取数据后无需注明来源D.可随意爬取付费内容使用BeautifulSoup解析HTML时，若需通过class属性定位标签，应使用的方法是（）A.find_allclass_=class_name B.findclass=class_nameC.select.class_name D.xpath//*[@class=class_name]以下哪个不是常见的爬虫框架（）A.Scrapy B.PySpider C.Selenium D.Scrapy-redis在Python中，用于设置随机延迟（模拟人类访问速度）的库是（）A.time B.random C.delay D.both Aand B爬取数据时，若目标网站存在登录验证，以下哪种方法不可行（）第3页共10页A.手动输入账号密码B.使用Session保持登录状态C.直接爬取登录后的页面D.破解验证码以下代码的作用是（）```pythonimport repattern=r\d{11}text=手机号13800138000result=re.findallpattern,textprintresultA.提取邮箱地址B.提取11位数字（手机号）C.替换文本D.匹配URL以下哪个不是爬虫中可能遇到的反爬手段（）A.验证码B.动态IP C.Session D.数据加密使用Scrapy框架时，需在哪个文件中定义爬取的字段（）A.items.py B.pipelines.py C.settings.py D.spiders/xxx.py在爬取数据时，若需将数据存储到数据库，以下哪个模块不常用（）A.pymysql B.sqlalchemy C.redis-py D.json以下关于requests库中response对象的说法，错误的是（）A.response.status_code表示响应状态码B.response.text返回字节流数据C.response.encoding用于设置编码D.response.json用于解析JSON数据爬取数据时，若目标网站的robots.txt禁止访问某个目录，爬虫应（）第4页共10页A.忽略robots.txt继续爬取B.遵守规则，不访问该目录C.修改robots.txt文件D.使用代理IP绕过以下哪个不是Python用于数据可视化的库（）A.matplotlib B.seaborn C.pandas D.plotly在爬虫中，UA伪装的主要目的是（）A.提高爬取速度B.模拟不同浏览器访问C.存储数据D.解析HTML

二、多项选择题（共20题，每题2分，共40分）每题列出的选项中，至少有两个符合题目要求，请将正确答案的序号填在括号内，多选、少选、错选均不得分以下属于Python爬虫基本流程的有（）A.发送请求B.获取响应C.数据解析D.数据存储Python爬虫常用的第三方库有（）A.requests B.urllib C.Scrapy D.BeautifulSoup使用requests库发送请求时，可能出现的异常有（）A.Timeout B.HTTPError C.ConnectionError D.ValueError以下关于数据解析的说法，正确的有（）A.XPath可用于解析XML和HTML B.CSS选择器比XPath更简洁C.BeautifulSoup支持多种解析器D.lxml库的解析速度较快常见的反爬机制包括（）A.User-Agent检测B.IP封禁C.验证码D.动态加载以下关于Session对象的说法，正确的有（）A.可保持登录状态B.会保存Cookie信息C.比直接使用requests.get更安全D.仅用于POST请求爬取数据时，选择存储方式需考虑的因素有（）第5页共10页A.数据量大小B.数据结构C.访问频率D.反爬难度以下属于Python内置数据类型的有（）A.list B.tuple C.dict D.set使用Scrapy框架时，可通过哪些方式设置爬取规则（）A.rules参数B.start_urls属性C.parse方法D.settings.py以下关于正则表达式的说法，正确的有（）A..匹配任意字符（除换行符）B.*表示匹配前一个字符0次或多次C.+表示匹配前一个字符1次或多次D.表示匹配前一个字符0次或1次爬取动态加载数据时，可使用的工具或技术有（）A.Selenium B.分析AJAX请求C.直接爬取HTML D.浏览器开发者工具以下关于CSV文件的说法，正确的有（）A.以逗号分隔字段B.可使用csv模块读写C.不支持中文编码D.适合存储结构化数据以下属于爬虫道德规范的有（）A.尊重网站robots协议B.不爬取敏感信息C.不频繁发送请求D.注明数据来源使用lxml库进行XPath解析时，可能用到的路径表达式有（）A./B.//C..D...以下关于编码的说法，正确的有（）A.常见的网页编码有UTF-8和GBK B.response.encoding可自动识别编码第6页共10页C.爬取中文乱码可能是编码设置错误D.可通过chardet库检测编码以下属于Scrapy框架核心组件的有（）A.Engine（引擎）B.Scheduler（调度器）C.Downloader（下载器）D.Spider（爬虫）爬取数据时，可能需要处理的异常有（）A.网络连接错误B.数据解析错误C.超时错误D.数据格式错误以下关于BeautifulSoup的说法，正确的有（）A.支持解析器有html.parser、lxml等B.find方法返回第一个匹配元素C.find_all方法返回所有匹配元素D.select方法使用CSS选择器以下属于Python爬虫进阶技术的有（）A.分布式爬虫B.代理IP池C.反反爬技术D.数据可视化以下关于代理IP的说法，正确的有（）A.可隐藏真实IP B.分为透明、匿名、高匿代理C.免费代理资源有限D.需定期更换代理IP

三、判断题（共20题，每题1分，共20分）对的打√，错的打×Python的urllib库是用于处理URL的标准库（）requests库的get方法默认会发送请求头信息（）使用XPath解析时，//@class表示选择所有标签的class属性（）Selenium是一款用于模拟浏览器操作的工具（）第7页共10页爬虫爬取数据时，必须遵守目标网站的robots协议，否则可能涉及违法（）在Scrapy中，pipelines.py用于定义数据存储规则（）response.json方法可直接解析任何JSON格式的响应数据（）验证码是常见的反爬手段之一（）Python的json模块可用于将Python字典转换为JSON字符串（）爬取动态加载数据时，直接使用requests库无法获取数据（）使用pandas库可方便地处理CSV、Excel等格式数据（）反爬机制是网站为了保护数据安全而设置的，爬虫应完全避免（）在正则表达式中，\d表示匹配任意数字字符（）代理IP可解决目标网站的IP封禁问题（）爬取数据时，数据量越大，存储到内存中的效率越高（）使用BeautifulSoup的select方法时，需以#开头表示选择id属性（）所有网站的robots.txt文件都对爬虫有约束力（）requests库的post方法默认的Content-Type是application/json（）分布式爬虫可通过多台设备爬取，提高效率（）爬取数据后，必须注明数据来源，否则可能侵犯版权（）

四、简答题（共2题，每题5分，共10分）简述requests库中get方法和post方法的主要区别什么是反爬机制？列举至少两种常见的反爬手段，并说明其作用原理参考答案

一、单项选择题（共30题，每题1分）第8页共10页1-5:B C B B A6-10:CB A BB11-15:D BB AA16-20:A BBAC21-25:D CBAA26-30:D BB CB

二、多项选择题（共20题，每题2分）1:ABCD2:ACD3:ABC4:ACD5:ABCD6:AB7:ABC8:ABCD9:AC10:ABCD11:ABD12:ABD13:ABCD14:ABCD15:ACD16:ABCD17:ABCD18:ABCD19:ABC20:ABCD

三、判断题（共20题，每题1分）1:√2:×（默认不发送请求头，需手动设置headers）3:√4:√5:√6:√7:×（若响应非JSON格式会报错）8:√9:√10:√11:√12:×（合理反爬是必要的，完全避免不现实）13:√14:√15:×（数据量大时应分批次存储，避免内存溢出）16:√17:×（robots.txt是建议性文件，无法律强制力，但应遵守）18:×（默认是application/x-www-form-urlencoded）19:√20:√

四、简答题（共2题，每题5分）答案第9页共10页get用于获取资源，参数通过URL查询字符串传递，长度有限（通常2KB），数据安全性低；post用于提交数据，参数放在请求体中，长度无限制，数据安全性高，适合提交敏感信息答案反爬机制是网站为防止非授权爬取而采取的技术手段常见手段User-Agent检测通过识别请求头中的User-Agent字段，判断是否为爬虫（非浏览器标识）IP封禁记录高频访问IP，限制其访问频率或直接封禁，防止恶意爬取（注简答题答案控制在150字以内，符合简洁要求）第10页共10页。