课程介绍:
本课程讲解如何编写定向爬虫。首先讲解爬虫的基本原理,并使用Python的Requests模块和正则表达式编写简单的爬虫。接下来使用Scrapy开源爬虫框架与Redis数据库提高爬取效率。最后讲解动态加载网页内容的爬取和应对一些反扒虫机制的方法。
课程目录:
1、基本的正则表达式
2、Python 单线程爬虫
3、XPath 与多线程爬虫
4、简单的模拟登录
5、Scrapy 初探
6、MongoDB 与 Scrapy
7、Scrapy 与 Redis 入门
8、动态加载网页的爬取
评论0