如何用Python模拟人为访问网站的行为?

kranky

30天以前 9浏览
如何用Python模拟人为访问网站的行为?

使用python模仿人为访问网站个人认为主要有以下几个方面:

请求头,发送访问后,服务器接收到的最直接的感觉就是请求头了,所以,首先请求头要和浏览器的请求一样,目前主要是User-Agent、Host、Referer等

请求频率,机器的访问速度一定是比人的请求速度快的多,如果你一秒有几十条请求的话,当然不难分辨你是一个爬虫,可以使程序休息一会等方式

cookie,用户访问网站时是伴随着cookie的,cookie中保存着登陆信息等,这种可以使用session来实现

资源请求,当访问一个页面时,一般不会是一个只有一个html文件,同时伴随着一些资源的请求,比如css,jpg,json等,而爬虫一般不会把这些资源全部请求,当然可以使用浏览器自动化控制模块(selenium等)来实现操控浏览器来请求

验证码等,有些页面会伴随着验证码,使用验证码来判定访问者是一个人还是机器,不过一般的验证码当然是难不倒我们了

以上就是我个人认为的Python爬虫和浏览器的区别,总结不全出,望各位不吝赐教

本文仅代表作者观点,版权归属原创作者,如需转载请在文中标注来源及作则名字。

免责声明:本文系转载编辑文章,仅做分享只用,如有疑问请联系邮箱:110@zbj.com

python
大家都在看
从python基础到爬虫的书有什么值得推荐?

从python基础到爬虫的书有什么值得推荐?

python
12浏览
Python的就业前景怎么样?

Python的就业前景怎么样?

python
15浏览
为什么C++没有Python那么多开源库?

为什么C++没有Python那么多开源库?

python
6浏览
Python有哪些数据可视化方法?

Python有哪些数据可视化方法?

python
8浏览
学Python电脑要什么配置?

学Python电脑要什么配置?

python
8浏览
0基础自学python,有入门书籍推荐下么

0基础自学python,有入门书籍推荐下么

python
13浏览
python和web哪一个更好啊?

python和web哪一个更好啊?

python
6浏览
编程语言Python有哪些好的Web框架?

编程语言Python有哪些好的Web框架?

python
8浏览
Python的优势和缺陷是什么?

Python的优势和缺陷是什么?

python
13浏览
用python怎么不刷新网页而监控网页变化?

用python怎么不刷新网页而监控网页变化?

python
9浏览
php与python谁更适合web开发?为什么?

php与python谁更适合web开发?为什么?

python
8浏览
Python有多好用?为什么很热门?

Python有多好用?为什么很热门?

python
7浏览
如何用Python模拟人为访问网站的行为?

如何用Python模拟人为访问网站的行为?

python
9浏览
如何利用Python来爬取网页视频呢?

如何利用Python来爬取网页视频呢?

python
7浏览
Python可以做系统底层开发吗?

Python可以做系统底层开发吗?

python
4浏览
python能用在智能家居开发吗?

python能用在智能家居开发吗?

python
9浏览
python怎么建立socket服务端?

python怎么建立socket服务端?

python
3浏览
前端好入门还是Python好入门?

前端好入门还是Python好入门?

python
5浏览
Python,turtle海龟作图,如何添加背景图片?

Python,turtle海龟作图,如何添加背景图片?

python
5浏览
python和php哪个更适合做web开发?

python和php哪个更适合做web开发?

python
5浏览
点赞
收藏
分享