如何用Python模拟人为访问网站的行为?

kranky

30天以前 8浏览
如何用Python模拟人为访问网站的行为?

使用python模仿人为访问网站个人认为主要有以下几个方面:

请求头,发送访问后,服务器接收到的最直接的感觉就是请求头了,所以,首先请求头要和浏览器的请求一样,目前主要是User-Agent、Host、Referer等

请求频率,机器的访问速度一定是比人的请求速度快的多,如果你一秒有几十条请求的话,当然不难分辨你是一个爬虫,可以使程序休息一会等方式

cookie,用户访问网站时是伴随着cookie的,cookie中保存着登陆信息等,这种可以使用session来实现

资源请求,当访问一个页面时,一般不会是一个只有一个html文件,同时伴随着一些资源的请求,比如css,jpg,json等,而爬虫一般不会把这些资源全部请求,当然可以使用浏览器自动化控制模块(selenium等)来实现操控浏览器来请求

验证码等,有些页面会伴随着验证码,使用验证码来判定访问者是一个人还是机器,不过一般的验证码当然是难不倒我们了

以上就是我个人认为的Python爬虫和浏览器的区别,总结不全出,望各位不吝赐教

本文仅代表作者观点,版权归属原创作者,如需转载请在文中标注来源及作则名字。

免责声明:本文系转载编辑文章,仅做分享只用,如有疑问请联系邮箱:110@zbj.com

python
大家都在看
python的前端和web的前端有什么区别?

python的前端和web的前端有什么区别?

python
2浏览
编程语言Python有哪些好的Web框架?

编程语言Python有哪些好的Web框架?

python
4浏览
用Python爬虫可以爬过去的网站吗?

用Python爬虫可以爬过去的网站吗?

python
6浏览
python微服务框架排行榜?

python微服务框架排行榜?

python
4浏览
python和web哪一个更好啊?

python和web哪一个更好啊?

python
3浏览
python和php哪个更适合做web开发?

python和php哪个更适合做web开发?

python
4浏览
Python的优势和缺陷是什么?

Python的优势和缺陷是什么?

python
6浏览
关于python在企业开发中的工作是什么

关于python在企业开发中的工作是什么

python
3浏览
Python,turtle海龟作图,如何添加背景图片?

Python,turtle海龟作图,如何添加背景图片?

python
2浏览
用python怎么不刷新网页而监控网页变化?

用python怎么不刷新网页而监控网页变化?

python
5浏览
前端好入门还是Python好入门?

前端好入门还是Python好入门?

python
2浏览
怎么理解Python语言基本算法编程?

怎么理解Python语言基本算法编程?

python
2浏览
python怎么建立socket服务端?

python怎么建立socket服务端?

python
2浏览
如何用python和web.py搭建一个网站?

如何用python和web.py搭建一个网站?

python
2浏览
Python能开发app吗

近几年非常流行Python的学习和应用,很多小伙伴都不清楚学了Python之后具体能干啥,还有人问可以用Python开发app吗?今天小编就来解答这个问题,顺便跟大家聊聊Python能干啥。

开发apppython开发apppython
231浏览
入门Python爬虫需要掌握哪些技能和知识点?

入门Python爬虫需要掌握哪些技能和知识点?

python
2浏览
Python的就业前景怎么样?

Python的就业前景怎么样?

python
5浏览
php与python谁更适合web开发?为什么?

php与python谁更适合web开发?为什么?

python
5浏览
为什么C++没有Python那么多开源库?

为什么C++没有Python那么多开源库?

python
4浏览
Python有哪些数据可视化方法?

Python有哪些数据可视化方法?

python
2浏览
点赞
收藏
分享