QQ如何群发消息才会不被限制或屏蔽？
今天跟大家讨论下：QQ如何群发消息才不会被限制或者屏蔽？出于QQ用户的数量庞大，很多搞网络营销的人，都会选择利用QQ来营销推广，很多客户买过去的好友和群，在群发的时候总是受到这样那样的限制，对于QQ群发消息出现限制或者屏蔽的问题，有没有好的解决方法？
随着腾讯对于QQ群发消息的限制越来越严重了，前几年，群发QQ群成员还是有些效果的，现在你发十几个群成员之后，后面全是屏蔽，所以群发群成员这块基本做死了，剩下的就是直接发到群里和群发QQ好友了，但是现在对于这两块，腾讯的限制也越来越严了，如何解决呢？下面我跟大家说说一些QQ群发消息的经验，供大家参考：
1、在群发之前，对于异地登陆的QQ，要挂出常用登陆地再发消息，不然限制会很大，你发十几条消息之后，腾讯会提示你账号有风险啥的，QQ会自动掉线，提示你改密码、发短信解锁，甚至直接让你“账号申诉”。
2、注意同一IP短时间发送消息的频率，不要太快。&
一般正常聊天，一条消息发送出去至少也要2秒，加上还要思考好友的话题怎么回答，平均一分钟能发30条信息已经是很多了。这还只是发给一个好友（当然不排除你乱打字发送，或者只发表情）。但是我们如果用软件发呢？一条消息发送出去不到2-3秒，30秒钟里能发多少条？一分钟就能发超过40多条。腾讯会看不出来你是在群发吗？&
3、注意同一个IP在一定时间内发送消息给QQ好友或者QQ群的数量。
在一个IP里面，给不同QQ好友或者QQ群发送消息，如果平时普通聊天超过100个就已经很多了对吧。但是群发消息就不一样了。群发最起码不止一个帐号吧。就算一个帐号，假定这个帐号有200个人，很短的时间内发出去都已经超过普通聊天了。而这些发送的消息记录tx是记录得很详细的。别以为信息量大tx就舍不得浪费服务器的硬盘空间来记录你们这些举动！&
4、根据QQ登录IP的地理范围判断是否异地操作。
如果你的QQ号码在异地登录，并且发送大量相同的信息，请问这个属于群发吗？从逻辑上来看就已经很明显了。经营过网站的朋友都知道，获取客户端的IP地址易如反掌，甚至定位你的Gps位置信息都不是难事。&
5、消息的内容关键字的判断。&
这个其实大家都想到了。一般的广告都有很强的目的性，如果不是特别有耐性去长篇大作的话，很少有把广告写的很长的。大伙不是图个速度和效率嘛！而这分词算法这方面，没有人的经验能和tx相比的了。tx从1995年网站上线至今，已经延续运营了18年。而你，就在这个18年里成长起来的。你们的经验会有他们那么丰富吗？&
总结，当你短时间在同一个IP段之内发送这么多消息，明眼人都知道你这是群发垃圾信息，要不解释不通啊对吧。tx不是一天两天运行了，他服务器受到QQ群发信息的影响导致压力飙升，他们又不是不知道。难道tx不知道你那是在群发吗？我们所做的一切，tx那边都留了案底。其实不单单只有QQ客户端群发消息的时候受限制，webQQ或是安卓，ios的都存在这个问题。
以上总结出来的几点，可能对大部分内行来说，感觉很幼稚。有人甚至号称突破了群发限制的规则。我不知道有多少人敢这么狂言。但是我知道多数人是不可能突破这个限制的。&
但是，其实我们是可以减少限制的。以下是我的经验和理论之谈（大神们勿喷！），这里我把以上几点对号入座去解决：
1、适当减慢群发的速度或频率
以前我们10秒内发送10条消息的话，现在我们只发5条，甚至更慢，群发十几条或者几十条消息之后，暂停几分钟或者几十分钟再发，一来可以让tx服务器减压，让tx放过你，这个有可能吧？经过很多客户反映，此招确实有效。&
2、经常更换群发消息的内容。
一条消息，可以通过组织不同的语言来发送，组织5条以上不同的内容，变换发送，发送前也可以先发问候语，这样发送起来，被tx屏蔽的几率也会大大减小。
3、经常更换IP&
这个更换IP的重要性不是我第一个这么说的，很多同行里的大牛级人物早就运用得炉火纯青了。至于怎么更换IP，普通人可以手动更换，网络上也有不少更换IP的软件，但是，这里建议大家最好再本地换IP，通过上网拨号换IP，不要在不同的城市之间换，不要一会换到北京，一会换到上海。
4、培养本地号码&
很多人都用的买过去的QQ好友或者QQ群群发广告。而这些QQ绝大部分都是异地号码。也就是说他常常登录的IP不在你的地区范围内。这样的话，就必须先挂出QQ的常用登陆地，再发消息，QQ出现异常和屏蔽限制会少很多。
5、减少内容关键字的敏感度
关键字敏感不敏感不是你说了算，你可以事先在webqq官网或QQ客户端测试一下被屏蔽的概率有多大，从而挑选出最不容易受限制或屏蔽的关键字。&
欢迎使用GGP系列插件，有任何问题或建议请联系我们。华景机器人官方授权平台：http://c.130714.com。
华景 华景QQ机器人 华景QQ机器人官方网站 机器人 qq机器人 微信机器人 QQ机器人下载 智能机器人 华景机器人 华景机器人官网 自动回复机器人 智能回复
华景,华景QQ机器人,华景QQ机器人官方网站,下载机器人,微信机器人,下载QQ机器人,QQ机器人,智能机器人,智能QQ机器人,华景机器人,华景机器人官网,自动回复机器人,智能回复,,
华景,华景QQ机器人,华景QQ机器人官方网站,机器人,智能机器人,微信机器人,QQ机器人,智能QQ机器人,华景机器人,华景机器人官网,自动回复机器人,智能回复,,
华景 华景QQ机器人 华景QQ机器人官方网站 机器人 qq机器人 微信机器人 QQ机器人下载 智能机器人 华景机器人 华景机器人官网 自动回复机器人 智能回复
华景,华景QQ机器人,华景QQ机器人官方网站,下载机器人,微信机器人,下载QQ机器人,QQ机器人,智能机器人,智能QQ机器人,华景机器人,华景机器人官网,自动回复机器人,智能回复,,
华景,华景QQ机器人,华景QQ机器人官方网站,机器人,智能机器人,微信机器人,QQ机器人,智能QQ机器人,华景机器人,华景机器人官网,自动回复机器人,智能回复,,营销电话咋又来了 这是“机器人”打的_网易新闻
营销电话咋又来了 这是“机器人”打的
用微信扫码二维码
分享至好友和朋友圈
商报见习记者 刘翰书
电话营销由来已久，最近一段时间出现了一种名为“电call”的录音电话营销。主要是房地产、保险、金融投资等内容。不仅有普通话版，一些商家还特意录制了重庆话方言版。
相比以前按号段人对人的“点呼”，这种录音电话可实现群呼，单机每天可呼叫上万组号码。不但大大节省人工成本，并且可使用虚拟号码呼出，让你无法屏蔽或拉黑。
记者通过暗访发现，目前重庆市场从事“电call”业务的公司准入门槛极低，只需花费几万元购买一套软件，添置电脑、电话等办公设备即可。搜集个人信息特别是手机号码的渠道也很多，如办理会员卡、快递物流单、物管登记，甚至登录商家提供的免费WiFi，都会造成泄露。
遭遇 10多次录音电话推销房产
昨日下午，渝中区解放碑CBD某公司会议室，正在开会的彭军手机发出一阵震动，一个陌生号码呼入。他拿起手机猫着腰，来到会议室外接听。
“你好！老师，北滨路上的商业面门，你有没得投资兴趣嘛……”电话里冒出一操重庆话的女子声音。听出是录音，彭军马上挂断电话，他知道自己又一次遭遇了“机器人来电”。
“秋季房交会后，类似房产营销电话已接到过10多次，还是放的一段录音，对人极不尊重。”彭军说，自己从事人力资源工作，因为岗位特殊，陌生电话不得不接。自己的手机号码可能是逛房交会期间，在几个展台咨询时留下的。
揭秘 “机器人”每天可呼出上万个号码
前日，记者根据业内人士介绍，佯称有销售任务需要进行大量语音呼叫，联系上了一家位于石桥铺的科技公司，一名自称姓曾的女客户经理介绍了录音电话呼叫系统的运行模式和强大功能。
如何运作？
只要一台电脑一部电话
曾介绍，业内称这套语音呼叫系统为“电call”，用预先录音方式替代了传统“点对点”人工呼叫，所以也叫“机器人”来电。客户使用不需增添任何硬件设备，只要一台电脑、一部电话，再安排1~2名人工坐席接听回拨电话即可，大大节省人工成本。
客户一旦确定使用这套“机器人”呼叫中心，公司会提供一个内网地址以及用户名和密码，充值后即可通过内网页面实现呼叫时段、呼叫频率的设置。她称，公司为了保证系统运行顺畅，在成都设立了专门机房，负责提供技术维护。
效率怎样？
单日可呼出上万组号码
曾姓客户经理介绍，“机器人”呼叫中心顺利开展工作，必须基于庞大的客户号码数据库，才能真正发挥功效。商家可以自己录入呼叫号码，也可以依托公司预录在系统内的号码数据库。“数据库号码都是公司通过各种渠道获得，然后进行筛选，不会出售，只供客户使用。”
运行时，“机器人”呼叫中心将预先录制好的营销信息，通过一台服务器不间断地向预录在系统内的手机号码进行呼叫，可实现同时向10个号码呼出，相当于有10个“机器人”在不间断释放营销信息，单日可轻松呼出上万组号码。如果对方挂断电话，系统立马开始呼叫下一个号码。
多少成本？
接通一个电话仅6分钱
据介绍，“机器人”呼叫中心是以后台数据记录为依据进行结算，每呼出一个电话，客户接通后，商家仅支付6分钱。此外，无论被呼叫方使用的是什么号码，均无通讯费。
能否屏蔽？
虚拟来电号码防不胜防
曾介绍，目前很多智能手机都有屏蔽和拉黑号码的功能，这套“机器人”呼叫中心系统可以虚拟任何来电号码，包括400开头的特号。这样就可以让被呼叫的市民防不胜防，达到更加广泛传递销售信息的预期效果。
我们公司掌握
主城1000多万个号码
在记者暗访中，曾姓客户经理称，这种“电call”目前大行其道，与以前按号段群呼相比，“机器人”呼叫更精准，效率也更高。
问：录音如何进行设置？
答：拿部手机找个人就可以录了，一般建议录20~30秒，时间长了客户要反感。
问：一般什么时候用效果好？
答：现在大多数商家都是从周三到周末使用，周一周二大家才上班，都很忙，呼叫效果不好。
问：有哪些商家在用？使用客户多不多？
答：使用得最多的是房地产，其次是金融、保险、贷款，电视购物用得较少。光是重庆主城，就有十几个楼盘在用我们这套系统。
问：使用效果如何？
答：以前人工每天呼出150组都算多的，这套系统可以设置成十个号码同时呼叫，每天至少呼出组，要是有特别要求，还可以设置成百个号码同时工作。
问：你们的号码数据库有多大？
答：目前仅重庆主城，我们公司就掌握有1000多万个电话号码，企业主有300多万个，“三北地区”300万个，另外还有主城5000多个楼盘的业主信息。
问：万一被屏蔽了怎么办？
答：我们的优势就是可以虚拟任何号码，座机、手机，包括400开头的号码都可以虚拟，半个月一换，对方手机无法屏蔽。
撒网式拨打效果并不理想
“这是今年以来兴起的拓客的渠道。”昨日，北部新区照母山某楼盘营销策划主管王先生告诉记者，此前是采用短信群发业务，电话营销也主要依托销售人员人工呼出。由于“机器人”采用录音呼叫，每天呼叫量翻了近百倍。但由于是基于号码数据库的“撒网式拨打”，效果并不理想，主要是节省了人工成本。
“使用过一段时间，每周有20~30组回拨来电。”某外地入渝房企品牌部策划专员张小姐介绍，“机器人”电话营销基本上也是意向客户，不会漫无边际地乱打。
接到电话推销怎么办？
余健（男 29岁 驾校教练）：自己带学员须集中精神，但有些电话不得不接，这种“机器人”来电无疑会分散注意力，增加安全隐患。
韩麒（男 33岁 个体经营）：不管是人工来电还是“机器人”来电，只要是推销电话，一律“秒挂”。
蔡斌（男 32岁 自创工作室）：我自己也从事营销推广，但录音呼叫对人不够尊重，很不礼貌。
龙莉（女 30岁 商场管理）：自己从没购房打算，不知道这些“机器人”从何处弄到的号码，担心个人信息泄露。
泄露个人信息应加强惩罚力度
中豪律师集团（重庆）事务所律师孙国进：《刑法修正案》增加了非法获取公民个人信息罪和出售、非法提供公民个人信息罪。但目前没有专门的司法解释何为情节严重。在我国《行政法》及《民法通则》中，同样缺乏相关法律规范，这就导致有人通过各种方式搜集公民个人信息，大肆出售、传播。此外，目前对于销售短信、电话等对公众构成骚扰的情形，法律上也没有十分明确的规定。建议国家尽快出台、细化相关法律法规，加大对侵犯公民隐私权的惩罚力度。同时，一些密切接触公民信息的行业，理应加强行业自律，避免泄露事件产生。
本文来源：华龙网-重庆商报
责任编辑：王晓易_NE0011
用微信扫码二维码
分享至好友和朋友圈
加载更多新闻
热门产品:　　　
:　　　　　　　　
:　　　　　　　　　
热门影院：
阅读下一篇
用微信扫描二维码
分享至好友和朋友圈提供节能、高效、耐用的产品
Providing energy efficient, durable products
QQ机器人被屏蔽、保护、冻结的原因解析及处理解封的办法
查看: 2900|
机器人被屏蔽、保护和冻结的原因分析当机器人同时服务多个群或者一个群，同时使用机器人的人数较多时， 机器人会在短时间内发送很多条消息，这些消息都是每秒几十条上百条的发送到群里的假设，腾讯数据中心对发送消息有一个限制(一个人不停的给QQ好友发一些同样的消息，手动去发也会被保护)，腾讯的理由一般是【发送不良消息】【发送垃圾消息】【QQ被非法登录】一级比一级严重！最轻的就是限制你的文字显示，让你发出去的消息在腾讯后台就拦截，所以，有时候机器人在线，却不回复消息。检查机器人是否被屏蔽的方法：1，【秘书QQ机器人软件版】的用户，登陆QQ客户端，用机器人QQ在群里发送一些文字，尽量和机器人平时发的差不多，然后用其他观察该QQ是否有在群里发送消息，如果已经发了，但另外一个QQ却看不到，那就证明QQ被腾讯屏蔽消息的显示了。但如果你发送QQ表情，却可以正常显示，因为腾讯不屏蔽自己的东西，就是QQ表情2，【24小时在线的QQ机器人】用户，之前机器人都是好好的，突然不说话了，但是查询，机器人没有冻结，机器人也是在线的，的功能也是正常，可以自动审核进群、也可以改马甲、签到也可以（事后查询已经签到成功），只是不说话，发送【说话】命令，也没有反应，此时我们可以用问答系统的教秘书QQ机器人说话功能要检验，将【问：测试 答：{随机表情}】发到群里，再发送【测试】这个命令，机器人就会回复一个表情给你，就表示机器人正常，只是被屏蔽了消息。机器人被屏蔽后如何处理：1，软件版机器人被屏蔽后，应该取消机器人发送文字功能，如下图所示，勾勾去掉,等待自动解封即可，一般情况较轻，20-30分钟就可以正常，严重的腾讯会观察时间长一些。3-4天。代挂的用户可以通过下面的命令关闭文字设置：允许发送QQ消息=关允许发送临时消息=关允许发送群消息=关2，24小时在线的用户，处理方法，尽可能的关闭一些可以关闭的功能，如，智能聊天、游戏、和及时通知成员，暂时不要去召唤机器人，如果发现机器人突然不说话了，第一步，检查机器人是否在线，在线的的话，，将【问：测试 答：{随机表情}】发到群里，再发送【测试】这个命令，机器人就会回复一个表情给你，就表示机器人正常，只是被屏蔽了消息。教了第一次，下次就不用教了，直接发测试命令即可。第二步，机器人如果掉线，打开，输入机器人QQ号码，根据提示进一步查询，如果需要发送手机验证码（1毛钱），你只需按照提示发送一条解封短信即可，随后通知客服上线。机器人被屏蔽、保护属于正常现象，因为腾讯要限制有人利用一些辅助发送广告、诈骗的一些消息，所以，他们会采取一些措施来防护，虽然有点宁可错杀一千,也不放过一个的感觉，但，我们又有什么其他办法呢？最后，请大家不要给机器人发送地址链接，和钱有关的词汇，容易屏蔽和保护。
上一篇：下一篇：
内容页面Content
站内搜索Search
探索未来的世界正在初始化报价器谁知道为什么使用屏蔽机柜pjj保证机柜里面的设备不受外界环境和设备的干扰和入侵，保证信息安全。
主要用于政府、部队、科研机构等对保密要求比较高的单位，可以保证机柜里面的设备不受外界环境和设备的干扰和入侵，保证这些机构和部门的信息安全
希望我的回答能帮到你
更多回答弃陌沫屏蔽信号用！
开始-程序-附件 打开记事本(呵呵,傻瓜都会)
2.关键: 在记事本中输入0.0.0.0(空格)要屏蔽的网站,多个网站的话就回车换行按照上面的方法做就行了。(如屏蔽 www。baidu。com ,就输入 0.0.0.0 www。baidu。com 记着ip地址和后面的网站一定要有空格) 然后保存到c;\\\\\\\\windows\\\\\\\\system32\\\\\\\\drivers\\\\\\\\etc目录下.命名为hosts.
3.打开c;\\\\\\\\windows\\\\\\\\system32\\\\\\\\drivers\\\\\\\\etc 目录会看到一个hosts 和hosts.txt. 4.删除hosts,然后把hosts.txt的扩展名去掉(也就是命名为hosts). OK了
惰惰牌菊花322屏蔽机柜是机柜的一种，又叫电磁屏蔽机柜。 屏蔽机柜可用于放置计算机，能够杜绝电磁波对人身伤害，有效抑制计算机电磁信息泄漏和防止外部强电磁骚扰影响计算机正常工作的电磁屏蔽设备一种电磁屏蔽机柜。
它包括有柜底、顶盖、侧壁，它还包括有机架、弹簧片、上波导窗、下波导窗、门刀、滤波器、屏蔽玻璃、透视屏蔽玻璃门、后门、波导管、光端机架组成，机架为四根固定在机柜内侧壁，光端机架安装在四根机架上，上波导窗、下波导窗分别设置在顶盖、柜底上，机柜上均设有门，在门四边设有弹簧片，在门框四边设有门刀，屏蔽机柜正面设有透视屏蔽玻璃门。可用于放置计算机、服务器，能够杜绝电磁波对人身伤害，有效抑制计算机电磁信息泄漏和防止外部强电磁骚扰影响计算机正常工作，适用频段宽，满足国标B级或C级和军标B级的要求。
热门问答123456789101112131415161718192021222324252627282930在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用&网络数据采集&，有时会把网络数据采集程序称为网络机器人（bots）。最常用的方法是写一个自动化程序向网络服务器请求数据（通常是用 HTML 表单或其他网页文件），然后对数据进行解析，提取需要的信息。
本文假定读者已经了解如何用代码来抓取一个远程的 URL，并具备表单如何提交及 JavaScript 在浏览器如何运行的机制。想更多了解网络数据采集基础知识，可以参考文后的资料。
在采集网站的时会遇到一些比数据显示在浏览器上却抓取不出来更令人沮丧的事情。也许是向服务器提交自认为已经处理得很好的表单却被拒绝，也许是自己的 IP 地址不知道什么原因直接被网站封杀，无法继续访问。
原因可能是一些最复杂的 bug，也可能是这些 bug 让人意想不到（程序在一个网站上可以正常使用，但在另一个看起来完全一样的网站上却用不了）。最有可能出现的情况是：对方有意不让爬虫抓取信息。网站已经把你定性为一个网络机器人直接拒绝了，你无法找出原因。
接下来就介绍一些网络采集的黑魔法（HTTP headers、CSS 和 HTML 表单等），以克服网站阻止自动采集。不过，先让我们聊聊道德问题。
网络爬虫的道德与礼仪
说实话，从道德角度讲，写作以下文字不易。我自己的网站被网络机器人、垃圾邮件生成器、网络爬虫和其他各种不受欢迎的虚拟访问者骚扰过很多次了，你的网站可能也一样。既然如此，为什么还要介绍那些更强大的网络机器人呢？有几个很重要的理由。
白帽子工作。在采集那些不想被采集的网站时，其实存在一些非常符合道德和法律规范的理由。比如我之前的工作就是做网络爬虫，我曾做过一个自动信息收集器，从未经许可的网站上自动收集客户的名称、地址、电话号码和其他个人信息，然后把采集的信息提交到网站上，让服务器删除这些客户信息。为了避免竞争，这些网站都会对网络爬虫严防死守。但是，我的工作要确保公司的客户们都匿名（这些人都是家庭暴力受害者，或者因其他正当理由想保持低调的人），这为网络数据采集工作创造了极其合理的条件，我很高兴自己有能力从事这项工作。
虽然不太可能建立一个完全&防爬虫&的网站（最起码得让合法的用户可以方便地访问网站），但我还是希望以下内容可以帮助人们保护自己的网站不被恶意攻击。下文将指出每一种网络数据采集技术的缺点，你可以利用这些缺点保护自己的网站。其实，大多数网络机器人一开始都只能做一些宽泛的信息和漏洞扫描，接下来介绍的几个简单技术就可以挡住 99% 的机器人。但是，它们进化的速度非常快，最好时刻准备迎接新的攻击。
和大多数程序员一样，我从来不相信禁止某一类信息的传播就可以让世界变得更和谐。
阅读之前，请牢记：这里演示的许多程序和介绍的技术都不应该在网站上使用。
爬虫黑科技：
网络机器人看起来像人类用户的一些方法
网站防采集的前提就是要正确地区分人类访问用户和网络机器人。虽然网站可以使用很多识别技术（比如验证码）来防止爬虫，但还是有一些十分简单的方法，可以让你的网络机器人看起来更像人类访问用户。
1.　构造合理的 HTTP 请求头
除了处理网站表单，requests&模块还是一个设置请求头的利器。HTTP 的请求头是在你每次向网络服务器发送请求时，传递的一组属性和配置信息。HTTP 定义了十几种古怪的请求头类型，不过大多数都不常用。只有下面的七个字段被大多数浏览器用来初始化所有网络请求（表中信息是我自己浏览器的数据）。
经典的 Python 爬虫在使用&urllib&标准库时，都会发送如下的请求头：
如果你是一个防范爬虫的网站管理员，你会让哪个请求头访问你的网站呢？
安装 Requests
可在模块的网站上找到下载链接（）和安装方法，或者用任意第三方 Python 模块安装器进行安装。
请求头可以通过 requests 模块进行自定义。https://www.whatismybrowser.com/&网站就是一个非常棒的网站，可以让服务器测试浏览器的属性。我们用下面的程序来采集这个网站的信息，验证我们浏览器的 cookie 设置：
程序输出结果中的请求头应该和程序中设置的&headers&是一样的。
虽然网站可能会对 HTTP 请求头的每个属性进行&是否具有人性&的检查，但是我发现通常真正重要的参数就是&User-Agent。无论做什么项目，一定要记得把&User-Agent&属性设置成不容易引起怀疑的内容，不要用&Python-urllib/3.4。另外，如果你正在处理一个警觉性非常高的网站，就要注意那些经常用却很少检查的请求头，比如&Accept-Language&属性，也许它正是那个网站判断你是个人类访问者的关键。
请求头会改变你观看网络世界的方式
假设你想为一个机器学习的研究项目写一个语言翻译机，却没有大量的翻译文本来测试它的效果。很多大型网站都会为同样的内容提供不同的语言翻译，根据请求头的参数响应网站不同的语言版本。因此，你只要简单地把请求头属性从&Accept-Language:en-US&修改成&Accept-Language:fr，就可以从网站上获得&Bonjour&（法语，你好）这些数据来改善翻译机的翻译效果了（大型跨国企业通常都是好的采集对象）。
请求头还可以让网站改变内容的布局样式。例如，用移动设备浏览网站时，通常会看到一个没有广告、Flash 以及其他干扰的简化的网站版本。因此，把你的请求头&User-Agent&改成下面这样，就可以看到一个更容易采集的网站了！
User-Agent:Mozilla/5.0 (iP CPU iPhone OS 7_1_2 like Mac OS X) App leWebKit/537.51.2 (KHTML, like Gecko) Version/7.0 Mobile/11D257 Safari/9537.53
2.　设置 cookie 的学问
虽然 cookie 是一把双刃剑，但正确地处理 cookie 可以避免许多采集问题。网站会用 cookie 跟踪你的访问过程，如果发现了爬虫异常行为就会中断你的访问，比如特别快速地填写表单，或者浏览大量页面。虽然这些行为可以通过关闭并重新连接或者改变 IP 地址来伪装，但是如果 cookie 暴露了你的身份，再多努力也是白费。
在采集一些网站时 cookie 是不可或缺的。要在一个网站上持续保持登录状态，需要在多个页面中保存一个 cookie。有些网站不要求在每次登录时都获得一个新 cookie，只要保存一个旧的&已登录&的 cookie 就可以访问。
如果你在采集一个或者几个目标网站，建议你检查这些网站生成的 cookie，然后想想哪一个 cookie 是爬虫需要处理的。有一些浏览器插件可以为你显示访问网站和离开网站时 cookie 是如何设置的。EditThisCookie（）是我最喜欢的 Chrome 浏览器插件之一。
因为&requests&模块不能执行 JavaScript，所以它不能处理很多新式的跟踪软件生成的 cookie，比如 Google Analytics，只有当客户端脚本执行后才设置 cookie（或者在用户浏览页面时基于网页事件产生 cookie，比如点击按钮）。要处理这些动作，需要用 Selenium 和 PhantomJS 包。
Selenium 与 PhantomJS
Selenium（http://www.seleniumhq.org/）是一个强大的网络数据采集工具，最初是为网站自动化测试而开发的。近几年，它还被广泛用于获取精确的网站快照，因为它们可以直接运行在浏览器上。Selenium 可以让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。
Selenium 自己不带浏览器，它需要与第三方浏览器结合在一起使用。例如，如果你在 Firefox 上运行 Selenium，可以直接看到 Firefox 窗口被打开，进入网站，然后执行你在代码中设置的动作。虽然这样可以看得更清楚，但是我更喜欢让程序在后台运行，所以我 PhantomJS（http://phantomjs.org/download.html）代替真实的浏览器。
PhantomJS 是一个&无头&（headless）浏览器。它会把网站加载到内存并执行页面上的 JavaScript，但不会向用户展示网页的图形界面。将 Selenium 和 PhantomJS 结合在一起，就可以运行一个非常强大的网络爬虫了，可以处理 cookie、JavaScrip、header，以及任何你需要做的事情。
可以从PyPI网站（https://pypi.python.org/simple/selenium/）下载Selenium库，也可以用第三方管理器（像pip）用命令行安装。
你可以对任意网站（本例用的是&）调用 webdriver 的&get_cookie()方法来查看 cookie：
点击可查看大图
这样就可以获得一个非常典型的 Google Analytics 的 cookie 列表：
点击可查看大图
还可以调用&delete_cookie()、add_cookie()&和&delete_all_cookies()&方法来处理 cookie。另外，还可以保存 cookie 以备其他网络爬虫使用。下面的例子演示了如何把这些函数组合在一起：
点击可查看大图
在这个例子中，第一个 webdriver 获得了一个网站，打印 cookie 并把它们保存到变量savedCookies&里。第二个 webdriver 加载同一个网站（技术提示：必须首先加载网站，这样 Selenium 才能知道 cookie 属于哪个网站，即使加载网站的行为对我们没任何用处），删除所有的 cookie，然后替换成第一个 webdriver 得到的 cookie。当再次加载这个页面时，两组 cookie 的时间戳、源代码和其他信息应该完全一致。从 Google Analytics 的角度看，第二个 webdriver 现在和第一个 webdriver 完全一样。
3.　正常的时间访问路径
有一些防护措施完备的网站可能会阻止你快速地提交表单，或者快速地与网站进行交互。即使没有这些安全措施，用一个比普通人快很多的速度从一个网站下载大量信息也可能让自己被网站封杀。
因此，虽然多线程程序可能是一个快速加载页面的好办法&&在一个线程中处理数据，另一个线程中加载页面&&但是这对编写好的爬虫来说是恐怖的策略。还是应该尽量保证一次加载页面加载且数据请求最小化。如果条件允许，尽量为每个页面访问增加一点儿时间间隔，即使你要增加一行代码：
time.sleep(3)
(小编：3 + 随机数 是不是更好一些？)
合理控制速度是你不应该破坏的规则。过度消耗别人的服务器资源会让你置身于非法境地，更严重的是这么做可能会把一个小型网站拖垮甚至下线。拖垮网站是不道德的，是彻头彻尾的错误。所以请控制采集速度！
常见表单反爬虫安全措施解密
许多像 Litmus 之类的测试工具已经用了很多年了，现在仍用于区分网络爬虫和使用浏览器的人类访问者，这类手段都取得了不同程度的效果。虽然网络机器人下载一些公开的文章和博文并不是什么大事，但是如果网络机器人在你的网站上创造了几千个账号并开始向所有用户发送垃圾邮件，就是一个大问题了。网络表单，尤其是那些用于账号创建和登录的网站，如果被机器人肆意地滥用，网站的安全和流量费用就会面临严重威胁，因此努力限制网站的接入是最符合许多网站所有者的利益的（至少他们这么认为）。
这些集中在表单和登录环节上的反机器人安全措施，对网络爬虫来说确实是严重的挑战。
4.　注意隐含输入字段值
在 HTML 表单中，&隐含&字段可以让字段的值对浏览器可见，但是对用户不可见（除非看网页源代码）。随着越来越多的网站开始用 cookie 存储状态变量来管理用户状态，在找到另一个最佳用途之前，隐含字段主要用于阻止爬虫自动提交表单。
下图显示的例子就是 Facebook 登录页面上的隐含字段。虽然表单里只有三个可见字段（username、password 和一个确认按钮），但是在源代码里表单会向服务器传送大量的信息。
Facebook 登录页面上的隐含字段
用隐含字段阻止网络数据采集的方式主要有两种。第一种是表单页面上的一个字段可以用服务器生成的随机变量表示。如果提交时这个值不在表单处理页面上，服务器就有理由认为这个提交不是从原始表单页面上提交的，而是由一个网络机器人直接提交到表单处理页面的。绕开这个问题的最佳方法就是，首先采集表单所在页面上生成的随机变量，然后再提交到表单处理页面。
第二种方式是&蜜罐&（honey pot）。如果表单里包含一个具有普通名称的隐含字段（设置蜜罐圈套），比如&用户名&（username）或&邮箱地址&（email address），设计不太好的网络机器人往往不管这个字段是不是对用户可见，直接填写这个字段并向服务器提交，这样就会中服务器的蜜罐圈套。服务器会把所有隐含字段的真实值（或者与表单提交页面的默认值不同的值）都忽略，而且填写隐含字段的访问用户也可能被网站封杀。
总之，有时检查表单所在的页面十分必要，看看有没有遗漏或弄错一些服务器预先设定好的隐含字段（蜜罐圈套）。如果你看到一些隐含字段，通常带有较大的随机字符串变量，那么很可能网络服务器会在表单提交的时候检查它们。另外，还有其他一些检查，用来保证这些当前生成的表单变量只被使用一次或是最近生成的（这样可以避免变量被简单地存储到一个程序中反复使用）。
5.　爬虫通常如何避开蜜罐
虽然在进行网络数据采集时用 CSS 属性区分有用信息和无用信息会很容易（比如，通过读取&id和&class&标签获取信息），但这么做有时也会出问题。如果网络表单的一个字段通过 CSS 设置成对用户不可见，那么可以认为普通用户访问网站的时候不能填写这个字段，因为它没有显示在浏览器上。如果这个字段被填写了，就可能是机器人干的，因此这个提交会失效。
这种手段不仅可以应用在网站的表单上，还可以应用在链接、图片、文件，以及一些可以被机器人读取，但普通用户在浏览器上却看不到的任何内容上面。访问者如果访问了网站上的一个&隐含&内容，就会触发服务器脚本封杀这个用户的 IP 地址，把这个用户踢出网站，或者采取其他措施禁止这个用户接入网站。实际上，许多商业模式就是在干这些事情。
下面的例子所用的网页在&。这个页面包含了两个链接，一个通过 CSS 隐含了，另一个是可见的。另外，页面上还包括两个隐含字段：
点击可查看大图
这三个元素通过三种不同的方式对用户隐藏：
第一个链接是通过简单的 CSS 属性设置&display:none&进行隐藏
电话号码字段&name="phone"&是一个隐含的输入字段
邮箱地址字段&name="email"&是将元素向右移动 50 000 像素（应该会超出电脑显示器的边界）并隐藏滚动条
因为 Selenium 可以获取访问页面的内容，所以它可以区分页面上的可见元素与隐含元素。通过 is_displayed()&可以判断元素在页面上是否可见。
例如，下面的代码示例就是获取前面那个页面的内容，然后查找隐含链接和隐含输入字段：
点击可查看大图
Selenium 抓取出了每个隐含的链接和字段，结果如下所示：
点击可查看大图
虽然你不太可能会去访问你找到的那些隐含链接，但是在提交前，记得确认一下那些已经在表单中、准备提交的隐含字段的值（或者让 Selenium 为你自动提交）。
使用远程服务器来避免 IP 封锁
启用远程平台的人通常有两个目的：对更大计算能力和灵活性的需求，以及对可变 IP 地址的需求。
6. 使用可变的远程 IP 地址
建立网络爬虫的第一原则是：所有信息都可以伪造。你可以用非本人的邮箱发送邮件，通过命令行自动化鼠标的行为，或者通过 IE 5.0 浏览器耗费网站流量来吓唬网管。
但是有一件事情是不能作假的，那就是你的 IP 地址。任何人都可以用这个地址给你写信：&美国华盛顿特区宾夕法尼亚大道西北 1600 号，总统，邮编 20500。&但是，如果这封信是从新墨西哥州的阿尔伯克基市发来的，那么你肯定可以确信给你写信的不是美国总统。
从技术上说，IP 地址是可以通过发送数据包进行伪装的，就是分布式拒绝服务攻击技术（Distributed Denial of Service，DDoS），攻击者不需要关心接收的数据包（这样发送请求的时候就可以使用假 IP 地址）。但是网络数据采集是一种需要关心服务器响应的行为，所以我们认为 IP 地址是不能造假的。
阻止网站被采集的注意力主要集中在识别人类与机器人的行为差异上面。封杀 IP 地址这种矫枉过正的行为，就好像是农民不靠喷农药给庄稼杀虫，而是直接用火烧彻底解决问题。它是最后一步棋，不过是一种非常有效的方法，只要忽略危险 IP 地址发来的数据包就可以了。但是，使用这种方法会遇到以下几个问题。
IP 地址访问列表很难维护。虽然大多数大型网站都会用自己的程序自动管理 IP 地址访问列表（机器人封杀机器人），但是至少需要人偶尔检查一下列表，或者至少要监控问题的增长。
因为服务器需要根据 IP 地址访问列表去检查每个准备接收的数据包，所以检查接收数据包时会额外增加一些处理时间。多个 IP 地址乘以海量的数据包更会使检查时间指数级增长。为了降低处理时间和处理复杂度，管理员通常会对 IP 地址进行分组管理并制定相应的规则，比如如果这组 IP 中有一些危险分子就&把这个区间的所有 256 个地址全部封杀&。于是产生了下一个问题。
封杀 IP 地址可能会导致意外后果。例如，当我还在美国麻省欧林工程学院读本科的时候，有个同学写了一个可以在&&网站（在 Reddit 流行之前大家都用 Digg）上对热门内容进行投票的软件。这个软件的服务器 IP 地址被 Digg 封杀，导致整个网站都不能访问。于是这个同学就把软件移到了另一个服务器上，而 Digg 自己却失去了许多主要目标用户的访问量。
虽然有这些缺点，但封杀 IP 地址依然是一种十分常用的手段，服务器管理员用它来阻止可疑的网络爬虫入侵服务器。
Tor 代理服务器
洋葱路由（The Onion Router）网络，常用缩写为 Tor，是一种 IP 地址匿名手段。由网络志愿者服务器构建的洋葱路由器网络，通过不同服务器构成多个层（就像洋葱）把客户端包在最里面。数据进入网络之前会被加密，因此任何服务器都不能偷取通信数据。另外，虽然每一个服务器的入站和出站通信都可以被查到，但是要想查出通信的真正起点和终点，必须知道整个通信链路上所有服务器的入站和出站通信细节，而这基本是不可能实现的。
　Tor 匿名的局限性
虽然我们在本文中用 Tor 的目的是改变 IP 地址，而不是实现完全匿名，但有必要关注一下 Tor 匿名方法的能力和不足。
虽然 Tor 网络可以让你访问网站时显示的 IP 地址是一个不能跟踪到你的 IP 地址，但是你在网站上留给服务器的任何信息都会暴露你的身份。例如，你登录 Gmail 账号后再用 Google 搜索，那些搜索历史就会和你的身份绑定在一起。
另外，登录 Tor 的行为也可能让你的匿名状态处于危险之中。2013 年 12 月，一个哈佛大学本科生想逃避期末考试，就用一个匿名邮箱账号通过 Tor 网络给学校发了一封炸弹威胁信。结果哈佛大学的 IT 部门通过日志查到，在炸弹威胁信发来的时候，Tor 网络的流量只来自一台机器，而且是一个在校学生注册的。虽然他们不能确定流量的最初源头（只知道是通过 Tor 发送的），但是作案时间和注册信息证据充分，而且那个时间段内只有一台机器是登录状态，这就有充分理由起诉那个学生了。
登录 Tor 网络不是一个自动的匿名措施，也不能让你进入互联网上任何区域。虽然它是一个实用的工具，但是用它的时候一定要谨慎、清醒，并且遵守道德规范。
在 Python 里使用 Tor，需要先安装运行 Tor，下一节将介绍。Tor 服务很容易安装和开启。只要去 Tor 下载页面下载并安装，打开后连接就可以。不过要注意，当你用 Tor 的时候网速会变慢。这是因为代理有可能要先在全世界网络上转几次才到目的地！
PySocks 是一个非常简单的 Python 代理服务器通信模块，它可以和 Tor 配合使用。你可以从它的网站（https://pypi.python.org/pypi/PySocks）上下载，或者使用任何第三方模块管理器安装。
这个模块的用法很简单。示例代码如下所示。运行的时候，Tor 服务必须运行在 9150 端口（默认值）上：
网站 http://icanhazip.com/ 会显示客户端连接的网站服务器的 IP 地址，可以用来测试 Tor 是否正常运行。当程序执行之后，显示的 IP 地址就不是你原来的 IP 了。
如果你想在 Tor 里面用 Selenium 和 PhantomJS，不需要 PySocks，只要保证 Tor 在运行，然后增加&service_args&参数设置代理端口，让 Selenium 通过端口 9150 连接网站就可以了：
和之前一样，这个程序打印的 IP 地址也不是你原来的，而是你通过 Tor 客户端获得的 IP 地址。
从网站主机运行
如果你拥有个人网站或公司网站，那么你可能已经知道如何使用外部服务器运行你的网络爬虫了。即使是一些相对封闭的网络服务器，没有可用的命令行接入方式，你也可以通过网页界面对程序进行控制。
如果你的网站部署在 Linux 服务器上，应该已经运行了 Python。如果你用的是 Windows 服务器，可能就没那么幸运了；你需要仔细检查一下 Python 有没有安装，或者问问网管可不可以安装。
大多数小型网络主机都会提供一个软件叫 cPanel，提供网站管理和后台服务的基本管理功能和信息。如果你接入了 cPanel，就可以设置 Python 在服务器上运行&&进入&Apache Handlers&然后增加一个 handler（如还没有的话）：
这会告诉服务器所有的 Python 脚本都将作为一个 CGI 脚本运行。CGI 就是通用网关接口（Common Gateway Interface），是可以在服务器上运行的任何程序，会动态地生成内容并显示在网站上。把 Python 脚本显式地定义成 CGI 脚本，就是给服务器权限去执行 Python 脚本，而不只是在浏览器上显示它们或者让用户下载它们。
写完 Python 脚本后上传到服务器，然后把文件权限设置成 755，让它可执行。通过浏览器找到程序上传的位置（也可以写一个爬虫来自动做这件事情）就可以执行程序。如果你担心在公共领域执行脚本不安全，可以采取以下两种方法。
把脚本存储在一个隐晦或深层的 URL 里，确保其他 URL 链接都不能接入这个脚本，这样可以避免搜索引擎发现它。
用密码保护脚本，或者在执行脚本之前用密码或加密令牌进行确认。
确实，通过这些原本主要是用来显示网站的服务运行 Python 脚本有点儿复杂。比如，你可能会发现网络爬虫运行时网站的加载速度变慢了。其实，在整个采集任务完成之前页面都是不会加载的（得等到所有&print&语句的输出内容都显示完）。这可能会消耗几分钟，几小时，甚至永远也完成不了，要看程序的具体情况了。虽然它最终一定能完成任务，但是可能你还想看到实时的结果，这样就需要一台真正的服务器了。
从云主机运行
虽然云计算的花费可能是无底洞，但是写这篇文章时，启动一个计算实例最便宜只要每小时 1.3 美分（亚马逊 EC2 的 micro 实例，其他实例会更贵），Google 最便宜的计算实例是每小时 4.5 美分，最少需要用 10 分钟。考虑计算能力的规模效应，从大公司买一个小型的云计算实例的费用，和自己买一台专业实体机的费用应该差不多&&不过用云计算不需要雇人去维护设备。
设置好计算实例之后，你就有了新 IP 地址、用户名，以及可以通过 SSH 进行实例连接的公私密钥了。后面要做的每件事情，都应该和你在实体服务器上干的事情一样了&&当然，你不需要再担心硬件维护，也不用运行复杂多余的监控工具了。
爬虫被封禁常见原因列表
如果你一直被网站封杀却找不到原因，那么这里有个检查列表，可以帮你诊断一下问题出在哪里。
首先，检查 JavaScript 。如果你从网络服务器收到的页面是空白的，缺少信息，或其遇到他不符合你预期的情况（或者不是你在浏览器上看到的内容），有可能是因为网站创建页面的 JavaScript 执行有问题。
检查正常浏览器提交的参数。如果你准备向网站提交表单或发出&POST&请求，记得检查一下页面的内容，看看你想提交的每个字段是不是都已经填好，而且格式也正确。用 Chrome 浏览器的网络面板（快捷键 F12 打开开发者控制台，然后点击&Network&即可看到）查看发送到网站的&POST&命令，确认你的每个参数都是正确的。
是否有合法的 Cookie？如果你已经登录网站却不能保持登录状态，或者网站上出现了其他的&登录状态&异常，请检查你的 cookie。确认在加载每个页面时 cookie 都被正确调用，而且你的 cookie 在每次发起请求时都发送到了网站上。
IP 被封禁？如果你在客户端遇到了 HTTP 错误，尤其是 403 禁止访问错误，这可能说明网站已经把你的 IP 当作机器人了，不再接受你的任何请求。你要么等待你的 IP 地址从网站黑名单里移除，要么就换个 IP 地址（可以去星巴克上网）。如果你确定自己并没有被封杀，那么再检查下面的内容。
确认你的爬虫在网站上的速度不是特别快。快速采集是一种恶习，会对网管的服务器造成沉重的负担，还会让你陷入违法境地，也是 IP 被网站列入黑名单的首要原因。给你的爬虫增加延迟，让它们在夜深人静的时候运行。切记：匆匆忙忙写程序或收集数据都是拙劣项目管理的表现；应该提前做好计划，避免临阵慌乱。
还有一件必须做的事情：修改你的请求头！有些网站会封杀任何声称自己是爬虫的访问者。如果你不确定请求头的值怎样才算合适，就用你自己浏览器的请求头吧。
确认你没有点击或访问任何人类用户通常不能点击或接入的信息。
如果你用了一大堆复杂的手段才接入网站，考虑联系一下网管吧，告诉他们你的目的。试试发邮件到 webmaster@& 域名 & 或 admin@& 域名 &，请求网管允许你使用爬虫采集数据。管理员也是人嘛！
【以上内容整理自《Python 网络数据采集》第 10、12、14 章】
作者：Ryan Mitchell
译者：陶俊杰，陈小莉
原书4.6星好评，一本书搞定数据采集
涵盖数据抓取、数据挖掘和数据分析
提供详细代码示例，快速解决实际问题
网络上的数据量越来越大，单靠浏览网页获取信息越来越困难，如何有效地提取并利用信息已成为一个巨大的挑战。
本书采用简洁强大的 Python 语言，介绍了网络数据采集，并为采集新式网络中的各种数据类型提供了全面的指导。第一部分重点介绍网络数据采集的基本原理：如何用 Python 从网络服务器请求信息，如何对服务器的响应进行基本处理，以及如何以自动化手段与网站进行交互。第二部分介绍如何用网络爬虫测试网站，自动化处理，以及如何通过更多的方式接入网络。
阅读(...) 评论()}