作者：Fr1day@0keeTeam
0x00 前言
在 浅谈动态爬虫与去重 中，分享了动态爬虫中触发事件、监控节点变动、URL去重等的实现方法。在接近一年的线上运行与迭代更新过程中，处理了很多bug，也遇到一些有趣的漏抓案例。
本文将详细分析几个有代表性的案例，希望能对各位的coding大业有所帮助。
0x01 一个都不能少
上图为被抓取页面的源码。两个 <a> 标签点击后会分别跳转到 /test4.php 和 /test5.php（抓取时页面已锁定，实际不会跳转，但可以监控到跳转的目标URL）。
但爬虫并未抓取到 http://localhost/test4.php。检查下phantomjs模块的具体调用日志：
可以看到 id=test4 节点对应的事件确实被触发了，而且还把锚点的变化都记录下来了。但就是没抓到 /test4.php 跳转的请求。
原本以为是因为锚点的问题，锚点阻止了后续的事件执行（一个不负责任的脑洞）。但经过一番调试，发现是触发事件的时候出问题了。
window.location.href 重复执行的时候，浏览器只会执行后面的一个，比如这段代码，可以粘贴到 Console 执行下，页面会跳转到 /456。
解决方案如下图，由于 Javascript 的异步非阻塞的特性，还加了个闭包来实现 sleep。
如果不想这么做的话，也可以通过 Hook location对象来解决。
一句话总结：触发事件一定要有时间间隔！
0x02 猝不及防的关闭
<script type="text/javascript" language="javascript">
function BtnPsw_onclick() {
window.open("../Login/UpdatePass")
}
</script>
<form name="form1" method="post" action="" id="form1">
用户名：<input name="UserName" type="text" id="UserName" class="logintext"><br/>
密码: <input name="Password" type="password" id="Password" class="logintext"><br/>
<input type="hidden" name="__VIEWSTATE" id="__VIEWSTATE" value="1222">
<input name="LoginButton" type="button" id="LoginButton" value="登 录" class="lbotton">
<input name="login" type="button" value="退 出" class="lbotton" onclick="window.close()">
<input name="UpdatePwd" type="button" value="修改密码" class="lbotton" onclick="BtnPsw_onclick()">
</form>
phantomjs解析的时候，超时严重导致漏抓。通过伟大的注释调试法，可以发现问题在这行代码里：
<input name="login" type="button" value="退 出" class="lbotton" onclick="window.close()">
动态分析时会主动去执行行内绑定的代码，即：window.close()。关闭了页面之后，PhantomJS后续绑定的事件都会失效，比如page.evaluate、page.onCallback、phantom.exit。没有执行exit函数，一直阻塞导致触发python的超时——狗带。
修复方案,在执行关闭页面的时候，PhantomJS的onClosing事件可以收到通知，示例代码如下:
还可以通过Hook来解决这个问题：
0x03 永远触发不完的事件
案例URL: https://lvyou.baidu.com/main/event/rank
动态分析超时导致没有结果返回。动态爬虫里触发行内绑定事件的代码如下：
逻辑是遍历所有的节点的所有属性，执行以on开头的属性值，即 onclick=alert(1) 这种。
但是抓取上面案例的时候，发现一直没有返回结果，使用伟大的print调试法打印了触发的具体内容后，发现页面一直在不停的触发同一个事件。
仔细看下页面源码：
登录应该是用JSONP来实现的，每次点击登录都会生成一个script标签，而且这个标签恰好还插入在了登录标签前面。
遍历数组的过程中，也在不断扩展这个数组。这就是问题的关键。
那应该怎么解决呢？用了个不太优雅的方法来实现JS深拷贝：
0x04 Hook是个哲学问题
<a onclick=show()>test</a>
<script type="text/javascript">
function show(){
window.showModalDialog("another_page.html");
}
</script>
如上为漏抓页面的部分代码。爬虫进程超时，没有返回任何数据。
window.showModalDialog 是早期浏览器使用比较频繁的函数，用来弹出一个新页面，并且是阻塞执行的（所以造成爬虫超时被强行杀进程）。后来被 window.open 函数替代。替换的原因有：
1. showModalDialog 没有导航栏，无法进行后退、前进、收藏等操作
2. showModalDialog debug非常复杂（只能用alert调试法 2333）
3. 名字又长又难记（迷之猜测）
下图为正常打开的页面与 showModalDialog 打开的页面比较：
目前Chrome最新版已经不支持这个函数了，但Firefox、Safari、IE仍然支持。毫无意外的 PhantomJS 也支持。解决方案很简单，直接 Hook 函数就可以了：
这样的话，加上最开始就被 Hook 的 alert/prompt/confirm，现在已经 Hook 了四个可能会引起阻塞的函数了，是不是还有其他隐藏的存在呢？
写个脚本来检查下：
var page = require('webpage').create();
page.onConsoleMessage = function(msg) {
console.log('> ' + msg );
return true;
};
page.open("http://127.0.0.1:8082", "GET", "", function (status) {
console.log(status);
page.evaluateAsync(function(){
for(var i in window){
try {
if (typeof eval("window." + i) != "function") {
continue
}
}catch (e){
}
// if(i in {"showModalDialog": "1"}){
// continue
// }
try{
console.log(i)
eval("(function(){" + i + "();})()");
}
catch (e){
// console.log(e)
}
}
}, 10)
});
用 PhantomJS 加载任意页面，然后遍历 window 对象。首先出现阻塞卡顿的函数是 showModalDialog，再次运行脚本，跳过 showModalDialog 函数，然后….
顺畅的运行完成，说好的 alert/prompt/confirm 函数导致的阻塞呢？
复制脚本到浏览器中运行，倒是成功复现了 alert/prompt/confirm/print 导致的阻塞：
分析原因，应该是PhantomJS在封装onAlert、onPrompt、onConfirm接口的时候就对这几个可能产生阻塞的函数做了处理。
同样的原理，可以套用在其他的动态解析器上。举个栗子，在Chrome Headless里需要 Hook 哪些接口，你现在知道了吗？
0x05 总结
虽然在 Chrome Headless 出来之后，PhantomJS 变得索然无味。但是同样都基于Webkit内核，所遇到的问题和解决方案也大多相通，不必拘泥于形式。
如果有动态分析和爬虫方面的问题/想法，欢迎微博私信我 @吃瓜群众-Fr1day
注：水印图片来自于“安全小黄鸭”，是我个人公众号，不涉及版权问题。