上节课结束之后我收到了很多反馈,这里简单说说。
有人表示这种方式效率太低,不能第一时间抓住信息。这个确实是,我也不能保证我的方法是最快的,因为受到太多种因素影响。比如抓取速度、网站缓存、服务器的延迟等等。这些细节我都没讲,因为我觉得我写的还是小白一些的东西,这种追求尖端的操作各位有兴趣可以自己研究,受众面不大。
有人说有别的途径比公告速度更快,这些都可以去抓取监控,上篇文章我也写了,你可以全部渠道进行监控,一起推送消息,肯定有快有慢,全部监控就不会错过。
上节课之后有很多人问,Upbit的事情,最近韩国交易所搞事情非常厉害,所以大家对于监控Upbit上新币的需求很大,我去看了一下,跟币安的方法不太一样,今天就说一说。
Upbit的公告网址:
如果有第一节课的知识会发现抓不到任何信息,因为这个网页是异步加载公告内容,原始的内容就是这样:
因为只有两个div所以我们抓取不到内容,这时候我们只需要抓取公告的接口来监控就行。这里需要在浏览器请求里面抓取,我已经为大家找到了:
大家如果请求这个地址,会返回一组json数据:
下面就可以用上节课的方法来取数据了:
注意一个细节,就是per_page我改成10了,为了能读取到最后一条上币信息。如果是5的话结果里面没有一条命中就会返回:“没有检测到任何上币信息”。这种程序健壮性还需要大家自己完善,我这里只给一个思路。
上币信息的规则,是利用“[거래] KRW, BTC 마켓 디지털 자산 추가 (1INCH, AAVE, MASK)”这句话的格式,如果想抓取别的信息,大家照猫画虎即可。大括号就是抓取的内容。
好了,目前为止同步、异步抓取都讲过了,差不多所有交易所的上币信息都可以抓取了。但是有一些交易所会对频繁访问的IP进行封禁或者人机校验,这时候就需要大家更换IP或者破解人机校验了,这种进阶技术这里就不讲了~
其实这一块我本来打算详细写一写,可是发现网上的教程、SDK多到爆,根本不用我再重复了。这里也给大家推荐一些思路。
通知有打电话、发短信、电报机器人、钉钉机器人、微信机器人、电子邮件等等。各种通知,我们在搜索引擎搜索一下就会有很多教程。打电话、发短信一般都需要付费。这里我介绍两个我常用的方法。
首先是钉钉通知,建立一个钉钉群,添加一个机器人即可。可以参考文章:
微信的话分为两种,企业微信和微信,企业微信跟钉钉类似,也有机器人。普通的微信这里我推荐大家一个服务WxPusher:
这家的微信推送非常快也非常稳定,我目前也在使用。
好了,上币信息采集就讲两节课吧,其实有很多细节值得大家去深挖,我这全当做抛砖引玉吧。
希望你学完能有所收获。
大家有什么疑问也欢迎在我的推特、微博留言,感谢阅读。