数据采集第2课:Upbit信息采集 & 消息通知

上节课结束之后我收到了很多反馈,这里简单说说。

有人表示这种方式效率太低,不能第一时间抓住信息。这个确实是,我也不能保证我的方法是最快的,因为受到太多种因素影响。比如抓取速度、网站缓存、服务器的延迟等等。这些细节我都没讲,因为我觉得我写的还是小白一些的东西,这种追求尖端的操作各位有兴趣可以自己研究,受众面不大。

有人说有别的途径比公告速度更快,这些都可以去抓取监控,上篇文章我也写了,你可以全部渠道进行监控,一起推送消息,肯定有快有慢,全部监控就不会错过。

监控Upbit

上节课之后有很多人问,Upbit的事情,最近韩国交易所搞事情非常厉害,所以大家对于监控Upbit上新币的需求很大,我去看了一下,跟币安的方法不太一样,今天就说一说。

Upbit的公告网址:

如果有第一节课的知识会发现抓不到任何信息,因为这个网页是异步加载公告内容,原始的内容就是这样:

网页源代码
网页源代码

因为只有两个div所以我们抓取不到内容,这时候我们只需要抓取公告的接口来监控就行。这里需要在浏览器请求里面抓取,我已经为大家找到了:

大家如果请求这个地址,会返回一组json数据:

下面就可以用上节课的方法来取数据了:

注意一个细节,就是per_page我改成10了,为了能读取到最后一条上币信息。如果是5的话结果里面没有一条命中就会返回:“没有检测到任何上币信息”。这种程序健壮性还需要大家自己完善,我这里只给一个思路。

上币信息的规则,是利用“[거래] KRW, BTC 마켓 디지털 자산 추가 (1INCH, AAVE, MASK)”这句话的格式,如果想抓取别的信息,大家照猫画虎即可。大括号就是抓取的内容。

好了,目前为止同步、异步抓取都讲过了,差不多所有交易所的上币信息都可以抓取了。但是有一些交易所会对频繁访问的IP进行封禁或者人机校验,这时候就需要大家更换IP或者破解人机校验了,这种进阶技术这里就不讲了~

消息通知

其实这一块我本来打算详细写一写,可是发现网上的教程、SDK多到爆,根本不用我再重复了。这里也给大家推荐一些思路。

通知有打电话、发短信、电报机器人、钉钉机器人、微信机器人、电子邮件等等。各种通知,我们在搜索引擎搜索一下就会有很多教程。打电话、发短信一般都需要付费。这里我介绍两个我常用的方法。

首先是钉钉通知,建立一个钉钉群,添加一个机器人即可。可以参考文章:

微信的话分为两种,企业微信和微信,企业微信跟钉钉类似,也有机器人。普通的微信这里我推荐大家一个服务WxPusher:

这家的微信推送非常快也非常稳定,我目前也在使用。

最后

好了,上币信息采集就讲两节课吧,其实有很多细节值得大家去深挖,我这全当做抛砖引玉吧。

希望你学完能有所收获。

大家有什么疑问也欢迎在我的推特、微博留言,感谢阅读。

Subscribe to DFarm
Receive the latest updates directly to your inbox.
Verification
This entry has been permanently stored onchain and signed by its creator.