摘要:火星财经APP(微信:hxcj24h)一线报道,8月20日,由火星财经主办的“POW’ER 2019全球开发者大会”在北京举行。大会邀请来自全球的70位区块链、5G、AI、云计算、大数据、物联网等领域的技术领袖、专家学者、投资及研究机构负责人,分享他们对新技术趋势和商业机遇的判断和展望。

pow'er北京峰会

KuCoin创始人Michael公布成绩单:全球用户超500万,全球访问量第六(全文)

火星财经APP(微信:hxcj24h)线报道,8月20日,由火星财经主办“POW’ER 2019全球开发者大会”北京举行。大会邀请来自全球的70位区块链5GAI云计算大数据物联网等领域的技术领袖、专家学者、投资及研究构负责人,分享他们对新技术趋势商业机遇的判断和展望

KuCoin创始人Michael在演讲中表示,KuCoin的交易系统、钱包系统等全部从零研发。他同时公布了KuCoin的运营和技术数据:全球用户超500万,全球访问量第六;日均成交量超过5亿美金;超过30个微服务,平均每三天无损发布一次;峰值集群规模超过1000实例;单日API调峰值超过20亿次,峰值QPS100,000;单日数据库增量超过5亿条,数据增量超过150G。

KuCoin创始人Michael公布成绩单:全球用户超500万,全球访问量第六(全文)

KuCoin首席技术研究员张龙在演讲中表示,在实际的交易中,20%的用户占用了80%的资源,如果所有用户采用相同的策略,大概率出现高频交易员互相冲突的情况,所以交易核心将针对高频交易用户进行动态路由隔离。同时,交易核心需要保障高频交易的稳定性,要求在服务的生命周期能够进行智能流控,在出现发布升级、服务性能降等情况时需将流量切换正常运行的服务实例。Kucoin是一家致力于数据+驱动的公司,我们坚持技术能够改变世界,能够改变这个产品。我们有去把我们自研的一些中间件的平台或者说我们的技术,我们都有计划为整个社会去一些开源

以下是演讲全文:

大家好,我是Kucoin的Michael,今天我是以一个开发者的身份来这里,我从8岁开始接触到这个技术到现在接近20年,这是我开始踏入这个领域的一个重要背景,包括今天大会里边我不知道有多少个是我们技术背景相关的同学,我们团队从2017年7月份组建团队4个人,到下我们作为拥有全球流量的交易平台,这中间的整个的关键的发展技术和基础架构的演进,我会给大家介绍

2017年7月3号,当时是4个人、4台电脑,我们从第一行代码从零开始,然后到9月完成了整个的系统的构建。时间推进到2018年的2月份,Kucoin的整个注册用户数全球突破150万,当季的成交额突破100亿美金,我们只用了2个多月的时间,2018年10月份有了第一笔的融资2019年2月18号我们新的系统上线,2019年7月8号我们进入到新的平台的线。

当前整个Kucoin所有的系统,从钱包到交易系统,我们所有的系统是从零自研,我经常会在团队内部会讲:我们和当前的行业里面有非常多的从业者,我觉得我们最大的区别是我愿意去走华为的那一条路,就是我们用看似最艰难的最花费时间的方式去一步一步的把自己的产品打造到最好。我们的投资人IDG投了一家公司,我每次看到我们行业内非常多的从业者去交流,就会说世界技术最好的永远在美国。所以我很早就给我的技术团队讲过:我们要去以中国的技术去做当前整个行业最好的产品、最好的服务。然后我们现在在新现货交易系统我们经做到了,我们率先推出了非常多的领先的功能。

KuCoin创始人Michael公布成绩单:全球用户超500万,全球访问量第六(全文)

接下来我想要谈一下大数据区块链交易系统,这个不是我们公司的主要业务,我们从2017年9月份开始发现有越来越多的从业者、创业者、好项目的出现,我们在想,怎么在铺天盖地的信息之中把这些项目能够呈现给我们的用户?因而我们做了一个非常复杂的基于全大数据的分析,我们在全球的主流交易所的社区里埋了上十万个机器人节点,然后把行业里发生的每一个讨论,关于所有的项目的技术的讨论,不论是正面的讨论还是负面的讨论,还有真实、活跃的用户到他们所有的技术的细节,用户之间的连接,我们内部有非常全面的系统,整套系统是我们去发掘优质资产核心的抓我们在明年有计划把整套系统逐步的开源,或者以非常分享化的方式推广到整个行业里面,希望能够给行业注入一些新的价值

Kucoin从2017年的9月份创立到现在接近2年的时间,全球用户超500万,全球访问量第六;日均成交量超过5亿美金;超过30个微服务,平均每三天无损发布一次;峰值集群规模超过1000实例;单日API调用峰值超过20亿次, 峰值QPS100,000;单日数据库增量超过5亿条,数据增量超过150G。我们是一个非常国际化的公司、也是一个非常国际化的平台。

KuCoin创始人Michael公布成绩单:全球用户超500万,全球访问量第六(全文)

我们当前的技术架构从V1到V2,到接下来V3、V4是冲着整个行业100倍、1000倍的增量,我们现在已经做好了非常多的技术方面的准备。当前Kucoin数据的增量,每日是1亿条以上,数据增量是150级,这是一个大概的数据。接下来我把时间交给我们的首席研究员,他会给大家简单的分享一下我们在整个行业内部,我们自己面对的一些技术挑战。我们每一版的技术架构怎么去做到演进。谢谢。

Kucoin的首席技术研究员张龙:

大家好,我是Kucoin的首席技术研究员张龙,刚才分享的主题Michael已经给大家讲过了,就是构造下一代高性能的撮合核心。我这边主要是负责我们公司的核心平台架构,就是我们公司整个交易核心的话,一共进行了3个版本的迭代我们从最初的一个大单体的架构,因为到现在的服务化和全媒体的架构。接下来我会针对每一代的发展过程给大家做一个简单的介绍。

KuCoin创始人Michael公布成绩单:全球用户超500万,全球访问量第六(全文)

我们最开始其实涉及到很多的Kucoin的交易核心的时候,是一个大单体的架构,包括、下单、撮合、入账整个的模块。但是众所周知,在实际的交易中,20%的用户占用了80%的资源,如果所有用户采用相同的策略,将大概率出现高频交易员互相冲突的情况,所以交易核心将针对高频交易用户进行动态路由隔离。同时,交易核心需要保障高频交易的稳定性,要求在服务的生命周期能够进行智能流控,在出现发布升级、服务性能下降等情况时需将流量切换到正常运行的服务实例。

但是在这样的分布式的系统下,我们也存在一些问题,比如说我们的撮合引擎、撮合服务没有达到集群的模式,也没有解决在高频交易的情况下出现冲突的问题以及在一些安全、动态措施上,还有待提高。

针对这个问题我们又研发了第三代的交易核心,一个是增加了我们的大数据的风控平台,会针对安全和拦截会做很多方面的处理。第二个是我们整个撮合引擎达到大小集群分片式的方式。第三个是会增加一些高频的路由。接下来我们会针对第三代的交易核心的每一个部分会给大家做一个详细的介绍。

第三代核心的重点就是高频交易动态策略,在整个的交易行业里面,少量的用户占据了大量的资源,他们需要高频的性能和稳定,在这种情况下,我们针对这一个大频的用户进行了一个策略,保证大频的用户他在服务的资源抢占上,数据库资源的抢占上,或者说在爬机器抢占上,尽可能的去分散这个资源、尽可能的去平衡它,而且我们会做一个动态的策略,保证他们的竞争冲突会更少,这是高频策略的物流

第二个就是我们的百万级撮合。我们整个撮合引擎的性能,我们在引擎的压缩环境是可以做到百万级的。我们怎么做到百万计的撮合呢?第一我们进行了大小的分片,我们会把交易的流量落到小集群的内部保证这个撮合引擎是否能够高可用,以及最终的数据一致性。在整个大家庭中,在整个集群已经达到几百台,是一个非常大的需求。第二个是撮合引擎,我们要达到更高效的性能,我们采取了事件驱动的方式,强调更多的扩展,更加的提升整个CPU的性能处理。第三个就是我们知道虽然是在撮合引擎内部,分为核心和非核心的能力,我们要提高撮合的能力,我们就会减少非核心的能力。所以我们会在内部去进行解耦的处理,这样的话整个的体系能够达到我们的引擎非常的高可用。

KuCoin创始人Michael公布成绩单:全球用户超500万,全球访问量第六(全文)

第三就是我们的交易安全,在交易这个行业其实很多交易员或者说我们的用户很关心我们的数据安全,而且我们也致力于构建一个安全的交易环境,我们在安全上第一点是有自己的大数据风控平台,能够做到事前事中事后的实时监控。第二我们会进行特殊的交易保护处理,我们会针对用户的数据进行加密、保护,第二会针对他的渠道私有化。第三会针对交易异常行为进行实时的监控告警,比如说一个用户从一个平常的行为发生了一个未知的行为,我们会去实时搜集打印这样的报警。另外就是我们行业比较的就是资金多重签名的保存,确保你的资产更加的安全。

KuCoin创始人Michael公布成绩单:全球用户超500万,全球访问量第六(全文)

下一个就是我们的多极缓存策略,在交易的情况下,我们可以在整个的交易核心里面很好地利用缓存的平台,大大提高交易核心的性能吞吐量。我们自研的TWO LEVEL Cache,最简单的方式,一个是我们要做好本地缓存。但是我们知道在高频交易的情况下,可能缓存我们需要实时的更新,我们采用了同时抓新的方式,这样就会导致就不缓存,或者只缓存1秒、2秒,但是它的吞吐量在压缩的情况下会提升非常多倍,10倍乃至于50倍的情况。另外我们有自动刷新的缓存,那么在这样的缓存的情况下,我们只会保证只有1、2个请求达到中间的数据库,确保我们整个系统的稳定性。

KuCoin创始人Michael公布成绩单:全球用户超500万,全球访问量第六(全文)

我们的智能流控在整个的服务周期都是非常完善的,在整个吞吐量不够的情况下,会去做智能流控的处理。比如说在发布升级的情况下、在服务性能下降的情况下、服务异常的情况下,会与时间的分配有共同的算法,我们会快速的去切换到其他的场景,去确保我们整个的运转是很正常的。

Kucoin是一家致力于数据+驱动的公司,我们坚持技术能够改变世界,能够改变这个产品。我们有去把我们自研的一些中间件的平台或者说我们的技术,我们都有计划为整个社会去做一些开源。

这就是我今天的分享内容,谢谢大家。

更多大会信息,欢迎点击:

图文直播:https://www.huoxing24.com/liveDetail/20190819180348513268

大会专题:https://news.huoxing24.com/feature/20190710153203176659