主页 > imtoken离线钱包 > 干货,游戏DDoS攻击趋势及原因分析,附防御案例

干货,游戏DDoS攻击趋势及原因分析,附防御案例

imtoken离线钱包 2023-02-20 07:36:22

我见过充满激情的创业团队和独特玩法的产品被这个互联网攻击问题扼杀在摇篮里; 我还看到过因 DDoS 攻击而导致运营良好的产品崩溃。

这也是为什么我想把我在游戏行业6年的DDoS经验分享给大家,帮助在游戏领域全速前进的企业,了解行业的安全状况,并给出一些可以借鉴的建议.

游戏产业概况——机遇与风险并存

比特币攻击_比特币系统被攻击_中国的比特币平台被黑客攻击

游戏被攻击是很常见的。 据统计,国内超过半数的DDoS攻击都是针对游戏行业的。 当前,游戏行业整体充满机遇和风险。 2017年中国网络游戏市场规模已超过2000亿,但网络游戏也是DDoS攻击的第一重灾区。 事实上,不仅在中国,在全球游戏市场也是如此。 DDoS攻击始终排在首位,国内现象更为严重,尤其是今年春节前一直持续到3月份的这一波攻击,已经有不少游戏厂商被DDoS攻击打压。 此外,移动终端的快速增长也带来了移动安全问题。 此外,还利用欺诈手段或游戏漏洞破坏游戏环境。

DDoS攻击趋势及原因分析

对于DDoS攻击,平均防御成本随着DDoS攻击流量的增加呈加速上升曲线。 根据计算数据分析,若DDoS攻击流量达到250G,每月防御成本约为5万美元; 如果达到300G,每月需要6万美元; 如果攻击流量达到500G,那么防御成本就需要14万美元,即每月防御DDoS攻击的成本在100万人民币左右。 2017年,超过300G的攻击已经成为常态。 至于每小时DDoS攻击造成的商业价值损失,据统计,36%被攻击一小时的应用损失在5000美元到2万美元之间,34%的应用损失在2万美元到10万美元之间。 ,15% 的人在受到攻击时每小时损失超过 100,000 美元。

另外,根据黑客攻击的时间维度数据,也可以分析出一定的规律性:基本上每天凌晨3:00到9:00之间,黑客攻击都会处于休眠期。 装弹药的时间,在这段时间里,他们会准备好第二天要攻击的目标清单,以及需要使用的脚本。 早上9点,黑客的脚本会自动运行,开始新一波的攻击。 因此,在上午9:00到凌晨3:00这段时间,黑客攻击比较频繁。

此外,中国目前还有两大黑业组织。 这两个组织也遍布整个东南亚。 他们的顶级组织都在中国境外,掌握的攻击流量已经超过1T。可想而知,这样的攻击流量对于任何游戏公司或应用来说都是致命的。 最大的黑业组织有800G的攻击流量,较小的也有600G左右的攻击流量,所以他们基本上有能力把任何一家游戏公司都打死。

今天,黑客发动攻击的成本其实很低。 比如海外的UTB包,一个G只要50元一天比特币系统被攻击,最贵的DNS反射攻击1G也只要350元一天。但是黑客显然不会这样报价。 比如黑客专注于某款游戏,他们会通过订阅日月订阅或者按效果付费的方式购买攻击包。 为钱“打死”的服务。 前段时间大家应该都看到阿里云的吴汉清在公众号发了一篇文章,讲述了他回归阿里的29个月。 其实这篇文章也提到了,在2016年,阿里云打击了刚刚提到的两个黑业组织之一。 攻击发生后的几个月内,整个中国的黑产业组织居然消失了,国内的DDoS攻击量也下降了56%,全球的DDoS攻击量也下降了8%,但是因为核心组织者黑产业组织都在华夏之外,半年后组织又复活了。

至于实际的攻击方式,由于攻击源在逐年增加,过去只有对PC的攻击,后来才有了对服务器端的攻击。 据统计,IDC超过50%的服务器都被黑客成功入侵,成为了bot,现在还有针对手机的攻击。 很多人的手机其实都在黑产组织的控制之下,现在很多物联网设备也加入了DDoS攻击的浪潮,DDoS攻击的流量逐年推高。 2014年的DDoS攻击还是以50GBPS为主,攻击方式是IDC伪造源IP攻击。 2015年,100Gbps+的攻击已经常态化,攻击方式也升级,从伪造IP到反射式Flood攻击。 2016年200Gbps+攻击常态化,物联网和移动终端的兴起导致基于真实设备的攻击层出不穷。 然而在2017年的最后两三个月,大家看到的趋势是300Gbps+攻击常态化,基于私有协议和真实来源的攻击呈指数级增长,使得攻击更加难以防范。

那么黑客为什么要攻击游戏行业呢? 首先,可能是为了发泄自己的不满。 一些同学对游戏不满意,可能会挂掉游戏以发泄不满。 也有非法行业接单。 例如,如果两家游戏公司在同一个市场竞争,其中一家公司可能会寻求非法行业来攻击另一家公司的业务。 还有敲诈勒索。 小易网络也遇到不少客户表示,在微信或QQ上收到黑客勒索谣言,要求给对方钱,否则就打击游戏业务。 还有就是商业支持,黑产业也会和一些行业的公司合作,支持某家公司成为行业的龙头,其他的竞争对手一律干掉。 最后是机房合作。 黑客会要求一些游戏厂商搬到某个机房,否则就会进行攻击。 所以正是因为以上原因,地下黑产才形成了今天这样的攻击游戏客户的形态。

而且,黑客的具体攻击方式也非常多样。 您可以使用“峰值”作为示例。 比如大家知道阿里云等云上有5G黑洞。 这时候黑客就不会继续使用大流量进行攻击了。 因为他们知道黑洞的原理,所以他们会用5.01G的流量进行攻击,让游戏公司的IP进入黑洞,黑客就会主动探索游戏公司业务防御的上限在哪里,然后通过峰值攻击游戏。 攻击直到服务挂起。 另一种玩法是压制某个时间段。 比如某个游戏每天早上9:00到9:30会有大量玩家涌入玩。 如果游戏的登录服务在半小时内被压制丢失,会导致游戏无法提供服务,进而导致玩家转投其他游戏。 而最可怕的攻击手段就是最近的连续压制,即游戏从早到晚都会受到300G流量的攻击。 以上主要是按照攻击的时间段来划分,如果按照更细粒度的攻击方式来划分,则可以分为以下两类攻击:

趋势一:大流量常态化

目前,DDoS攻击有两个非常明显的趋势。

比特币系统被攻击_比特币攻击_中国的比特币平台被黑客攻击

第一个趋势是大流量攻击成为常态。 黑客已经能够在极短的时间内收集到大量的攻击流量。 这种大流量压制攻击以前可能只是传说,但从今年的情况来看,大流量攻击已经成为现实。 随着带宽成本逐年下降,肉鸡资源逐年丰富,高流量抑制攻击不再是业界的“都市传说”,高入口带宽不再是攻守兼备的安全保障。 种族”,所以现在也是时候考虑在应对高容量攻击方面做出一些改变了。

中国的比特币平台被黑客攻击_比特币攻击_比特币系统被攻击

趋势 2:CC 攻击正在向细粒度转变

中国的比特币平台被黑客攻击_比特币攻击_比特币系统被攻击

第二个趋势是 CC 攻击向细化的转变。 攻击的载体从IDC Bot,到IDC和Home Bot,再到IDC、PC移动设备,最后到IDC、PC、IoT和移动设备。 攻击手段也从半开连接攻击到TCP资源攻击,再到服务器资源供给,最后到模拟私有协议攻击,攻击手段越来越精细,防御难度越来越高. 事实上,很难实现既能防御大流量攻击又能防御细粒度攻击的安全防御。 这也是为什么安全防御可能今天能保护明天就保护不了的原因,因为黑产也在发生。 不断测试和攻击游戏的弱点。

欺诈和欺骗

另外两种威胁是欺诈和作弊,例如垃圾邮件注册、撞库和流量作弊。

比特币攻击_比特币系统被攻击_中国的比特币平台被黑客攻击

破解和作弊

还有另外两种威胁是破解和插件,包括客户端破解和伪造数据包。

比特币系统被攻击_中国的比特币平台被黑客攻击_比特币攻击

云盾游戏安全解决方案

比特币攻击_比特币系统被攻击_中国的比特币平台被黑客攻击

小蚁云盾提供全方位的游戏安全解决方案。 针对DDoS攻击,云盾提供DDoS高防IP和游戏盾。 Anti-DDoS High IP防护峰值带宽为20~300Gbps,防护阈值可灵活调整; 而Game Shield是Cloud Shield中防御DDoS攻击的创新手段。 当攻击流量超过300G时,可以使用Game Shield进行防御。 目前Game Shield可以防御的DDoS攻击已经达到600G左右。 此外,云盾还提供移动安全和数据风控解决方案。

游戏安全之一-高防IP服务

中国的比特币平台被黑客攻击_比特币攻击_比特币系统被攻击

Anti-DDoS Pro是针对海量DDoS攻击的清洗服务,防护能力高达300Gbps。 DDoS Anti-DDoS Pro服务实际上是多线路的,包括电信线路、联通线路、BGP线路。 它通过CName解析或者粘VIP到DDoS高防中心进行流量分流,然后恢复给用户使用。 但是,DDoS高防服务只能在300G启动,300G以上会受到机房带宽的限制。

中国的比特币平台被黑客攻击_比特币系统被攻击_比特币攻击

游戏安全II-游戏护盾服务

比特币系统被攻击_中国的比特币平台被黑客攻击_比特币攻击

游戏盾服务采取的反制措施不再是安全攻防的“军备竞赛”,靠带宽来对抗带宽,而是通过流量拆分和智能调度来抵御DDoS攻击。 原理其实很简单,就是黑客只能同时在几十台服务器中找到一个IP地址,最多只能干掉这个IP地址的服务器,但不能干掉整个服务,所以游戏将能够保护每个人的安全。 部分客户和少数客户会遭受损失,以此来保护游戏。 对于CC攻击,Game Shield进行了多层精细化的CC防护,看来效果也很不错。 现在大家看到的针对大型游戏公司的CC攻击,20万QPS已经很常见了。 而且,游戏盾不仅仅是一个产品,而是一个完整的服务体系,它也在不断提升自身的攻防能力。

游戏安全3-移动端安全

比特币攻击_中国的比特币平台被黑客攻击_比特币系统被攻击

对于移动端的安全,最主要的还是加强应用。 通过安全组件对移动端应用的协议进行加密,进行安全存储和加密,防止黑客破解。

游戏安全3-业务风控

中国的比特币平台被黑客攻击_比特币系统被攻击_比特币攻击

对于业务风控,如果应用是web客户端,黑客可能会通过垃圾注册等方式进行攻击,这样通过业务风控手段可以防止黑客刷应用的界面。

实际案例分析

下面我将介绍一些使用易云盾提供的安全解决方案的实际案例。

案例一

2018年,小蚁网络首次将自己的DDoS服务商业化。 也是在这一年,小蚁网络的一个游戏客户端遭遇了史上最大规模的DDoS攻击,攻击流量达到1.6T,持续攻击时间约为2小时。 彼时,易网络也帮助客户成功抵御了长达2小时的DDoS攻击。 当时,它利用全国多个高防机房,帮助客户进行近源清洗和立体防御。 为了不影响用户体验,在防御机房中采用了单线、双线、BGP高防,但实际上BGP带宽的防御成本是所有防御带宽中最高的。

案例二

第二个案例大家比较熟悉,就是休闲互娱的实际案例。 闲来互娱是一家成立于2016年4月的游戏公司,主营游戏业务为本土棋牌类游戏。 一开始发展非常迅速,但在5、6月份受到DDoS攻击的严重打击,使其业务基本无法使用,濒临倒闭。 此时,易网络为闲来互娱提供了安全防护解决方案,易网络与闲来互娱合作,将安全解决方案应用到其整个游戏攻防体系中。 在4月到11月被昆仑万维以20亿的价格收购的四五个月里,经历了两次大规模的攻击和交锋。 第一次交锋发生在安全解决方案部署完成后。 黑客很快发现仅靠大流量攻击是完全不可能的,于是黑客开始破解游戏客户端。 破解游戏客户端后,他发现游戏客户端中的流量调度原理,可以将所有IP保护节点找出来,然后将找到的节点一一击杀。 因此,YI Network在第一轮交锋中帮助闲来互娱所做的就是加密应用,混淆逻辑,让黑客很难同时发现更多节点的IP地址。 可以获得节点的IP。 在第二轮攻防中,黑客发现大流量攻击打不倒,但是CC攻击很有效,所以他们使用CC攻击的方式对登录服务进行攻击,大家都知道登录服务相当于应用的入口。 当登录服务被攻击时,发现防御能力急剧下降。 就算其他游戏节点正常,也没用,起不了任何作用。 因此,小易网络此时推出了NGCC保护能力。 使用NGCC保护后,即使是50万QPS也能轻松防御,基本保护了仙来护玉的第二轮攻击,保证游戏运行非常流畅,直到被获取。

比特币攻击_比特币系统被攻击_中国的比特币平台被黑客攻击

案例三

另一个案例是,2016年2月,另一家游戏公司在一个月内多次被攻击,攻击流量超过400G,而这个流量在2016年初是非常高的,而这家公司也快挂掉了。 此时,小易网络助力其推出了高防+游戏盾安全解决方案。 公司报了警,小易网络提供了证据,最终将嫌疑人抓获,也是有反击能力的体现。 我们都知道,很多游戏公司在被攻击之后往往无力还手。 其实并不是因为游戏公司脾气好,而是通常游戏公司并不知道是谁发起的攻击,所以如果客户有追根溯源的能力就可以找到攻击的幕后黑手并带上将他绳之以法,同时,您将为您的业务争取安全发展的时间。

案例四 客户案例

2015年应该是互联网金融行业被黑客攻击最多的一年。 所有互助金融公司都深受其害。 记得当时*贷之家曾有一段时间被黑客攻击。 网站几天都打不开。 当然,我们也没有幸免。 DDoS攻击、SQL注入、漏洞渗透等几乎都经历过。 有些黑客比较仁慈。 应该是出于善意或者是为了展示自己,把漏洞放在乌云或者漏洞箱里让厂商修复。 但更多的是黑产,完全是威胁、敲诈、想要发财。 我们先来看看下面的:

比特币系统被攻击_比特币攻击_中国的比特币平台被黑客攻击

这家伙潜伏在我们公司的客户群里,冒充我们的客户代表,把头像和简介换成一样,然后给群里的所有客服发消息,让他把我们的内部后台地址发给他,在这边走。 寻找突破口,当然这是菜鸟内线。

那么如何正确防范DDOS攻击:

案例五:

dns缓存引发的一场悲剧

2015年某周六凌晨5点,公司官方QQ群内有用户反映官网打不开,但也有用户反映官网可以打开。 说可能是你自己网络的问题,请稍后再试。 早上8点,越来越多的用户反映官网打不开,也有用户反馈APP也打不开。 客服打电话给我还在睡梦中。

分析定位

接到客服电话后,我一头雾水,不知道怎么回事,就回复了客服。 如果知道,我会第一时间查看,有消息及时沟通。 冷水洗脸清醒过来,立马根据经验回忆这两天的生产调试情况:XX模块上线,不影响,XXbug修复,应该不影响,配置就好服务器端的https,貌似有点关系,不过app暂时还没有投产https,所以可能有问题,先排除吧。 打开电脑查看最近的生产记录,应该不会出现这么严重的问题。 如果网络有什么问题,我马上打电话给运维经理和相关人员一起排查。

在让网络和运维排查问题的同时,我又检查了web服务器、数据库服务器、业务日志、数据库日志以及一些其他的监控数据,一切正常。 尝试在本机ping域名,果然不行。 我怀疑是网络问题。 我尝试使用外网直接访问网站。 打开它没有问题。 我可以基本确定服务没有问题。 但运维部门反映网络设备一切正常。 肯定是你的生产代码有问题,各方硬着头皮继续排查。

9:00,群内开始有大量用户反映官网和app打不开,甚至有用户煽动XXX公司跑路(15年很多p2p公司跑路,导致用户变成了惊弓之鸟,有点问题,公司怕跑路,大家都变成了监控高手,每天都在看,实时查看,一觉醒来就在app上查看今天的收益凌晨),客服400热线基本爆满。 在继续调查问题的同时,将此问题反馈给厂长和公司高层,给客服提供建议,并向用户解释。 IDC机房网络抖动,正在紧急解决技术问题。 资金和数据不会有任何影响,所以不要心急。

10点多,经过开发和运维的反复检查,开始怀疑是dns解析有问题比特币系统被攻击,但具体问题不明。 CTO决定:1、大家打车到公司,来公司集体解决。 2、在每个QQ群、微信群中,向用户分组讲解xxx问题,安抚客户。 在坐车的时候,我重新梳理了一下用户的整个访问流程,如下图所示:

比特币系统被攻击_中国的比特币平台被黑客攻击_比特币攻击

比特币系统被攻击_中国的比特币平台被黑客攻击_比特币攻击

到了公司之后,大家按照这个思路一起验证。 通过外网IP和内网IP访问公司所有服务是正常的,但是通过域名访问是不行的。 另外监控服务器、防火墙、网络设备日志都正常,所以断定是DNS解析有问题。

解决问题

既然确实是DNS解析问题,那问题又来了? 为什么DNS解析有问题? 如何解决这个问题呢? 在向万网提交工单的同时,我们也测试了不同网络运营商下的电信、移动、联通的访问情况,发现仅在联通网络环境下无法解析DNS。 根据客服的反馈,这种情况也得到了验证。 电信和移动用户反馈很少,联通用户反馈最多。 于是我们又开始给联通打电话。 一开始联通不接受我们的请求,于是我们就开始以用户的身份给联通打电话,解决不能马上上网的问题。

于是万网与联通的拉锯战就此拉开序幕。 万网说他们的DNS解析是正常的,各项指标都正常。 我们打电话给联通,联通说我们已经知道了,稍后会有专业人士给我们。 我们回复了,过了一会联通的网络工程师回复说这种情况一般是域名解析的问题。 从早上10点30分到公司开工的短短6个小时里,我们轮流给联通打了近50、60个电话,给万网提交了N个工单,接听了N个电话。

这期间,领导们也开始动用各种关系。 联通的朋友和网络运维领域的专家帮助定位并解决了问题。 我们也尝试了很多方法,比如使用ipconfig/flushdns命令清除本机的DNS缓存。 网上官网更新了DNS解析,删除了重新添加等等,也不是完全没用。 我们一直想找到一种方法来测试各地和运营商的网络。 经过各方的推荐和搜索,我们最终找到了17ce和360奇云测试两个网站。 他们觉得很实际。 在以后的网络定位中,他们会变得非常方便,监控各个运营商和地区的网站访问是否不可达,访问速度是否快等等,截图如下:

比特币系统被攻击_比特币攻击_中国的比特币平台被黑客攻击

我们还发现公司的其他域名也可以正常访问,但是官网的域名没有关联到相关的子域名。 期间很多人问了一个问题,你是不是忘了给域名付费了。 一开始大家也问过运维方面,说没有这个问题。 直到中午12:30,我们再三询问。 8点多,他登录上万网,显示域名欠费,但他已经第一时间付清了费用。 哎呀,差点把我们逼死了。 域名过期不是有提示吗? 我这才知道,上一任运维经理走后,没有及时更新万网的电话和邮箱,所以提醒邮件和短信都没有收到。

通过与万网相关朋友、联通、领导的沟通,以及我们的测试观察,我们初步了解了这件事情的原因:万网DNS解析因忘记支付域名而被停止,而用户本地机器或DNS服务器有缓存,所以有的用户可以访问,有的用户不能访问; 万网的DNS已经付费更新推送了,但是DNS解析有很多层级需要逐层更新,有的层级没有更新,导致出现一些故障。 更新后的DNS服务商下的用户无法访问官网。

我们与万网进行了沟通,询问了延迟的情况。 所有 DNS 更新到最新时间。 答案是48小时内就可以了,但我们等不及了。 随着时间的推移,越来越多的用户发现了这个问题,QQ群和微信群已经沸腾了,董事长也开始关注这个问题了。 有的客户直接在群里说你们技术太弱了(像这样还是委婉点,有的直接打电话叫人)...

临时解决方案

通过17ce连续测试,发现大部分地区的网络已经恢复,部分地区的北京联通和中国联通在网络环境中无法连接,这也说明这些地区的DNS解析记录没有更新. 既然已经定位到上面的问题,也明白了原因,我们就想着是不是换个DNS解析服务器试试会不会更好,于是我们把本地DNS地址改成8.8.8.8(谷歌的DNS服务解析)找到了! 于是赶紧写了一份解决手册,发给着急的客户使用。

官网用户可以通过更改DNS来解决访问问题,但是APP呢? 没办法我们等不及了,直接要求开发者把客户端调用的地址从域名临时改成外网IP地址,做一个版本供用户临时使用。 安卓还是比较好办的,直接让用户下载安装还行,但是当时IOS的审核至少要花一个星期,黄花菜都凉了。 其实iPhone是可以单独设置DNS的。 经过设置和测试,我们发现也可以实现,于是我们立即在手册中进行了更新,并发给了客服,发到了群里,供用户使用。

点击下载当时写的DNS更新手册

有人说让用户直接使用外网就可以了。 打开外网首页是没有问题的,但是各个系统之间的调用,相关的配置文件也是写在域名的地址里面的,如果硬改,可能会引起其他问题。 问题。 第一天做完已经10点多了,中间4点多才吃饭。 打了N个电话大家都很累,第一天就这样,一大早大家就去公司继续follow。

比特币攻击_比特币系统被攻击_中国的比特币平台被黑客攻击

第二天到公司17ce测试后,发现所有节点都连上了,只有北京联通的两个联系人没有反应,但是北京是我们的大本营,大部分用户都是北京人。 继续和万网、联通沟通,看看怎么才能彻底解决这个问题。 另一方面,做好最坏的打算。 在生产环境中,整理所有使用域名的配置文件,保证随时可以直接更新到外网地址,不影响服务。 APP完全重做,随时可以上线,强制用户升级为外网直连。 版本。

到第二天晚上10:00,北京联通的两个节点还是掉线了,我们和领导商量了一下。 如果到周一早上8:00仍然无法访问两个网络,我们将修改后的系统上线并强制升级APP(因为当时周末没有投标,有计划周内出价)。 第三天早上起床第一件事就是拿起手机查看我的联通网络是否可以登录官网,果然成功了! 每个人都很开心。

As the saying goes, the truth becomes clearer and clearer. After this accident, I thoroughly understood the whole process of DNS resolution.

DNS resolution process

DNS (Domain Name System) is the English abbreviation of "Domain Name System". It is a computer and network service naming system organized into a domain hierarchy. It is used in TCP/IP networks. The work of converting domain names to IP addresses. As the saying goes, DNS is to convert the website into an external IP address.

The entire process of dns from user access to response

比特币系统被攻击_比特币攻击_中国的比特币平台被黑客攻击

This incident taught us a lot of lessons: first, there are loopholes in the process management, and the resignation handover is not in place; second, the crisis handling is immature, which affects the company's reputation; third, the monitoring mechanism is not perfect, such as the external network. For this kind of problem, monitoring measures should be set in advance.

Sometimes very serious problems are the little things that you often overlook

总结

In ancient times, generals were required to have a galloping heart and a face as calm as a lake. In the Internet industry, the same is true for leaders, especially for technical leaders. When facing production accidents, they must first appease their colleagues and calm down. Concentrate on finding the essence of the problem, and then solve it, instead of constantly exerting pressure and urging, many teammates with weaker psychological endurance will become more flustered under heavy pressure, which is not only not conducive to solving the problem, but may also cause secondary accidents.

Watching Taobao's Double Eleven video, I had a particularly deep feeling. In the early days of Double Eleven, although the technical team made a lot of preparations, the traffic flooded in after zero o'clock, the service was broken, and some users complained that the web page could not be refreshed. Immediately afterwards, the colleagues next door also reported that the website could not be opened. When everyone was in a panic, XX slapped the table and shouted, everyone should not move, and we will talk about it in three minutes. After a few minutes, the service slowly returned to normal. Later, I recalled that although the service was paralyzed at that time, some businesses were monitored to be successful, indicating that the system was not overwhelmed, and any operation at this time may cause greater problems. Since then, this person has become famous in the battle and became Ali general.

The development of Internet platforms generally goes through three stages:

1. In the initial stage of launch, there are the most problems at this stage, production accidents continue, and the system is rapidly iteratively optimized. Some people say why not test it until there is no problem before putting it into production? To be honest, this is very difficult in the Internet industry:

2. In the development period, the main business model has been verified at this stage, the frequency of system problems is less, and low-level errors are reduced. Come up, so most of the problems that arise at this time are performance problems;

3. In the mature period, after the development period, the system is relatively stable, the number of users and transaction volume have gradually stabilized, production problems are becoming less and less, and the problems are almost all small bugs. This stage is also the stage where the company ignores technology the most. Now that our company has developed to this stage, we need to calm down at this stage, upgrade the organizational structure, make up for the technical debt owed in the initial and development stages, and do a good job in the company's entry into the next stage. An order of magnitude of technical reserves.

All these problems are almost concentrated in the stage from the end of 2014 to the beginning of 2015. From the second half of 2015 to the present, the platform has gradually stabilized. Until now, there have been almost no similar problems, and because it has been almost two years I don't remember many of the previous things very clearly, so please forgive me for the rough writing.