千寻CORS如何做到“每秒服务百万用户”

千寻CORS特别“稳”，用过的人都知道。撑起千寻服务稳定性的，是一项名为“高并发”的技术能力。

　　什么是“高并发”？“高并发”是指大量用户（终端）的快速接入。对于网络平台而言，如果不具备良好的高并发处理能力，轻则引发服务中断，重则引起服务器宕机。

　　2021年 ，千寻位置高精度位置服务平台的高并发能力已经达到了每秒百万级，也就是说每秒钟能够为超过百万级的用户来同时提供高精度定位的服务。

　　这不仅是行业里面的冠军，对标整个互联网也是一个高水平能力。这是如何做到的呢？下面小编将从系统能力、运维能力两个层面，分析其中的技术要点。

　　系统能力｜水平扩展基于分布式服务架构设计的千寻位置高精度位置服务平台，具有“海量用户”的服务扩展能力，增加服务器就可以服务更多用户。在具体的实现路径上，主要分为4步：第一步：自研SpaceX 高性能分布式框架千寻位置的服务具有覆盖广、规模大、实时性要求高等特点，需要千寻位置高精度位置服务平台以高度的灵活性，实现效率最大化。针对这样的情况，2015开始，千寻位置自主研发了内部代号为SpaceX的高性能分布式应用框架。

　　SpaceX框架：可以将一个庞大的计算任务划分为若干个小任务，并分配给每台计算机。计算机集群通过并行处理提高了效率，在统一管理控制下，完成大规模信息处理任务。国家北斗地基增强系统“全国一张网”的解算，就是通过SpaceX框架，分成几千个小网任务，分布在上百台机器同时进行解算。

　　第二步：快速复制数据的扩展坞程序Switch千寻位置针对快速复制国家北斗地基增强系统“全国一张网”能力，研发了一个扩展坞程序，它被命名为Switch。Switch将算法产生的网格数据复制多份，再将复制的数据分发给下游用户。

　　第三步：提高效率，集中处理为提升处理性能，千寻位置高精度位置服务平台中热点识别应用会将用户分布较多的区域识别出来，将相同地区用户集中到一块处理，大大提升性能，降低服务器压力，达到降本增效效果。

　　第四步：用户均匀分布，降低平均排队时间用户连接服务时，千寻位置高精度位置服务平台会有专门的负载均衡SLB应用来指导用户应该去哪个服务器处理。这样每个服务器的压力均衡，用户平均等待时间就降低了。

　　系统能力｜服务高可用千寻位置高精度位置服务平台除了要去支撑用户，还要保证服务的高可用。千寻位置做了多套服务冗余备份，在数据中心之下分为6个可用区和3个隔离集群。

6个可用区，主要就是防止单机房故障，可用区的概念有点像当地的机房；·3个隔离区群，是按照千寻位置的业务群体进行划分的。由于不同行业（智能电子设备、汽车、测绘RTK）对于高精度位置服务的要求和标准不同，隔离区群能够做到互补干扰。

　　系统能力｜自我保护千寻位置高精度位置服务平台在流量突增的时候拥有自我保护机制，主要是精准流控和熔断机制。

　　一、精准流控有6种影响因素，主要包括算法A/B群灰度、链路规则、用户应用、产品、区域、百分比，按照这6种因素不同的排列组合，可以形成适合不同用户的策略。比如有一种策略，只适合广东地区电力，那有这种路线规划的话就可以把这个服务精准的去推到这个客户上面。

　　二、熔断机制的建设。千寻位置的服务其实是有容量的，比如说现在容量是1亿，那突然来了2亿流量，千寻位置的高精度位置服务平台能去做到一个自我保护，优先保证服务好前1亿用户。随着服务器扩展，逐渐去支持到后来涌入的2亿流量。

　　运维能力｜快速诊断基于系统可视化和智能化定位能力，千寻位置高精度位置服务平台可以进行问题的快速定位。

　　系统可视化能力由业务监控大屏、应用处理能力监控大屏、云资源服务状态监控大屏组成。从这三个维度，系统就完完全全变成一个透明化。

　　业务监控大屏实时呈现用户在线数量、整体分布、定位状态、特定用户群体以及在线的工具（测距、定位、回放）；· 应用处理能力监控大屏核心呈现用户实时连接数、每秒新增连接数、每秒下线连接数；·云资源服务状态监控则能查看CPU使用情况、内存使用情况、TCP网络连接状态等。

       智能化定位能力由系统控制台、网格异常分析、基站异常分析构成，能够主动判断用户服务是否正常、问题是否由基站引起以及是否由周边环境影响。

　　运维能力｜快速恢复千寻位置高精度位置平台具有从问题中快速恢复的能力，在实施层面分为快速响应 、记录通知、启动预案 、 工具化处理4个步骤。

　　首先，千寻位置设置了7*24小时值守的应用监控室，第一时间响应问题；其次，千寻位置应急响应平台记录事件，并通过电话、软件系统通知相关运维、开发等处理人员；再次，日常处理预案留有记录，运维人员结合系统流程 + 工具，自动化操作减少失误，达到快速恢复的能力；最后，将日常标准流程归纳提炼之后，都升级为工具化执行，不需要人工干预，在提高效率的同时，也避免了因人为导致的不可控因素。

　　运维能力｜故障演练混沌工程是在分布式系统上进行实验的学科。模拟功能性测试、性能测试、极端场景测试，通过长时间测试，发现系统以常规测试手段难以模拟和测试的BUG。

　　混沌工程主要解决极端的情况，比如说网络中断、服务器宕机等，它通过长时间测试，频繁的去验证，训练出系统级的反应能力并加以巩固，在真正遇到问题的时候给予反应。