Abstract ：

为减缓存储系统中传统重复数据删除方法在高性能固态存储盘中存在的指纹计算性能瓶颈,提出了重复数据删除指纹计算的性能优化方法 R-dedup。在基于内容分块算法基础上,将切分后形成的所有数据块进一步切分为更小粒度的48B等长数据片。基于Rabin哈希长度小于原始数据、多个Rabin哈希同时发生碰撞概率极低、数据片的Rabin哈希可以重复利用基于内容分块算法在滑动窗口过程中产生的计算结果的基础,利用数据片的Rabin哈希替代原始数据,并将其作为数据块的SHA-1指纹输入,减少SHA-1函数数据计算量,提高指纹计算性能。选取Linux内核、Imagenet等5组具有代表性的数据集,对R-dedup和标...

Keyword ：

Rabin哈希 存储系统 固态存储盘 性能优化 重复数据删除

Cite：

Copy from the list or Export to your reference management。

Abstract ：

为减缓存储系统中传统重复数据删除方法在高性能固态存储盘中存在的指纹计算性能瓶颈,提出了重复数据删除指纹计算的性能优化方法R-dedup。在基于内容分块算法基础上,将切分后形成的所有数据块进一步切分为更小粒度的48 B等长数据片。基于Rabin哈希长度小于原始数据、多个Rabin哈希同时发生碰撞概率极低、数据片的Rabin哈希可以重复利用基于内容分块算法在滑动窗口过程中产生的计算结果的基础,利用数据片的Rabin哈希替代原始数据,并将其作为数据块的SHA-1指纹输入,减少SHA-1函数数据计算量,提高指纹计算性能。选取Linux内核、Imagenet等5组具有代表性的数据集,对R-dedup和标准基于内容分块的重复数据删除方法在数据分块性能、指纹计算性能、索引表检索性能和I/O性能方面分别进行了比较。结果表明:R-dedup的数据分块性能、索引表检索性能、I/O性能与对比方法具有4%左右的误差波动,性能基本一致;R-dedup的指纹计算吞吐率是对比方法的165%~422%,总体吞吐率是对比方法的6%~54%。

Keyword ：

Rabin哈希 存储系统 固态存储盘 性能优化 重复数据删除

Cite：

Copy from the list or Export to your reference management。

Abstract ：

相比集中式数据库,分布式数据库系统由多个服务器构成,适用于高并发用户访问场景。然而,如果单服务器负载过高,将导致整个分布式数据库系统性能瓶颈。文中提出了一种内生动态反馈(BDF)的一致性哈希算法,动态反馈服务器的CPU、RAM等负载信息,将负载均衡问题与装箱问题相结合,在均衡服务器负载的同时,提高服务器内部各类资源的使用率。构造负载基尼系数,刻画服务器间的负载率差异,基于差异适时梯度式,调整各服务器对应的哈希环虚拟节点数量以均衡负载。同时,通过对负载均衡周期进行动态调整,既能较好地满足动态负载均衡的需求,也能减少额外的资源消耗。通过仿真实验表明,提出的BDF算法能更好地应对负载均衡问题,有效提...

Keyword ：

动态调整 分布式数据库 负载基尼系数 负载均衡 内生动态反馈 一致性哈希算法 装箱

Cite：

Copy from the list or Export to your reference management。

Abstract ：

2:17型Sm-Co-Fe-Cu-Zr磁体是磁性最强的高温永磁材料,在高技术和国防领域具有重要应用。研究表明,通过提高Fe含量可获得更高的理论磁能积。因此,研制富Fe的高磁能积磁体不仅可以进一步缩小装备体积,还能显著降低生产成本,是当前钐钴永磁领域的一个重要发展方向。从高磁能积钐钴磁体面临的磁性能瓶颈出发,概述了富Fe磁体的研究新进展。针对提高Fe含量难以形成完整的纳米胞状组织这一根源,国内外发展了氢破碎和气流磨等制粉技术,以及中间热处理和预时效、多级时效处理、双合金等微结构调控技术,推动了高磁能积钐钴的研发。目前报道的2:17型钐钴永磁材料最高磁能积已超过35 MGOe,国内已成功研制出最大磁能积>30 MGOe、矫顽力>30 kOe的高性能烧结磁体。最后,对进一步所要解决的基础问题进行了展望。

Keyword ：

磁能积 钐钴永磁 微结构 永磁材料

Cite：

Copy from the list or Export to your reference management。

Abstract ：

海量的数据存储一般采用分布式文件系统HDFS,Hbase等作为存储工具,但对海量媒体资产数据这种中小文件的存储,存在性能瓶颈,并且随着后期小文件越来越多,会造成系统元数据占用过大.对于海量媒体资产管理而言,检索是关键,设计良好的查询体系很重要.结合国家重点研发课题海量数字媒体与应用的实际应用需求,通过分析分布式文件系统FastDFS的原理与缺陷,提出了一种基于容器技术、适合于存储海量中小型文件的分布式存储系统,同时设计了集群服务器之间的同步目录组方案,确保在宕机的情况下,用户的数据不会丢失,且Docker支持多租户,确保了不同租户数据的隔离性.最后对设计实现的原型系统进行了测试与分析,测试结果表明,基于FastDFS的数字媒体资产在线管理系统符合预期设计,性能和可靠性较好,可适用于超算环境下各种渲染任务的使用.

Keyword ：

Docker FastDFS 分布式存储 媒体资产管理 数字媒体制作

Cite：

Copy from the list or Export to your reference management。

Abstract ：

海量的数据存储一般采用分布式文件系统HDFS,Hbase等作为存储工具,但对海量媒体资产数据这种中小文件的存储,存在性能瓶颈,并且随着后期小文件越来越多,会造成系统元数据占用过大。对于海量媒体资产管理而言,检索是关键,设计良好的查询体系很重要。结合国家重点研发课题海量数字媒体与应用的实际应用需求,通过分析分布式文件系统FastDFS的原理与缺陷,提出了一种基于容器技术、适合于存储海量中小型文件的分布式存储系统,同时设计了集群服务器之间的同步目录组方案,确保在宕机的情况下,用户的数据不会丢失,且Docker支持多租户,确保了不同租户数据的隔离性。最后对设计实现的原型系统进行了测试与分析,测试结果...

Keyword ：

Docker FastDFS 分布式存储 媒体资产管理 数字媒体制作

Cite：

Copy from the list or Export to your reference management。

Abstract ：

无人驾驶车辆是一种通过传感器感知交通环境，自主规划路径并控制车辆到达预定目的地的智能汽车。随着无人驾驶技术的发展，其基本原理和主要结构已基本明确，围绕其感知、规划和控制等系统的理论和应用研究也日益增多。然而，已有的工作通常在单一的交通场景中对单点技术方案进行研究，当面对具有高复杂性和高动态性的真实交通场景时，这些方法的实际性能受限于其固有的性能瓶颈和适用范围，因此缺乏健壮性。本文针对无人驾驶车辆感知和规划系统中的应用方法开展研究工作，以提升无人驾驶系统的可靠性和对多种交通场景的适应性。 首先，本文针对无人驾驶车辆的感知系统，提出了一种可靠的传感器融合方法，以融合毫米波雷达与单目相机，并用于道路车辆目标的检测和跟踪任务。毫米波雷达和单目相机是用于车辆检测和跟踪的主流车载传感器，尽管它们各有所长，但各自的缺点使得它们在单独使用时存在不足，这两种传感器的融合可以有效地避免各自的不足。我们提出了一种合作式的融合方法，从而在取得更好的车辆检测率和误报率的同时，保持较好的运算实时性。我们通过真实交通场景中采集的数据集对该方法进行了测试。实验结果表明，我们的方法在车辆检测率和检测误报率方面优于已有设计，并且在目标出现后的0.16 秒就可以完成轨迹对比和确认，因此有效提高了无人驾驶感知系统的可靠性。在其扩展工作中，我们加强了视觉模块的处理能力，使其能够在检测的同时对被测目标的类别进行识别。该系统在取得较好的识别性能的同时，也体现了所提出的传感器融合方法的扩展性。 第二，本文针对无人驾驶车辆的规划系统中的驾驶路径规划，提出了一种可用于多种交通场景的路径规划方法。已有的路径规划算法往往针对单一的交通场景进行设计，然而当面对真实交通场景的高复杂性和高动态性时，这些算法的性能受限于固有的适用范围。因此，设计一个融合不同类型算法的路径规划方法，从而扩大规划系统整体的适用范围，对无人驾驶车辆而言至关重要。我们将采样型和搜索型路径规划算法结合到统一的规划方法中，分别用于简单和复杂交通场景中的驾驶任务。另外，我们也对每种规划算法的具体实现进行了改进和优化。离线仿真和实车测试结果表明，我们提出的路径规划方法的具有较好的实用性和对多种交通场景的适应性。在其扩展工作中，我们进一步简化和完善了城区道路下的无人驾驶规划系统以及动态交通场景下的复杂路径规划算法，这些工作都经过了充分的实车测试。 第三，本文针对无人驾驶车辆的规划系统中的驾驶行为决策，提出了一个基于序列学习模型的换道行为决策方法。我们观察到无人驾驶车辆的换道行为决策不仅仅与其当前所在的交通场景有关，也与其之前所处的交通场景的有关，因此换道行为决策问题应当被更恰当的描述为从交通场景序列到决策序列的序列学习问题。我们设计了由长短期记忆模型和条件随机场模型组成的序列学习模型用于换道行为决策问题，并通过集成学习的方法提高模型对噪声样本的鲁棒性。我们使用公开数据集对该方法进行了测试。实验结果表明，我们提出的方法取得了69.77%mAF 的决策性能，是已提出最好方法性能的2.46 倍。集成学习模型进一步将mAF 提高到71.17%，同时仅需要27.4毫秒的运行时间，满足无人驾驶系统的实时性需求。 本文的研究工作从传感器融合、路径规划和换道行为决策三个方面提高了无人驾驶感知和规划系统的可靠性和适应性。其中，传感器融合和路径规划的工作也在数届中国智能车未来挑战赛和多个无人驾驶车辆平台上得到了验证，这些成果充分表明本文工作对无人驾驶车辆的具有较强的实践意义。

Keyword ：

无人驾驶车辆，传感器融合，路径规划，换道行为决策

Cite：

Copy from the list or Export to your reference management。

Abstract ：

互联网行业的飞速发展使得数据中心内部的网络越来越复杂，并对网络的实时性提出了更高的要求。目前，大多数降低网时延的解决方案，都是为了降低网络链路上转发设备中的时延。实际情况中，云服务提供厂商为了对用户进行带宽隔离，会对网络设备上的带宽进行限速， 而现有的限速方案会导致数据包在限速器中的时延增大数十倍。 已有工作中关于如何降低限速器导致的时延的研究还比较少。 因此本文针对数据中心内部限速器带来的时延问题进行研究，分析了现有方案的性能瓶颈，提出了数据中心限速器应该满足的特性，设计并实现了数据中心高性能软件限速系统 CARL（Congestion Aware Rate Limiter）。 CARL 系统包括队列和拥塞控制算法。 其核心思想是，在限速器上维护一个较大的 队列，同时利用拥塞控制算法降低队列的占用率，从而降低限速器中数据包的排队时延。 CARL 的拥塞控制算法分为四个部分：拥塞感知、流状态存储、限速决策和速率调节。 其中拥塞感知算法获取实时队列状态； 流状态存储算法存储每个流的状态； 限速决策算法基于当前数据流流速、实时队列长度和队列长度梯度计算出合理的接收窗口；速率调节算法根据限速决策算法的计算结果调整 ACK 数据包中的接收窗口， 从而降低数据包的排队时延。 本文搭建测试环境，对 CARL 系统进行评估测试。从带宽利用率、时延、队列占用率、 CPU 利用率、流完成时间、公平性和丢包率几个方面对 CARL 系统进行测试。使用传统的层次令牌桶算法和扩展 ECN 的方法作为对比，证明了本系统能够维持较低的队列占用率，其带宽利用率超过95%，同时将限速器内的时延降低到层次令牌桶方案时延的十分之一以下。 实验还证明了系统能够提供良好的公平性和极低的丢包率，降低了小流的流完成时间，并且 CARL 系统本身的 CPU 利用率与传统方案大致相当。

Keyword ：

时延 数据中心 限速器 拥塞控制

Cite：

Copy from the list or Export to your reference management。

Abstract ：

传统的端到端数据流量处理一般有两种方式，一种是增强网关，另一种则是静态 服务功能链。这两种传统的处理方式都有自己的弊端。增强网关依赖于集成板卡，这样 会使得网络服务功能在处理请求时效率低下，其次随着网络中数据流量的增加，增强 网关很容易成为网络的性能瓶颈，更重要的是增强网关不是开放式架构，不利于创新； 而静态服务功能链则采用强关联的方式将网络功能内嵌到设备中，耦合度高不利于扩 展，并且价格昂贵，其中某一网络服务功能发生故障，可能会导致整个链的不可用。 目前，软件定义网络（SDN）和网络虚拟化技术（NFV）不断发展，SDN 网络采 用可编程、逻辑集中控制以及数据平面与控制平面分离的技术，为服务功能链（SFC） 提供了一个动态、灵活以及高效的网络环境；NFV 则利用虚拟化的技术将网络服务功 能以软件的方式运行在虚拟机上，从而实现网络服务功能与特定硬件设备解耦。通过 将 SDN 网络和 NFV 技术结合，能够为服务功能链的发展提供技术支持，从而实现服 务功能链的高效部署和调度。本文在 SDN 和 NFV 两大技术的支持下首先提出了一种 具有模块化的虚拟网络功能（VNFs）的部署算法，实现了 VNFs 的全生命周期管理， 该算法以最短处理时延为优先目标，将网络服务功能中相同的功能模块抽象出来供所 有的 VNF 统一使用。其次本文提出了一种基于正交设计的差分进化算法（DE）来实现 SFC 的最优组合解，从而实现链的调度，该算法相对与传统的启发式算法，利用正交 设计的特性，通过缩小候选范围，使得算法在求解大规模优化问题时性能更好，此外利 用数字量化技术操作，提高了正交设计中的正交交叉的性能。 仿真结果表明了在考虑了 VNFs 模块化部署的前提下，该部署方法相对于传统的 部署方法更高效，更快速，也更容易扩展。而基于正交设计的 DE 算法在考虑时延、带 宽、丢包率等情况下在全局搜索能力、稳定性以及收敛速度方面都优于其他同类算法， 能更快更高效的得到一个 SFC 的最优解。

Keyword ：

部署 调度 服务功能链 软件定义网络 网络功能虚拟化

Cite：

Copy from the list or Export to your reference management。

Abstract ：

摘 要 随着互联网技术的飞速发展，大数据产业发展迅猛。企业业务数据量急速增长，并发量激增，与此同时传统应用架构数据处理能力已经不能满足现实需求。主要表现在，系统性能瓶颈集中在处理模块，业务规则与程序代码绑定业务规则管理困难，系统功能不完善等方面，因此本文设计并开发了基于Storm的实时流数据处理系统。 本文从企业对实时流数据处理的实际需求出发，对目前企业面临的实际问题进行了调研与分析，对相关技术进行了描述。针对系统性能瓶颈集中在处理模块等问题，设计了基于Storm的实时流数据处理系统，系统选择以Apache Storm分布式实时计算框架作为核心处理模块，并结合JBoss Drools规则引擎处理技术来对系统进行设计。本文对数据处理中涉及的模式匹配算法Rete与Leaps进行了阐述，然后对系统从系统架构、功能模块、数据库存储等方面进行了详细的设计与实现。系统的架构核心为Kafka+Storm+Drools，功能模块包括流数据处理调用、规则引擎调用、系统管理、违规事件管理等4个子模块。在流数据处理过程中，客户产生的实时流数据通过数据采集预处理子系统进行聚合，吐入到系统的数据源接入模块Kafka消息队列中进行缓存。接下来系统获取拓扑任务的任务参数信息，对拓扑任务进行创建并提交到Storm集群，调用规则引擎，获取规则信息和数据模式并激活规则引擎执行规则，对产生的违规事件进行落盘存储到MariaDB数据库中。其中系统管理模块完成对系统集群和任务运行的管理，违规事件管理模块提供了直观的方式去查看违规事件。 系统在开发过程中采用JUnit进行单元测试，以测试驱动开发。最后，在需求分析的基础上，对系统进行了功能性和非功能性测试。系统的测试结果表明各模块运行良好，实时流数据处理系统满足了设计要求达到了预期效果。

Keyword ：

Drools Storm 流数据 实时处理

Cite：

Copy from the list or Export to your reference management。