在金融领域量化交易中，大量历史数据采集速度缓慢、访问速度慢以及实时行情处理困难等问题一直困扰着金融研究人员和交易员. 为了解决这些问题，上海财经大学实验中心副主任、金融学院副教授谢斐带领团队尝试搭建一套能优秀、使用方便新系统. 他们曾尝试使用Hadoop、MongoDB等存储数据方式，但是能一直不能满足需求. 直到2019年，通过对DolphinDB时序数据库试用，上海财经大学决定正式采购这一数据库.
在引入DolphinDB之前，上海财经大学使用系统在数据存储、压缩、调用和运算等方面存在很大问题，需要花费大量时间进行数据整理. 为了解决CTP数据存储问题，研究团队编写了一套专门存储大量二进制文件压缩系统，但在使用过程中发现系统无法处理多来源冗余等问题. 随后，他们尝试了使用HadoopHive系列，但发现该系统无法高效处理结构化数据，需要将结构化问题为MapReduce脚进行处理。这些问题导致数据采集和处理速度缓慢，无法满足持续增长时序数据需求。
为了解决上述问题，上海财经大学研究团队基于Python编写了一套基于DolphinDB量化高频数据中心系统，该系统整体能良好，主要解决长时间采集多数据点、实时因子计算和高频数据采集等问题. 经过试用和调试，这套系统已经成为教学和科研中重要工具.
量化高频数据中心系统主要研究level2公开数据，包括每只股票每3秒钟快照数据，每10毫秒采集多笔逐笔成交数据和逐笔委托数据. 通过与数据商合作，研究团队获取实时采集数据和盘后数据，数据范围覆盖了全市场，包括股票、债券、商品期货、金融期货和期权等. 为了方便数据备份、比对、清洗和入库，研究团队将这两种数据汇总在一起.
数据采集管理系统能架构主要包括数据采集、数据处理和数据存储三个部分. 数据采集模块负责从行情厂商和数据商获取数据，并对数据进行清洗和预处理。数据处理模块负责实时计算因子和其他相关指标. 数据存储模块使用DolphinDB时序数据库来存储数据，并实现了高效数据调用和运算能。
为了验证系统能，研究团队进行了一系列能. 结果显示，基于DolphinDB量化高频数据中心系统在数据采集速度、处理速度和数据存储效率方面都表现出. 与之前使用系统相比，新系统响应速度更快，同时可以动态管理数据，满足了大规模数据处理需求.
上海财经大学选择DolphinDB作为数据采集管理系统核心数据库有以下几个原因。首先，DolphinDB具有出时序数据处理能力，能够高效地处理大规模时序数据。其次，DolphinDB提供了丰富数据调用和运算函数，使得数据处理和分析更加方便快捷. 最后，DolphinDB使用方便也是选择它重要因素之一，它提供了友好用户界面和简单易用API，使得系统和更加简单。
基于DolphinDB量化高频数据中心系统解决了以往系统中存在数据采集慢、访问慢和行情实时处理困难等问题. 该系统在数据类型、能架构和能等方面都表现出. 通过选择DolphinDB作为核心数据库，上海财经大学成搭建了一套能优秀、使用方便数据采集管理系统，为金融研究和量化交易提供了重要支持。.
