全国咨询热线:17722859269
当前位置:首页 > Kaiyun官方网

《微观量化百问》第十二期 金融数据的复杂性及数据处理的重要性

时间:2024-12-15 08:28:18 作者:Kaiyun官方网

  一般而言,量化投资可粗略分为六个环节:收集数据、数据清洗、特征提取、模型开发、组合优化、交易执行。数据收集和处理是量化投资中必不可少的环节,理解金融数据的复杂性及数据处理的重要性,对认识量化投资具备极其重大意义。

  金融数据中噪音比例高,提取有效信号的难度较大,模型如果调整不够得当,就容易学习“噪音”。由于这一特性,量化投资在模型开发和调校时尤其强调避免过拟合,处理金融数据时格外注重逻辑。以A股为例,不同股票具有不一样涨跌停规则,此外新股上市以及复牌等行为都需要特殊处理,故而需要在逻辑的基础上对信息做到合理的挖掘、过滤、组合。

  证券交易数据等时间序列有时序性(时间不可倒流),且金融市场时刻存在博弈,规律具有时变特性。量化投资方法论的目的是用历史数据预测未来,所以一定要避免未来信息的引入,并合理评估历史回测。

  常见的是截面、时间序列等数值类型数据,如交易所原始数据、原始行情及各类衍生出的价格、交易量、K线图等。普通投入资金的人在炒股软件上看的分时图、K线图等数据也都衍生于交易所的原始数据,这些较为干净的被称为“标准化数据”。

  以文本数据为主,包括财经新闻、财经论坛问答、卖方分析师投资报告、第三方机构提供的特殊数据等。这一些数据里低相关非重大信息占比高,相比标准化数据会更复杂一些,所以被称为“非标准化数据”。为应用于量化策略开发,必须先对其进行数据清洗等结构化处理。

  价量数据包括一切能从市场交易行为中提取的信息,不局限于股票及其他资产的价格,以及衍生的各项技术类指标。包括日间量价数据(日K)、日内量价数据(分时数据)、逐笔数据(股票的每笔成交和挂单数据)。其中日内量价数据的体量是日间数据的几百到几千倍,逐笔数据的体量可以是日间量价数据的万倍以上。

  既包括宏观基本面、产业链上下游发展、行业发展的新趋势等,也包括上市公司的财务报表如资产负债表、利润表、现金流量表等。主观投资在获取及处理基本面数据上拥有明显的相对优势,通过深度调研还可获取非公开非结构化信息。

  通过预测市场对特定事件的反应不足或过度反应,判断股票在市场上买卖的金额变化以获取超额回报。在金融领域,“事件”通常指“可能在短期导致投资者预期发生明显的变化、对公司的基本面或其股票在市场上买卖的金额产生重大影响的情况”,比如股票回购和股东增持等。

  另类数据是个相对的概念——当某种另类数据逐渐被市场上大部分参与者所接纳和使用时,就不再“另类”。目前来看,另类数据包括所有投资研究中使用的非传统来源的新型数据,如ESG数据、社会化媒体评论、卫星图像、移动电子设备数据、应用程序使用情况、互联网搜索记录和消费的人交易数据等。

  一般而言,数据点及结构化数据越多,越有利于量化投资进行建模。目前国内主流量化私募的模型中价量因子占比较高,同时持续对基本面因子深入研究。随着量化行业的持续发展,未来各类因子都会提供很重要的贡献。

  另类数据研究在海外已拥有较为成熟的应用。另类投资管理协会(AIMA)与金融科技公司SS&C合作发布的报告数据显示,目前全球活跃的另类数据供应商超过400家,而1990年时只有20家。根据AIMA与美国银行的联合调查,目前约有一半的资管机构已在使用另类数据,且这一数量还在不断增长。

  但在国内,由于金融市场发展阶段的差异性,具体表现为获取难度偏大(高价值数据获取难、易获取数据质量低)、成本相比来说较高,非结构化数据的处理技术还不够成熟等原因,目前另类数据领域仍属蓝海。除了与多家数据第三方保持联动外,不少主流私募也在以较快的速度不断搜集、积累和持续探索另类数据,以寻找多元化、差异化的Alpha来源。

  数据数量和质量将直接影响最终投资组合表现,其中数据的数量则是制约机器学习模型训练和预测准确度的重要的条件。数据清洗和预处理的步骤一般来说包括:缺失值处理、重复值处理、数据去极值、数据中性化(指消除数据中的某些因素对投资策略的影响,从而使策略更具普适性和可靠性。常见的中性化包括市值中性化、行业中性化、风格中性化等)、数据标准化(如日期在大多数情况下要被转换为特定的格式)等。

  西安一学生未做完试卷被罚深蹲致横纹肌溶解,涉事教师道歉,官方:已处罚并调离

  极目新闻记者 舒隆焕近日,西安西航一中学生家长高女士发帖称,今年8月,她14岁的儿子在校因未做完试卷,被历史教师李某某要求做深蹲。12月13日,高女士对极目新闻记者称,孩子做完深蹲几天后身体不适就医,被诊断为横纹肌溶解症,她认为这与孩子被老师体罚有关。

  据“国防部发布”消息,12月13日上午,国防部新闻局局长、国防部新闻发言人吴谦大校就近期涉军问题发布消息。

  12月13日,南都记者从汕头市公安局潮阳分局获悉,经汕头市潮阳区见义勇为评定委员会讨论决定,拟同意对翁培扬、赵永平和钟进为三人不顾个人安危,勇救火灾受困人员的行为确认为见义勇为行为。事发现场。据悉,9月18日11时许,潮阳区谷饶镇东星村中心桥附近有一六层自建房起火。

  近年来,不少日本民间团体通过种种形式公开侵华日军的罪证,呼吁日本社会正视侵略罪行。日中友好协会就保管了一组珍贵的历史照片,长年在日本各地的历史展览中展出,这些照片记录了包括南京大屠杀在内的大量日军侵华罪证。这是一张在南京大屠杀期间,扬子江岸边拍摄的照片。

  13日,外交部发言人毛宁主持例行记者会。有记者问,据报道,美国国会联邦参议员斯科特日前发布声明称,中国产大蒜对美国食品安全构成“极大威胁”,要求发起“301调查”,美国会众院已经审议通过的“2025财年国防授权法案”中,也包括要求美军商店禁止销售中国大蒜的条款。

  据清风陇南消息:日前,经甘肃陇南市委批准,陇南市纪委监委对西和县人民政府原党组成员、副县长杨勤严重违纪违法问题进行了立案审查调查。

  这一周,冷空气成为了天气舞台上最活跃的身影,源源不断地影响我国。虽然冷空气强度不是很强,但持续不断地拉低气温,让不少地方一天比一天冷。今天,6个省会首府城市最冷气温创今年立冬后新低,其中哈尔滨为立冬后首次跌破-20℃,兰州、银川为立冬后首次跌破-10℃。

  如今,国家政策已转向鼓励生育,但令人困惑的是,许多年轻人却持生了孩子的意愿。反观90年代,计划生育的宣传深入人心,当时的社会氛围是倡导少生优生。在当时,宣传标语遍布各个角落,随处可见。那时候的宣传估计也没想到有一天被00后听进去了!说到00后的心巴上了!

  前段时间离婚综艺《再见爱人4》一开播就引发全网讨论,热度居高不下。而很久没有露面的张泉灵也因这档节目冲上了热搜,火了,让网友感慨不愧是央视主持人。

  据12月13日报道,俄罗斯对乌克兰发动了大规模空袭,动用了数十枚/架巡航导弹和无人机。路透社13日也报道称,乌克兰能源部长加卢先科表示,俄罗斯13日对乌克兰能源设施发动大规模袭击。