计算机学院(新华三IT学院)


 
 
 
 
 
 
 
 
 
“基于BERT模型的财经新闻情感分类研究”“基于联邦学习的异质数据学习漂移问题解决方案”——计算机学院“启明星”讲坛第四期
[成都大学计算机学院]  发布时间:2024年03月26日
查看:
  来源:



本网消息(图/文 冉珂睿)3月26日中午,计算机学院“启明星”讲坛第期于十教10305顺利进行。学院副院长王进出席,杨敏和郭伟瞳两位同学主讲,2023级全体研究生到场聆听

杨敏同学分享了基于BERT模型的财经新闻情感分类研究。杨敏同学首先介绍了研究背景表示当前大多数投资组合论文和模型的特征主要集中在股票的技术指标,如收盘价、最高价、最低价和移动平均线等。然而,股票价格实际上受到股民的期望和情绪影响,而股民通常特别关注财经新闻。在当前大模型语言非常火热的背景下,杨敏同学将财经新闻通过自然语言处理(NLP)技术进行情感分类,并将其作为模型的输入,以提高投资组合模型的预测能力和准确性。在分享中,杨敏同学重点讲解了他所研究的论文中使用的BERT(Bidirectional Encoder Representations from Transformers)模型。BERT作为一个预训练模型,在使用时需要针对不同的任务进行微调,具有极强的泛化能力。通过对财经新闻进行情感分类,可以更好地理解市场情绪对股票价格的影响,为投资决策提供更准确的参考信息。

郭玮瞳同学分享了基于联邦学习的异质数据学习漂移问题解决方案。郭玮瞳同学分享了多个医疗机构利用联邦学习系统训练模型已成为最大限度发挥数据驱动模型潜力的有前途的解决方案。然而,医学图像中的非独立同分布(non-iid)数据仍然是现实实践中的突出挑战不同风格的扫描仪或协议导致的特征异质性在学习过程中引入了漂移,在局部(客户端)和全局(服务器)优化中都存在,这会损害模型的收敛性和性能。郭玮瞳同学从局部和全局两个视角联合来解决异质数据导致的学习漂移问题,包括提出基于频域的振幅归一化操作来协调不同客户端之间的异质数据特征,减轻局部更新偏移问题。此外,还提出基于梯度模型参数扰动来促进模型收敛于平坦状态,并对聚合阶段进行优化,从而有效应对学习漂移问题,提升模型的收敛性和性能。

会议结尾,王院长对两位同学的讲解和学习成果进行评议并提出具体建议,这次学术分享引起了大家的热烈讨论,参与者们积极提问,为学术交流提供了宝贵的平台。

(编辑 饶涛 责编 王进)