- 1
BloombergGPT问世,金融圈专用GPT来了?
ChatGPT引爆的AI热潮也“烧”到了金融圈。当地时间3月30日,彭博社最新发布的报告显示,其构建了目前最大的特定领域数据集,开发了专门为金融领域打造的、拥有500亿参数的大型语言模型(LLM)——BloombergGPT。报告显示,该模型依托彭博社的大量金融数据源,构建了一个3630亿个标签的数据集,支持金融行业内的各类任务。
BloombergGPT有何“用武之地”?
彭博社是全球最大的财经资讯公司,其在成立的四十年时间里,收集了海量的金融市场数据,拥有广泛的金融数据档案,涵盖一系列的主题。使用该公司数据终端的客户包括交易员、投行、美联储、美国其他官方机构以及全球各大央行等。基于LLM的生成型AI已经在许多领域展示了令人兴奋的新应用场景,但是,金融领域的复杂性和独特的术语意味着其可能需要特定的语言模型。
彭博社发布的报告显示,BloombergGPT已经接受了广泛的金融数据的训练,以支持金融行业内各种各样的自然语言处理(NLP)任务。它是专门为金融领域开发的一种语言模型,可以更好地处理金融领域的数据和任务。报告指出,研究人员利用彭博社现有的数据,对资源进行创建、收集和整理,通过构建迄今为止最大的特定领域数据集来完成BloomberGPT,并基于通用和金融业务的场景进行混合模型训练。
彭博声称,BloombergGPT将协助彭博改进现有的金融NLP任务,如情感分析、命名实体识别、新闻分类和问答等。在新闻业务领域,BloombergGPT训练是以众多新闻为基础的,因此它未来将协助记者日常工作。例如,记者需要为每个部分编写简短的标题,专门为此任务设计的模型维护成本太高,但BloombergGPT在这个方面表现优异;可以利用BloombergGPT更好地查询金融相关的知识,如,BloombergGPT能够很好地辨别公司的CEO。
在情感分析领域,彭博报告指出,通用NLP模型处理金融领域任务时会面临不少挑战,包括无法理解财经新闻背后的市场“情绪”。例如,“某公司将裁员1万人”在一般意义上表达了负面情绪,但从金融市场情绪来看,它有时可能被认为是积极的,因为这一做法可能提振投资者信心,使公司的股价上涨。
从测试来看,BloombergGPT在五项任务中有四项(ConvFinQA,FiQA SA,FPB和Headline)表现最佳,NER(Named Entity Recognition)排名第二。
测试一:ConvFinQA数据集是一个针对金融领域的问答数据集,包括从新闻文章中提取出的问题和答案,旨在测试模型对金融领域相关问题的理解和推理能力。
测试二:FiQA SA数据集包含情感分析任务,测试英语金融新闻和社交媒体标题中的情感走向。
测试三:FPB金融短语库数据集包括来自金融新闻的句子情绪分类任务。
测试四:Headline数据集包括关于黄金商品领域的英文新闻标题,判断新闻标题是否包含特定信息,例如价格上涨或价格下跌等。
测试五:NER数据集包含命名实体识别任务,对从提交给美国证券交易委员会(SEC)的金融协议中收集的金融数据进行信用风险评估。
对于ConvFinQA来说,这个差距尤为显著,因为它需要使用对话式输入来对表格进行推理并生成答案,具有一定挑战性。
BloombergGPT有何优势?
报告显示,该模型依托彭博社的大量金融数据源,构建了一个3630亿个标签的数据集,支持金融行业内的各类任务。与此同时,该数据集还与一个3450亿标签的公共数据集结合,创建了一个包含超过7000亿标签的大型训练语料库。这使得该模型不仅在金融任务上的表现超过现有模型,且在通用场景上的表现与现有模型也能一较高下。
彭博首席技术官Shawn Edwards表示:“我们认为具有金融领域特点的大型生成型LLM具有巨大价值。我们很高兴能开发出第一个专注于金融领域的LLM。BloombergGPT将使我们能够解决许多新类型的应用,同时它的性能优于为每个应用定制的模型,且上市时间更快。”
彭博机器学习产品和研究团队负责人Gideon Mann解释说:“机器学习和NLP模型的质量取决于你输入的数据。我们很高兴能够利用BloombergGPT改进现有的NLP工作流程,同时也思考新的方法将这个模型投入使用,为我们的客户带来惊喜。”
彭博推出BloombergGPT,ChatGPT怎么看?有媒体询问ChatGPT,其答复为“BloombergGPT是一项很有意义的技术进步:它是专门为金融领域开发的一种语言模型,可以更好地处理金融领域的数据和任务,并且在金融领域的基准测试中表现出色。这将有助于金融从业者更好地理解和应用自然语言处理技术,促进金融科技的发展。同时,BloombergGPT还可以为其他领域的语言模型的发展提供参考和借鉴。总的来说,BloombergGPT是一个有益的技术创新。”
来源:新金融评论
- 1