*本文参考报告：《2024年中国金融大模型落地应用探析：智能金融，赋能未来》，首发于头豹科创网。
近期，金融行业迎来了一波人工智能大模型的发布热潮，工商银行率先推出了专为金融行业打造的人工智能通用模型，农行发布了金融AI大模型ChatABC，科大讯飞则将目光投向保险领域，其“讯飞星火”智能客服系统正逐步应用于各类保险业务场景，优化服务流程，彭博社推出的大型语言模型BloombergGPT，旨在为金融专业人士提供更精准的信息分析工具……
无论是国内还是国际，金融行业都在积极拥抱人工智能技术，特别是大模型的广泛应用，正逐渐成为推动行业数字化转型的关键力量。
人工智能大模型不仅能够处理复杂的金融数据，提供个性化服务，还能在风险管理、投资决策、客户服务等多个领域发挥重要作用。
随着各大金融机构和科技企业持续加大在人工智能领域的投入，可以预见，未来的金融市场将更加智能化、个性化，为用户带来前所未有的便捷与安全。
目前金融大模型处于什么状态？金融大模型的数据收集与精调情况如何？金融机构会如何选择部署大模型？
本文，头豹研究院将对中国金融大模型落地应用进行探析，包括数据收集、数据精调、模型推理优化、幻觉与解决方案等。
01
中国行业大模型落地应用——落地数量
工业、金融、电信是行业大模型落地应用的三大重点领域。在金融领域，大模型的应用更为突出，各金融机构利用大模型进行数字化升级，不仅提升了服务质量，还通过优化服务流程降低了风险。
金融行业的数据密集性和对精准分析的需求，给金融大模型的落地创造了极佳的地面环境，使得大模型技术能够在金融领域发挥更大的作用。
大模型在金融领域的广泛应用主要是由于金融行业的数据密集性和高度依赖数据分析的特性。
金融机构每天处理大量的交易数据、客户数据和市场数据，这些数据为大模型的训练和应用提供了丰富的素材。
通过大模型技术，金融机构能够在风险管理、信用评估、市场预测、反欺诈等方面实现更高的精准度和效率。
在金融服务业的广阔生态中，银行依托其核心业务的基石地位，率先成为大模型技术深入融合与应用的桥头堡。
银行作为金融领域的核心机构，其业务范围广泛，涵盖了个人银行、企业银行、投资银行等多个领域，每个领域都依赖于精准的数据分析和风险控制。
大模型在银行业的应用主要集中在信用评分、客户服务、风险管理和合规性检查等方面。
02
中国金融大模型落地应用——模型推理优化
内存管理
SRAM与HBM的优化
FlashAttention：基于SRAM的内存优化技术，如FlashAttention，通过将Attention操作的计算从HBM转移到SRAM，显著提升了推理速度并降低了资源消耗。这种技术通过分块计算和算子融合，有效减少了HBM的IO读写需求，提高了内存利用率和推理效率。
PagedAttention：针对HBM的优化技术，如PagedAttention，通过优化KV cache的存储方式，解决了由于内存分配不当导致的HBM内存浪费问题。这种技术允许在非连续内存空间中存储连续的key和value，提高了系统的吞吐量和处理能力。
内存管理策略的重要性
金融大模型在推理过程中需要处理大量的数据，并且往往对实时性和准确性有很高的要求。因此，高效的内存管理策略对于确保金融大模型推理服务的稳定性和性能至关重要。通过优化内存使用，可以提高系统的响应速度，减少资源消耗，并提升用户体验。
请求批处理
动态批处理与连续批处理
动态批处理：通过动态调整批大小以适应新的请求，提高了GPU的利用率和系统的吞吐量。然而，这种方法可能会导致批请求的输入中填充长度影响内存利用率。
连续批处理：通过细粒度的调度和内存优化技术，允许请求根据需要加入或离开批次，从而消除了对请求的输入进行填充的需求。这种技术有效解决了静态批处理和动态批处理中存在的问题，提高了系统的灵活性和性能。
批处理在金融领域的应用
金融领域，高频的交易和实时数据分析对系统的吞吐量和响应速度有很高的要求。通过优化请求批处理策略，可以确保金融大模型推理服务能够高效地处理大量的请求，满足金融业务的实时性和准确性需求。
模型量化
模型量化的优势
模型量化通过将神经网络的参数和状态从高位数转换为低位数，有效减少了计算过程中的IO通信量，提升了推理速度并减少了显存占用。这种技术对于金融大模型推理服务尤为重要，因为它可以帮助金融机构在有限的资源下处理更多的数据，提高系统的处理能力和效率。
训练中量化与训练后量化的选择
训练中量化：在模型训练过程中引入量化操作，通过调整模型的训练策略和优化目标，使模型在量化后仍然保持较好的性能。这种方法需要更多的计算资源和时间，但可以获得更好的量化效果和性能提升。
训练后量化：在模型训练完成后进行量化操作，通过简单的数学变换和参数调整，将模型转换为低精度版本。这种方法简单易行，但可能无法获得与训练中量化相同的性能提升。
03
中国金融大模型落地应用——幻觉与解决方案
在金融领域，幻觉问题主要指模型生成的文本内容存在非忠实性和非事实性，这直接影响到模型的可靠性和基于此的金融决策的正确性。事实性幻觉意味着模型输出的内容可能与现实世界的事实不符，而忠实性幻觉则意味着模型可能未能准确理解或遵循用户的意图和上下文。
预阶段训练：模型学习广泛的数据以捕获语言的统计规律，但可能会吸收错误或过时的信息，导致事实性幻觉。
指令微调阶段：如果训练数据存在质量问题（如标注错误、数据偏差等），或者训练任务设计不合理，都将导致模型产生幻觉。
对齐训练阶段：模型需学习如何将知识或信息与用户的意图和上下文进行对齐。如果对齐不准确，就会导致忠实性幻觉。
推理阶段：模型缺乏质疑自身输出的能力，尤其是当幻觉与模型训练数据中的偏见或错误信息相吻合时。
此外，我们还在报告中完整分析了中国金融大模型落地应用案例及落地挑战等，可前往文末获取完整版报告。
“读研报 找头豹！”
本文推荐阅读
如您想阅读更多内容
↓↓长按扫描下方二维码获取↓↓
