少样本提示工程和大语言模型的微调在 Amazon Bedrock 中 机器学习博客

在亚马逊Bedrock中进行少量示例提示工程和LLM微调

作者 Sovik Nath Jia (Vivian) Li 和 Yanyan Zhang发布时间 2024年8月2日类别 高级300、亚马逊Bedrock、金融服务、生成AI

关键要点

财报电话会议的重要性 财报电话会议对公司财务健康和前景提供透明度，影响投资者和分析师的决策。生成AI模型的应用 我们可以使用少量示例学习和微调方法生成财报电话会议的初稿。Amazon Bedrock的优势 Amazon Bedrock提供了一种简单的方式来建立和扩展生成AI应用，支持模型定制和私有微调。

财报电话会议是至关重要的事件，提供公司财务健康和前景的透明度。财报详细列出公司在特定期间的财务数据，包括收入、净收入、每股收益、资产负债表和现金流量表。财报电话会议是高管们对结果进行概述、讨论成就和挑战的现场会议，并提供未来期间的指导。这些披露对资本市场至关重要，显著影响股票价格。投资者和分析师密切关注关键指标，如收入增长、每股收益、利润率、现金流和预测，以评估公司业绩与同行和行业趋势的表现。

这些电话会议还让投资者寻找公司未来的新线索。公司通常在此类活动中发布有关新产品、尖端技术、并购以及对新市场主题和趋势的投资的信息。此类细节可为投资者、分析师和投资组合经理信号潜在增长机会。

传统上，财报电话会议脚本遵循类似模板，使每次从头生成脚本成为可重复的任务。另一方面，生成型人工智能AI模型可以学习这些模板，并在接收季度财务数据时生成连贯的脚本。借助生成AI，公司可以利用可重复的模板和特定的业绩及商业亮点信息，简化创建新季度财报电话会议脚本初稿的过程。大型语言模型LLM生成的财报电话会议初稿可以在公司高管的反馈下进一步完善和定制。

Amazon Bedrock 提供了一种简单的方法来构建和扩展 生成AI应用，并能轻松访问来自 AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI 和亚马逊等领先AI公司的高效基础模型FMs。模型定制 可以帮助您提供差异化和个性化的用户体验。您可以使用自己的标注数据对FMs进行私有微调，以满足特定任务的需求，仅需几个简单步骤。

在本篇文章中，我们展示了如何使用LLMs生成新季度财报电话会议的初稿。我们展示了两种使用LLMs生成财报电话会议脚本的方法：少量示例学习和微调。我们从多个维度评估生成的财报电话会议脚本及所应用的方法全面性、幻觉、写作风格、易用性和成本，并展示我们的发现。

解决方案概述

我们应用两种方法生成新季度财报电话会议脚本的初稿：

使用少量示例学习的提示工程 我们使用过去财报脚本的示例，通过Amazon Bedrock上的Anthropic Claude 3 Sonnet生成新季度的财报电话会议脚本。微调 我们使用来自过去财报脚本的输入/输出标注数据对Meta Llama 2 70B进行微调，并用定制模型生成新季度的财报电话会议脚本。

这两种方法都涉及利用来自多个季度的一致财报电话会议记录数据集。我们使用了过去几年的季度财报电话会议，同时将一个季度单独留出，作为测试和比较的基础。

流程开始时从过去季度到最近季度检索财报电话会议记录。下一步是选择多个来自之前季度的脚本，作为少量示例学习的示例，同时作为微调的输入/输出数据集。最近季度的脚本则留作验证和评估生成脚本使用。生成的脚本通过与该季度的实际脚本进行比较来进行评估，而该实际脚本在最初被保留作为参考。

下图说明了这两种方法的解决方案架构和工作流程。

在后续部分中，我们将详细讨论每种方法的工作流程。

在亚马逊Bedrock上用Anthropic Claude 3 Sonnet进行少量示例学习

使用Anthropic Claude 3 Sonnet进行少量示例学习的 提示工程 分为四个部分，如下图所示。前三个部分为LLM提供了固定的指令，包括给LLM分配角色、叙述的风格和语调的指示，以及来自过往季度财报的示例以供少量示例学习。第四部分包含有关当前季度财务表现、结果和商业亮点的信息，以便LLM生成财报电话会议。

我们使用Anthropic Claude 3 Sonnet生成新季度的财报电话会议，基于过去季度的财报进行。以下是我们少量示例学习及提示指令的示例：

A部分：总体提示指令上下文您是Any Company的CEO和CFO，正在准备向投资者呈现季度财报。撰写一份全面的财报电话会议脚本，涵盖该季度的关键财务指标、商业亮点和未来展望。请提供收入、营业收入、各部分表现和本季度的重要战略举措或产品发布的详细信息。

B部分：财报脚本的具体指导上下文财报脚本应采用正式、适合公开财报电话会议的投资者友好语气撰写。使用清晰简明的语言解释财务表现和业务发展。力求在提供足够细节和保持脚本合理简洁之间找到平衡。结合具体数据点和数字，但避免过度深入的数字细节。整体结构应流畅，涵盖财务亮点、营业收入、各部分亮点、战略优先事项和未来展望等关键主题。使用以下5条指令生成财报电话会议脚本的结果。1 通过将内容组织成逻辑部分如财务亮点、各部分表现、运营指标、战略举措和未来展望，提供清晰的结构。 2 提供关于影响表现的因素如客户行为趋势、供应链改善、成本优化等的详细见解和见解。 3 通过具体数据和百分比来支持您的评论，以增强陈述的可信度。 4 提供全面的未来展望，讨论资本投资、对即将发生的事件或季节的准备以及长期战略重点或优先事项。 5 始终保持客观分析的语气，避免过于口语化或随意的语言。

C部分：来自过去季度的示例脚本用于少量示例思维过去季度的示例脚本提供了财报电话会议脚本的结构、语气和期望细节水平的参考。使用这些示例来了解如何呈现财务数据、突出关键业务举措并解决投资者的关注或问题。不过，确保当前特定季度的脚本针对该季度的具体财务表现和业务事件进行定制。lt示例gtAmazon 2021年第一季度财报电话会议记录

Amazon 2021年第二季度财报电话会议记录 lt示例gt

D部分：当前季度所需脚本的财务数据上下文

提供特定季度的实际财务结果，包括： 总收入和同比增长率 主要部分的收入分解如AWS、在线商店等 营业收入总额及各部分，如果有的话 任何关键的运营指标如Prime会员、第三方卖家指标等 影响结果的重要因素的说明如外汇、产品发布、一次性事件 对下季度收入、营业收入的未来展望 强调本季度的关键业务发展、产品发布或战略优先事项：ltfinancialdatagt

在亚马逊Bedrock上微调Meta Llama 2 70B

在这一部分，我们介绍通过微调LLM来提高生成财报电话会议脚本质量的方法。我们选择了适应Meta Llama 2 70B模型，该模型强大，且在各种自然语言任务中表现优异，以特定领域的财报电话会议脚本为目标。

下图展示了我们微调方法的工作流程。

为 准备训练数据，我们收集了2021年第一季度至2022年第四季度Amazoncom的真实财报电话会议记录的综合数据集。这个专注的数据集让模型更好地学习公司的领域特定知识和术语。时间跨度也确保模型可以从近期财报沟通过程中的趋势和模式中学习。

Amazon Bedrock提供了 模型定制功能，允许您直接使用自己的数据来定制多种不同的模型。此功能不仅帮助提高模型在特定任务上的表现，还让模型更好地理解公司特定领域的知识和术语，最终创造更好的用户体验。

要微调文本到文本模型，您需要通过创建一个包含多个JSON行的JSONL文件来准备训练和可选的验证数据集。每个JSON行是一个包含提示和完成字段的示例。在我们的用例中，提示包含提示模板，其中包括该季度的关键财务数据，而完成字段包含该季度的实际财报电话会议记录。

我们使用以下提示模板：

json{prompt A部分：总体提示指令上下文 B部分：财报脚本的具体指导上下文 D部分：所需脚本的财务数据上下文 当前季度{timeperiod}的财务数据是：ltfinancialdatagt{Section D}ltfinancialdatagt 请基于上述信息生成{timeperiod}的财报电话会议记录给投资者，不要杜撰任何信息。 completion 该季度的真实财报电话会议记录}

训练数据以JSONL格式准备，每行代表一个季度的财报电话会议：

json{prompt ltprompt1gt completion ltexpected generated textgt}{prompt ltprompt2gt completion ltexpected generated textgt}{prompt ltprompt3gt completion ltexpected generated textgt}

准备好数据集后，我们将其上传到 亚马逊简单存储服务 (Amazon S3) 并在Amazon Bedrock中设置定制作业。训练时间取决于训练数据的大小和所选模型，从几分钟到几小时不等。训练完成后，您必须购买预配吞吐量以使用该模型并生成未来的财报电话会议脚本。您可以选择 无承诺 选项，按小时计费。

出于推理的需要，由于某些语言模型在微调时需要提示输入和预期输出之间有明确的分隔，我们需要在输入模型之前添加一个特殊的分隔键。具体而言，对于Meta Llama 2 70B模型，我们在输入提示后添加键nn Responsen。此分隔符帮助模型区分提示何时结束，预期回应何时开始，使其能够生成更准确的输出。提示如下所示：

提示：{UserInputPrompt}

风驰加速器永久免费版

回应：

通过在推理期间使用这种格式化的提示，微调后的Meta Llama 2 70B模型能够更好地理解输入上下文并生成更相关的财报电话会议脚本作为回应。

为了更好的性能，您可以使用相同的提示模板，结合当前季度的财务数据没有少量示例学习的示例，格式化并添加分隔符，然后将其发送给定制的模型以生成该季度最终的财报电话会议脚本。

对少量示例提示工程和微调的评估

我们通过两种不同的方法评估了生成的财报电话会议记录少量示例提示工程和微调：

人工评审评估使用LLMAnthropic Claude 3 Sonnet比较三个变体的评估

人工评审评估

下表总结了人工评审的结果。

必须注意，造成这些差异的两个因素是不同的方法少量示例学习和微调和不同的模型Anthropic Claude 3和Meta Llama 70B。因此，结果不能仅解释为对模型的比较。建议根据您的具体用例和数据探索这些方法，然后通过与相关业务部门的主题专家讨论来评估结果。

因素微调模型少量示例提示工程全面性脚本涵盖了大部分关键点，尽管遗漏了一些细节。例如，它没有提到广告增长主要是源于使用机器学习模型来提高广告的相关性。脚本涵盖了提供的关键点。幻觉出现两次。(1) “此增长由我们Prime Day事件的强劲需求推动，销售破纪录，吸引了数百万新的Prime会员。” (2) “此增长由我们关键市场的强劲需求推动，包括印度和日本。”一次。(1) “在北美，收入同比增长11，达到879亿美元，受到持续强劲需求和Prime会员购买频率的提升推动。”写作风格(1) 此脚本使用了多种客观和准确的语言，保持了一致的真实财报电话会议风格。仍有一些主观表达，比如“巨大成功”，和模糊不清的表达，比如“高双位数增长”。 (2) 语言变化较少。例如，它多次使用格式为“这种由推动”的句式。 (3) 模型生成了一些额外的句子，例如“现在，让我们转向我们的前瞻性指引。此刻，我们没有提供四季度具体的收入或营业收入指引。”实际财报电话会议使用准确和客观的语言，而此脚本使用了更多隐喻性表达，如“专注激光”和“取得进一步进展”，以及主观表达如“审慎投资”和“严谨执行”。易用性(1) 在Amazon Bedrock中微调模型提供了在Amazon Bedrock控制台上遵循步骤的选项，或使用代码通过API与LLMs进行交互。 (2) 微调过程一般比基于相同文档的少量示例提示工程需要更长时间。 (3) 微调要求为训练所选模型准备输入/输出格式的数据JSON文件。 (4) 如果添加新文档，整个微调模型需要通过相同的微调过程进行更新。(1) Amazon Bedrock允许用户中直接给予指令和示例数据给LLM，既可以使用UI也可以创建可重复的代码。 (2) 如果添加新文档，用户只需将新的少量示例或提示指令添加到提示中。总体而言，与微调模型相比，少量示例提示工程更易于实现。成本微调的月成本 = 微调模型的训练成本按训练数据的标记量计费 每月自定义模型存储成本 自定义模型推理的每小时成本。按输入少量示例和提示及输出标记量计费。

成本比较可以通过使用频率进一步评估，如下表所示。

方法 一次性成本 经常性成本 推理成本