文章共2850字，大约需要花费12-15分钟阅读
介绍
在当今数字化时代，人工智能（AI）正以前所未有的速度和创新改变着我们的生活。其中，大型语言模型（LLMs）引起了广泛的关注和兴趣。这些强大的AI模型被训练在海量的文本数据上，可以理解和生成人类语言，从而为各种应用场景提供无限的可能性。
本文将带您走进大型语言模型的奇妙世界，了解它们是如何运作的，以及它们对AI技术和未来的影响。
大型语言模型（LLMs）是一种先进的AI模型，它们具有强大的自然语言处理能力。这些模型的训练数据来自于互联网上的海量文本，涵盖了各种主题和语言风格。通过学习这些大量的文本数据，LLMs能够预测和生成类似人类语言的文本。
LLMs在许多领域都有着广泛的应用。它们可以用于自然语言理解，包括文本分类、情感分析和信息提取。同时，LLMs还可以用于自然语言生成，例如文本摘要、问答系统和文章创作。这些模型甚至可以在虚拟助手和聊天机器人中提供更加智能的交互体验。
引言
在应用中使用大型语言模型（LLMs）的方法是：选择一个语言模型、一个嵌入模型和一个嵌入存储库，然后将它们通过一个提示层和一个简单的API层连接在一起。将模型与提示层分离，这样可以提高灵活性，并且在以后更容易切换语言模型。使用嵌入模型将文本转换为语义信息，使其可供搜索。API层应该收集请求、记录它们，并根据提示和嵌入返回答案。这样的设计让应用管理更容易，同时最大限度地发挥了在各种情境下使用LLMs的优势。
关键词
语言模型（LM）：LLMs是在大量文本数据上训练的先进模型，能够理解人类语言的结构和语义。例如GPT-3、chatglm。
嵌入模型：嵌入模型将文本数据转换为捕捉底层语义含义的数值表示（嵌入）。这些嵌入使得文本数据更易于处理和比较。
嵌入存储库：嵌入存储库是一个数据库或存储系统，用于高效地存储计算出的嵌入，以供检索和搜索使用。
提示层：提示层是一个组件，用于结构化输入并作为指导，使语言模型生成相关的回答。它有助于针对特定任务或应用程序微调语言模型的行为。
API层：API层是用户或应用程序与语言模型交互并接收响应的接口。它收集和处理请求，记录它们以进行分析，并与底层模型和嵌入存储库进行通信。
整体架构
语言模型 在你的用例中，你需要一个模型 - 即LLM本身。然而，将它与提示层分离是很重要的，这样你就可以根据你的用例选择最适合的模型。这将为你提供灵活性，使你能够选择最适合你的模型。目前有很多模型可供选择，既有自托管的，也有通过API访问的。初步推荐选择一个基本的API模型，以便让你熟悉提示的使用和可能遇到的问题。
嵌入 + 嵌入存储库 在开始使用LLM时，嵌入可以看作是一种神秘的技术。从技术上讲，嵌入是从LLM的顶层激活中获取的一组浮点数向量。这意味着具体来说，它是一组数字，代表给定提示的抽象语义含义，或者更简单地说，它是LLM在处理你的文本时的思考内容。嵌入的伟大之处在于，如果两个向量非常接近，它们在语义上是相似的，即它们表示相同的含义。Azure的文档在此处有一个很好的解释。
与语言模型一样，有很多模型可供选择。同样，为了简单起见，可以从一些基于API的模型开始，但请注意，特定于文本嵌入的优秀模型也是可用的。
鉴于你希望能够搜索所创建的向量以便稍后使用，你将需要找到一种存储方式。你可以选择一些专门构建的解决方案，比如Pinecone或Chroma，或者只是使用一个Postgres数据库，甚至是一个numpy数组。
提示层 提示层是LLM服务堆栈中至关重要的组件。它的主要目的是在API层和语言模型之间提供一层抽象，以实现更大的灵活性和自定义性。
它负责管理不同的提示，并在请求本身之外提供模型级别的自定义。它还可以通过来自嵌入存储库的事实信息来丰富提示，这些信息与提示相关。提示层也是你可以引入逻辑来衡量提示性能并对不同的提示进行A/B测试，以找到最适合你用例的提示的地方。
API层 API层是其他服务与语言模型进行交互的接口。它的主要功能是收集请求，记录它们，并根据提示和嵌入返回答案。它应该提供一些包含常用功能的端点，例如用于问答应用程序的端点，以便让用户快速获取结果。同时，也有必要提供更“原始”的端点，以便调整和优化模型的使用方式，并进行实验，看它们如何被使用。在这两者之间取得平衡，使得它能够在公司内构建出适用的解决方案。
此外，该层还可用于处理传入请求，验证输入，并格式化输出。
构建
当你开始构建LLM应用程序或将LLMs集成到你的产品中时，你会希望了解模型的表现如何以及输出的一致性。大多数公共模型提供商（例如OpenAI、Cohere等）都允许你调整参数Temperature，从而控制模型提示的输出确定性。参数Temperature的作用方式类似于对原子粒子施加的作用。如果参数Temperature为0，一切都会冻结在原地，每次得到相同的回答。如果参数Temperature较高，事物会频繁变动，你会得到更多样化的答案。
无论你的模型提示或参数Temperature如何，你都会希望在使用模型时设置一些基本的可观测性和测试。
对应用程序的测试
在开发LLM应用程序时，你需要对它进行测试，以确保它能够按预期工作。但是，由于LLM返回的响应可能对相同的请求产生不一致的结果，因此测试设置会比较复杂。为了避免每次运行测试时都重新执行模型计算（这样会浪费时间和资源），我建议在测试套件中缓存请求和相应的配对。这样一来，测试会更加高效。
除了测试，你还希望了解LLM应用程序在实际生产环境中的性能。为此，你需要建立可观测性，即能够监控和了解应用程序在运行过程中的表现。有许多工具可以帮助你实现这一点，其中一些工具在性能方面表现相当优秀。但如果你刚刚开始，你也可以很容易地自行构建可观测性功能。一种简单的方法是记录请求和相应的配对、模型版本以及其他相关参数，如温度等。然后，你可以使用现有的遥测工具对这些数据进行分析，从而更好地了解LLM应用程序在实际运行中的表现。
结论
将大型语言模型（LLMs）融入你的应用程序可能是一个令人望而却步的任务，但是通过使用LLM服务堆栈，你可以将它分解成可管理的组件。
我建议选择一个语言模型、一个嵌入模型、一个嵌入存储库、一个提示层和一个API层。通过将模型与提示层分离，你可以实现最大的灵活性，并且以后更容易切换语言模型。嵌入是LLM的重要组成部分，它可以将文本转换为语义信息并使其可搜索。提示层允许更大程度的定制和A/B测试，而API层为其他服务提供了一个简单的接口，可以与你的LLM进行交互。
虽然我涵盖了LLM服务堆栈的几个关键组件，但我没有涉及其他重要的主题，比如微调和如何使用和负载均衡多个模型。我将在以后的博客文章中介绍它们，因为大多数这些主题需要你自己设置和管理模型。
尽管如此，本指南应该为那些希望将LLMs融入其应用程序的人提供一个有用的起点。更重要的是，本指南详细介绍了如何快速构建LLM应用程序，而不需要支付多个SaaS产品的费用 - 除了模型执行之外。
