长期以来，人工智能 （AI） 一直对大型语言模型着迷，因为它们具有令人印象深刻的功能。然而，最近出现的小型语言模型为人工智能开发带来了重大的范式转变。这些模型虽然紧凑，但效率很高，为开发人员和企业提供了可扩展性、可访问性和效率。本文探讨了小型语言模型的变革潜力及其广泛的应用。
了解较小的语言模型紧凑型语言模型，通常被称为“精简版”或“迷你版”模型，旨在实现出色的性能，同时与较大的语言模型相比，需要的计算资源要少得多。这一成就是通过实施各种技术来实现的，包括知识蒸馏、量化和修剪。
知识蒸馏涉及将较大模型获得的专业知识转移到较小模型，通常通过利用较大模型的输出或内部表示作为较小模型模拟的目标。这个过程允许较小的模型从其较大的模型的知识和能力中受益，尽管它的尺寸缩小了。
另一方面，量化需要降低用于表示模型权重和激活的数值的精度。通过将这些浮点数转换为位数较少的定点数，量化有效地减少了模型的内存占用和计算复杂性，而不会显著影响其性能。
同时，修剪旨在通过识别和删除神经元之间的冗余连接（权重）来简化和压缩模型。这个过程会产生一个更精简的架构，更小、更高效，同时理想地保持甚至提高其性能。
总之，这些技术使紧凑型语言模型能够在大小和功能之间取得微妙的平衡，使其成为资源受限设置（如移动应用程序和边缘设备）的理想解决方案，在这些环境中，计算资源有限。
小语言模型的出现在快速发展的人工智能领域，语言模型的大小往往是其能力的代名词。虽然像 GPT-4 这样的大型语言模型 （LLM） 在 AI 领域占据主导地位，但较小的语言模型现在正在成为强大的工具。这种转变挑战了长期以来的观念，即越大越好。大型语言模型 （LLM） 的局限性LLM 在翻译、摘要和问答等领域表现出色。然而，他们的成功是有代价的：
高能耗：LLM 需要大量的计算资源。内存要求：它们需要大量内存。成本：它们的计算成本可能令人望而却步。GPU 创新落后于不断增长的 LLM 规模，暗示着扩展上限。小型模型的兴起研究人员正在将注意力转向较小的语言模型，因为它们具有效率和多功能性。将知识从 LLM 提炼到更小的模型中等技术可以产生类似的性能，同时减少计算需求。迁移学习使小型模型能够利用从解决相关问题中获得的知识来有效地适应特定任务。这种方法在情感分析和翻译等领域证明了它的有效性，在这些领域中，小型语言模型可以获得可比或更好的结果。例如，考虑一个场景，即小型语言模型最初是在大型文本数据语料库（如维基百科文章或新闻文章）上训练的。在此预训练阶段之后，模型可以经历一个称为微调的过程，在该过程中，模型在专门为情感分析或翻译任务注释的较小数据集上进行进一步训练。通过对这些特定于任务的数据集进行微调，模型可以学习辨别和提取与情感或翻译相关的相关特征和模式。因此，此过程使模型能够实现与从头开始训练获得的结果相当或超过的结果。探索领先的小型语言模型1. DeepMind 的龙猫洞察力尽管身材较小，但 DeepMind 的 Chinchilla 是大型模型的有力竞争者，挑战了尺寸等同于优势的传统观念。
主要特点紧凑的动力：拥有 700 亿个参数，Chinchilla 在性能方面名列前茅。数据优化：对 1.4 万亿个训练令牌数据集进行微调效率揭晓：Chinchilla 的研究深入研究了最佳训练数据集大小、模型维度和计算预算，强调效率而不是纯粹的规模。安全与道德它的持续发展凸显了安全和道德考虑的极端重要性。（参考文献）
2. Meta 的骆驼模型洞察力Meta 的 Llama 模型，参数范围从 7B 到 70B，违背了越大越好的观念，尤其擅长基于对话的任务。
微调和多功能性适用于各种 NLP 应用程序，展示从文本生成到编程代码的实力 （参考）
3. 斯坦福的羊驼洞察力斯坦福大学的 Alpaca 诞生于 Meta AI 的 LLaMa 7B 模型，尽管资源有限，但针对基于指令的任务，表现出卓越的性能。
谨慎参与由于正在进行的开发细微差别，与羊驼的互动需要谨慎。（参考文献）
4. Stability AI 的 StableLM 系列洞察力Stability AI 的 StableLM 系列实现了效率和有效性的和谐融合，提供了令人印象深刻的文本生成功能。
卓越性能StableLM 1.6B 优于大型同类产品，突显了效率的胜利。（参考文献）
技术进步及其影响UL2R： Ultra Lightweight 2 Repair 引入了混合降噪器物镜，可增强任务性能。Flan：对指令中的任务进行微调模型可以提高性能和可用性。跨行业的应用物联网设备中的自然语言理解 （NLU）较小的语言模型使物联网设备能够有效地理解和响应用户查询，从而彻底改变了物联网设备的功能。例如，配备紧凑语言模型的智能家居助手可以理解“调暗灯光”或“将恒温器设置为 72 度”等命令，而无需严重依赖云服务。这样可以加快响应时间并改善用户的隐私。
例考虑一个与迷你语言模型集成的智能扬声器。当用户询问“今天的天气预报是什么？”时，设备会在本地处理查询，并根据模型中的预训练知识提供即时响应。这种无缝交互增强了用户体验并减少了对外部服务器的依赖。
个性化内容推荐由小型语言模型驱动的内容推荐系统可根据个人用户偏好实时提供个性化建议。通过分析浏览历史记录、购买行为和其他相关数据，这些模型可以在各种平台上提供准确的建议。
例流媒体服务利用精简语言模型来分析用户的观看习惯和偏好。根据这些数据，该模型会推荐符合用户兴趣的电影或电视节目。例如，如果用户经常观看科幻电影，推荐系统可能会推荐类似的标题，从而提高用户的参与度和满意度。
医疗诊断与保健在医疗保健领域，较小的语言模型可帮助医疗专业人员完成临床文档、诊断预测和药物相互作用分析等任务。通过高效处理医学文本，这些模型有助于提高准确性和决策能力，最终增强患者护理。
例医疗保健应用程序采用迷你语言模型来帮助医生根据患者提供的症状诊断疾病。该模型根据庞大的医学知识数据库分析症状，并提供潜在的诊断或治疗建议，帮助医疗保健提供者提供及时准确的护理。
教育工具和语言学习为教育目的量身定制的语言模型为学习者提供个性化的辅导体验、语言翻译和语法纠正。这些模型支持教育工作者创建交互式学习材料和适应性评估工具，营造更具吸引力和更有效的学习环境。
例语言学习应用程序利用紧凑的语言模型为用户提供个性化的反馈和练习。该模型确定了用户可能需要改进的领域，例如语法或词汇，并提供有针对性的练习和解释以提高他们的语言技能。这种个性化的方法加快了学习过程并提高了整体熟练程度。
代码片段让我们来探索一下在 Python 中构建较小语言模型的示例代码片段。我将提供 N-gram 语言、神经语言和 Meta 的 Llama 模型的示例。
N-gram 语言模型N-gram 语言模型是自然语言处理中使用的统计模型，用于预测给定文本序列中前 N-1 个单词（或标记）的单词的概率。它的工作原理是分析文本语料库中 N 个单词序列（称为 N-gram）的共现频率。
现实生活中的用例考虑一个智能手机键盘，它可以在键入消息时建议下一个单词。此功能通常利用 N-gram 语言模型根据句子中前一个单词的上下文来预测最可能的下一个单词。例如，如果用户键入“I am going to”，则模型可能会根据这些短语在训练数据中出现的频率来预测“the”或“see”作为下一个单词。
代码说明在提供的 Python 代码片段中，我们演示了如何使用 Python 构建简单的 N-gram 语言模型：
我们从示例文本开始，例如“我喜欢在 Analytics Vidhya 上阅读有关数据科学的博客”。我们使用该函数将文本标记为unigram（单个单词）。split()接下来，我们通过遍历 unigram 列表来创建 bigram（连续单词对）。然后，我们计算文本中出现的每个二元组的概率。为简单起见，我们假设每个二元组的概率相等。最后，我们演示了如何通过查询字典来预测特定二元组（例如“爱读书”）的概率。probabilities此代码片段提供了如何在 Python 中实现 N-gram 语言模型的基本说明，以分析文本数据并根据观察到的单词序列模式进行预测。
蟒
# Example: Building an N-gram Language Modelbrbr# Sample textbrtext = "I love reading blogs about data science on Analytics Vidhya."brbr# Tokenize the text into unigrams (1-grams)brunigrams = text.split()brbr# Create bigrams (2-grams)brbigrams = [(unigrams[i], unigrams[i + 1]) for i in range(len(unigrams) - 1)]brbr# Compute probabilities (you can use frequency counts or other methods)br# For simplicity, let's assume equal probabilities for each bigrambrprobabilities = {bigram: 1 / len(bigrams) for bigram in bigrams}brbr# Example: Predict the probability of the bigram "love reading"brprint(f"Probability of 'love reading': {probabilities.get(('love', 'reading'), 0)}")br神经语言模型神经语言模型是自然语言处理 （NLP） 中的一种模型，它使用神经网络来学习单词序列中的模式和关系。这些模型能够生成连贯且与上下文相关的文本，使其适用于语言生成、机器翻译和文本摘要等任务。
现实生活中的用例考虑一个虚拟助手，如 Google Assistant 或 Siri，它以听起来自然且适合上下文的答案来响应用户查询。这些虚拟助手通常利用神经语言模型来理解并根据从用户那里收到的输入生成类似人类的响应。
型号说明在提供的 Python 代码片段中，我们演示了如何使用 PyTorch 和 Transformer 架构构建神经语言模型：
我们首先加载 WikiText2 数据集，其中包含大量英语维基百科文章。我们使用基本的英语标记器对原始文本数据进行标记。接下来，我们从标记化数据中构建一个词汇表，将单词转换为数字索引。我们通过将原始文本数据转换为适合训练神经网络的张量来对其进行预处理。我们定义了神经语言模型架构，在本例中，它基于 Transformer 架构。模型架构的细节，包括层数、隐藏单元和注意力机制，可以根据任务的要求进行调整。我们对预处理的数据进行批处理，通过将其分成批次来促进模型的高效训练。最后，我们使用 Transformer 架构训练神经语言模型，根据需要调整模型架构、超参数和训练循环以优化性能。此代码片段为使用 PyTorch 和 Transformer 架构构建和训练神经语言模型提供了一个基础框架，可以针对各种 NLP 任务和应用程序进一步定制和扩展。
蟒
import torchbrfrom torchtext.datasets import WikiText2brfrom torchtext.data.utils import get_tokenizerbrfrom torchtext.vocab import build_vocab_from_iteratorbrbr# Load the WikiText2 datasetbrtrain_iter, val_iter, test_iter = WikiText2()brtokenizer = get_tokenizer('basic_english')brvocab = build_vocab_from_iterator(map(tokenizer, train_iter), specials=['<unk>'])brvocab.set_default_index(vocab['<unk>'])brbr# Convert raw text into tensorsbrdef data_process(raw_text_iter):br data = [torch.tensor(vocab(tokenizer(item)), dtype=torch.long) for item in raw_text_iter]br return torch.cat(tuple(filter(lambda t: t.numel() > 0, data)))brbrtrain_data = data_process(train_iter)brval_data = data_process(val_iter)brtest_data = data_process(test_iter)brbr# Define your neural language model (e.g., using nn.Transformer)brbr# Example: Batchify the data for trainingbrdef batchify(data, bsz):br nbatch = data.size(0) // bszbr data = data.narrow(0, 0, nbatch * bsz)br data = data.view(bsz, -1).t().contiguous()br return data.to(device)brbrbatch_size = 32brtrain_data = batchify(train_data, batch_size)brval_data = batchify(val_data, batch_size)brtest_data = batchify(test_data, batch_size)brbr# Now you can train your neural language model using the Transformer architecture!brbr# Remember to adjust the model architecture, hyperparameters, and training loop as needed.brMeta 的骆驼模型Meta 的 Llama 模型是专为微调和领域适应任务而设计的高级语言模型。这些模型是 Meta AI 提供的更广泛模型的一部分，旨在为开发人员提供强大的自然语言处理能力。
现实生活中的用例以像 Facebook 这样的社交媒体平台为例，它利用 Meta 的 Llama 模型来增强其内容生成和推荐系统。通过对平台大量用户生成内容的 Llama 模型进行微调，Meta 可以根据个人用户的喜好和兴趣生成更相关、更具吸引力的内容推荐。
型号说明在提供的 Python 代码片段中，我们演示了如何利用 Meta 的 Llama 模型执行文本生成任务：
我们首先安装所需的软件包，包括 PyTorch 和 Transformers 库。然后，我们加载 Meta AI 提供的预训练 LLaMa 模型和分词器。在此示例中，我们使用 LLaMa 模型的“llama-3B”变体。接下来，我们指定一个提示，作为文本生成的起点。我们使用 LlamaTokenizer 对提示进行编码，将其转换为适合输入到 LLaMa 模型中的输入令牌。我们使用 LLaMa 模型通过传递编码的输入标记并指定参数（例如生成文本的最大长度和要生成的序列数）来生成文本。最后，我们将生成的输出标记解码为人类可读的文本并打印生成的文本。此代码片段展示了如何利用 Meta 的 Llama 模型执行文本生成任务，例如根据给定提示生成故事、标题或响应。这些模型擅长捕捉自然语言的细微差别，并生成连贯且与上下文相关的文本，使其成为 NLP 中广泛应用的宝贵工具。
蟒
# Install the required packagesbr!pip install torchbr!pip install transformersbrbrimport torchbrfrom transformers import LlamaForCausalLM, LlamaTokenizerbrbr# Load the pre-trained LLaMa modelbrmodel_name = "meta-llama/llama-3B"brtokenizer = LlamaTokenizer.from_pretrained(model_name)brmodel = LlamaForCausalLM.from_pretrained(model_name)brbr# Example: Generate text using the LLaMa modelbrprompt = "Once upon a time"brinput_ids = tokenizer.encode(prompt, return_tensors="pt")broutput = model.generate(input_ids, max_length=50, num_return_sequences=1)brbrgenerated_text = tokenizer.decode(output[0], skip_special_tokens=True)brprint("Generated text:", generated_text)br挑战与机遇尽管较小的语言模型提供了许多好处，但也有一些挑战需要考虑。用于压缩这些模型的技术可能会导致信息丢失或性能下降，这需要仔细优化和微调。此外，确保这些模型的部署符合道德规范且没有偏见，对于最大限度地降低与算法偏见相关的风险至关重要。
尽管如此，由于模型压缩算法和硬件优化技术的快速发展，我们有理由感到乐观。这些进步为该领域的进一步创新创造了重要机会。随着对人工智能解决方案的需求不断增长，较小的语言模型通过使人工智能在各行各业和地区更容易获得和负担得起，使人工智能民主化的潜力是巨大的。
结论总而言之，紧凑语言模型的出现标志着人工智能领域的重大演变，为传统的广泛模型提供了诱人的替代品。它们的适应性、功效和可扩展性使其成为从边缘计算到医疗保健和教育等各种应用的理想选择。借助小型语言模型的潜力，公司和开发人员可以探索新的发展机会，同时解决人工智能实施中的资源限制和伦理问题的困难。
原文标题：Navigating the Landscape of Smaller Language Models
原文链接：https://dzone.com/articles/navigating-smaller-language-models
作者：shiva kumar sriramulugari
编译：LCR
