共计 2118 个字符,预计需要花费 6 分钟才能阅读完成。
常见名词
Tokenization
人工智能领域的 Tokenization 是指将输入的文本分割成一个个最小的语义单元,也叫做 token 或者词元 [1]。这是为了方便后续的数据处理和模型计算。不同的语言和任务可能需要不同的 Tokenization 方法,比如英文可以按照空格来分割单词,中文则需要用一些分词算法来划分词语。Tokenization 的难点是如何平衡词表的大小和语义的表达能力,以及如何处理生僻词和歧义问题 [2]。目前有三种主流的 Tokenization 方法,分别是基于词粒度、基于字符粒度和基于子词粒度的方法 [3]。
P-Tuning
P-Tuning 是一种用于提升超大规模语言模型下游能力的方法,它通过使用连续的向量来替换离散的 token,构建一个可训练的模板,然后利用少量的标注数据来优化模板的参数。这样可以发现更适合下游任务的模板,而不受语言模型词表的限制。P-Tuning 在 SuperGLUE 等 NLU 任务上取得了很好的效果,甚至超过了同等级别的 BERT 模型 [4][5]。
Fine-Tuning
Fine-Tuning 是一种迁移学习的方法,它指的是在一个预训练的模型的基础上,对模型的部分或全部参数进行微调,以适应新的任务或数据集。Fine-Tuning 可以利用预训练模型已经学习到的知识和特征,提高模型的性能和泛化能力。Fine-Tuning 的难点是如何选择合适的层和参数进行微调,以及如何避免过拟合或欠拟合。Fine-Tuning 在图像分类、自然语言处理等领域都有广泛的应用 [6][7][8]。
Transformer
Transformer 是一种基于自注意力机制的神经网络模型,它可以用于机器翻译、文本生成、语言理解等自然语言处理任务。Transformer 不使用传统的循环神经网络或卷积神经网络,而是完全依赖自注意力来计算输入和输出的表示。Transformer 由编码器和解码器两部分组成,每部分包含多个模块,每个模块又包含多头自注意力、前馈神经网络、残差连接和层归一化等组件。Transformer 在 2017 年由论文《Attention is All You Need》提出,开创了自然语言处理的新时代 [9][10][11][12]。
Pretraining
Pretraining 是一种机器学习的方法,指的是先用一个大规模的数据集或任务来训练一个模型,然后用这个模型的参数或部分参数来初始化另一个模型,以提高后者在新的数据集或任务上的性能。Pretraining 可以利用已有的知识和特征,加速模型的收敛,提高模型的泛化能力,节省计算资源。Pretraining 常用于深度学习领域,尤其是自然语言处理和计算机视觉领域 [13][14][15]。
pipeline
人工智能领域的 pipeline 是指将一个人工智能任务分解为多个步骤,并将这些步骤按照一定的顺序连接起来,形成一个自动化的流程。pipeline 的目的是简化和优化人工智能的开发和部署,提高效率和性能 [16][17]。
人工智能领域的 pipeline 一般包括以下几个步骤:
- 数据准备(Data Preparation):收集、清理、标注和划分数据,使其适合后续的处理和分析。
- 特征工程(Feature Engineering):从原始数据中提取、选择、构造和提取有用的特征,增强数据的表达能力和可区分性。
- 模型生成(Model Generation):选择或搜索合适的模型结构,并设置或优化模型的超参数,如学习率、批量大小等。
- 模型评估(Model Evaluation):使用测试数据或其他指标来评估模型的性能和泛化能力,如准确率、召回率、F1 值等。
- 模型部署(Model Deployment):将训练好的模型部署到实际的应用场景中,如云端、边缘设备等,并进行监控和更新。
资料推荐
- NLP 领域中的 token 和 tokenization 到底指的是什么?
- NLP 中的 Tokenization.
- 6 种 Tokenization 的独特方法 .
- P-tuning:自动构建模版,释放语言模型潜能.
- GitHub – THUDM/P-tuning: A novel method to tune language.
- Fine-tune a pretrained model – Hugging Face.
- Transfer learning and fine-tuning | TensorFlow Core.
- Fine-tuning 是什么意思?
- Transformer 模型详解(图解最完整版)
- Transformer – Wikipedia.
- Transformer – Definition, Types, Working Principle, Diagram.
- 详解 Transformer(Attention Is All You Need)
- What Does Pre-training a Neural Network Mean? – Baeldung.
- 预训练(pre-training/trained)和微调(fine-tuning)
- 使用 Pre-training 的方法與時機 | by Jia-Yau Shiau | 軟體之心 ….
- 机器学习 tips:什么是 pipeline?
- AI 综述专栏 | AutoML 自动机器学习:最新进展综述.