transformers官方教程学习笔记-FlyAI

transformers官方教程学习笔记

自然语言处理 PyTorch

最后更新 2021-07-09 10:06 阅读 9567

最后更新 2021-07-09 10:06

阅读 9567

自然语言处理 PyTorch

# 1 安装

安装的软件包有:(当然选择自己喜欢的环境,可以是python\anaconda\miniconda)
- transformers
- datasets
- tokenizers
- accelerate

```bash
pip install transformers datasets tokenizers accelerate
```
如果安装速度慢的话,可以使用使用国内的镜像,如下所示:
```bash
pip install transformers datasets tokenizers accelerate -i https://pypi.douban.com/simple/
```
对较新版本的pip setuptools,注意使用https

四个包分别是:
- transformers:主要的模型和训练过程包
- datasets:数据包,非常多,慢慢学习和积累吧
- tokenizers:分词器,这个先看看
- accelerate:hugging face的训练加速器(多GPU和fp16学习),当然也可以用pytorch原生的和pytorch lightning

# 2 Transformers模型

![教程内容](https://huggingface.co/course/static/chapter1/summary.png)

**NLP的主要任务有:**
- 句子分类:包括情感分析,垃圾邮件检测,语法纠错,文本推理等
- 词分类:词性标注,命名实体识别
- 文本生成:生成完整文本,完形填空
- 从文本中抽取答案(抽取式阅读理解)
- 从输入文本生成新的文本:翻译,文本摘要

**Transformers的pipeline**:
- feature-extraction(获取一个文本的嵌入表示)
- fill-mask
- ner(命名实体识别, name entiry recognition)
- question-answering
- sentiment-analysis
- summarization
- text-generation
- translation
- zero-shot-classification(无监督推理,我是这么理解的)

Transformers家族发展历史:
![Transformers家族发展历史](https://huggingface.co/course/static/chapter1/transformers_chrono.png)

整个Transformers模型家族可以分为三类:
- GPT类:也称为自回归模型
- BERT类,也称为自编码模型
- BART/T5类,也称为seq2seq模型

Transformers家族的发展遵循模型越来越大,训练数据越来越多的趋势
![Transformers发展趋势](https://huggingface.co/course/static/chapter1/model_parameters.png)

带来一个问题,类似你我这样的单gpu研究人员怎么办?答案是用人家已经训练好的语言模型,大家熟悉的迁移学习.

图像处理中有ImageNet和分类问题的图像预训练模型
NLP中对应有Transformers家族预训练模型

![Train预训练模型](https://huggingface.co/course/static/chapter1/pretraining.png)

![迁移学习](https://huggingface.co/course/static/chapter1/finetuning.png)

**Transformers模型结构**

从seq2seq发展而来的,Transformer使用seq2seq的encoder和decoder结构发展而来.

- GPT类:使用Transformers的Decoder,有利于生成类任务,比如文本生成.
- BERT类,使用Transformers的Encoder,有利于理解输入文本的语义,比如在文本分类和token分类(NER)上效果较好.
- BART/T5类,使用Transformers完整的Encoder-Decoder.在有输入的文本生成上效果较好,比如翻译和摘要

![Encoder-Decoder结构](https://huggingface.co/course/static/chapter1/transformers_blocks.png)

Transformer的原始结构(来自论文Attention is all you need)

![Transformer结构](https://huggingface.co/course/static/chapter1/transformers.png)

## 2.1 Encoder Models

Encoder模型适合任务有:
- 文本分类
- token分类
- 抽取式问答

常见模型有:
- BERT
- ALBERT
- DistilBERT
- ELECTRA
- RoBERTa
- 
## 2.2 Decoder Models

常见模型有:
- CTRL
- GPT
- GPT-2
- Transformer-XL
- 
## 2.3 Encoder-Decoder Models

适合带输入的文本生成任务,比如:
- 摘要
- 翻译
- 生成时问答

常见模型有:
- BART
- mBART
- Marian
- T5

# 3 使用Transformers

Transformers模型有:
- *Model(例如BertModel)
- *ForCausalLM
- *ForMaskedLM
- *ForMultipltChoice
- *ForQuestionAnswering
- *ForSequenceClassification
- *ForTokenCLassification
- others

## 3.1 Tokenizer

常用分词方法有:
- word
- character
- subword
- Byte-level BPE, 在GPT-2中使用
- WordPiece, 在BERT中使用
- SentencePiece或Unigram,在多语言模型中使用

# 4 微调模型

map和dynamic padding

这里不再对tokenizer和model进行介绍,不清楚的可以查看下tokenziers和Transformers的文档.这里介绍下accelerate的用法,感觉可以和pytorch-lightning合起来用!

```python
from accelerate import Accelerator
from transformers import AdamW, AutoModelForSequenceClassification, get_scheduler

accelerator = Accelerator()
checkpoint = "bert-base-uncased"
model = AutoModelForSequenceClassification.from_pretrained(checkpoint, num_labels=2)
optimizer = AdamW(model.parameters(), lr=5e-5)

train_dataloader, eval_dataloader, model, optimizer = accelerator.prepare(
    traitrain_dataloader, eval_dataloader, model, optimizer
)

num_epochs = 3
num_training_steps = num_epochs * len(train_dataloader)
lr_scheduler = get_scheduler(
    "linear",
    optimizer = optimizer,
    num_warmup_steps = 0,
    num_training_steps = num_training_steps,
)

progress_bar = tqdm(range(num_training_steps)

for epoch in range(num_epochs):
    for batch in train_dataloader:
        outputs = model(**batch)
        loss = outputs.loss
        accelerator.backward(loss)
        
        optimizer.step()
        scheduler.step()
        optimizer.zero_grad()
        progress_bar.update(1)
```

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可，转载请附上原文出处链接和本声明。
本文链接地址：https://flyai.com/article/954

讨论

500字

表情

发送

删除确认

是否删除该条评论？

取消删除