Press "Enter" to skip to content

简单的文本分类任务:不借助Trainer实现

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

携手创作,共同成长!这是我参与「掘金日新计划 · 8 月更文挑战」的第30天,点击查看活动详情

 

说明

 

之前的一篇博客简单的文本分类任务:使用Huggingface Trainer实现
为大家展示了如何使用Huggingface Transformers库来快速上手实现一个现代的文本分类模型的范式,虽然trainer很好用,但由于其封装的太过完善,所以在某些修改方面显得不是那幺方便,我们有必要自己使用Pytorch手写一下整个流程。

 

任务简介

 

与前一篇博客相同,仍进行IMDB数据集上的情感分析。不过本次实验的不同之处在于:

 

 

    1. 为了快速实现,使用训练数据为1000条,测试为100条;

 

    1. 使用BERT进行训练而不是distil-bert。

 

 

数据预处理

 

一如既往,我们还是使用datasets库加载数据集,

 

from datasets import load_dataset
dataset = load_dataset("imdb")

 

接着,初始化tokenizer然后进行预处理

 

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")

 

我们使用bert的tokenizer,词表数目为30522。

 

在进行分词时,为了加快运行速度,设置最大的token序列长度为256。

 

def tokenize_function(examples):
    return tokenizer(examples["text"], padding="max_length",truncation=True,max_length=256)
tokenized_datasets = dataset.map(tokenize_function, batched=True)
tokenized_datasets.set_format("torch")  #将值转换为torch.Tensor对象

 

同样的,由于数据集过大,我们这里只选择1000个做train的样例,100个做evaluation样例。

 

SMALL_TRAIN_SIZE = 1000
SMALL_TEST_SIZE = 100
small_train_dataset = tokenized_datasets["train"].shuffle(seed=42).select(range(SMALL_TRAIN_SIZE))
small_test_dataset = tokenized_datasets["test"].shuffle(seed=42).select(range(SMALL_TEST_SIZE))

 

然后我们使用Pytorch原生的Dataloader来进行数据迭代,这里设置batch size为16,对训练和测试数据集采取相同的batch size:

 

train_dataloader = DataLoader(small_train_dataset, shuffle=True, batch_size=16)
test_dataloader = DataLoader(small_test_dataset, batch_size=16)

 

评价指标定义

 

这里,我们仅选择准确率作为评价指标,

 

metric=datasets.load_metric("accuracy")

 

而datasets库已经为我们封装好了评价指标,可以直接一行代码调用,非常方便。

 

模型、优化器和scheduler的初始化

 

我们直接使用Huggingface的bert模型进行初始化,同时选择AdamW作为优化器,scheduler则是指的学习率的调度器,用于控制学习率的变化方式,比如BERT中常用的warmup操作。

 

model=AutoModelForSequenceClassification.from_pretrained("bert-base-uncased",num_labels=2)
optimizer = AdamW(model.parameters(), lr=2e-5)
num_epochs = 1
num_training_steps = num_epochs * len(train_dataloader)
lr_scheduler = get_scheduler(
    name="linear", optimizer=optimizer, num_warmup_steps=0, num_training_steps=num_training_steps
)

 

这里,我们设置训练的epoch为1,学习率为2e-5,batch size已经在Dataloader中设置过为16.

 

模型的训练与验证

 

接下来,我们使用Pytorch手写训练和验证流程。

 

progress_bar = tqdm(range(num_training_steps))
global_step = 0
print("Before training.")
metric=datasets.load_metric("accuracy")
model.eval()
for batch in test_dataloader:
    batch = {k: v.to(device) for k, v in batch.items()}
    with torch.no_grad():
        outputs = model(**batch)
    logits = outputs.logits
    predictions = torch.argmax(logits, dim=-1)
    metric.add_batch(predictions=predictions, references=batch["labels"])
print("step: ", global_step, metric.compute())
print()
print("Start training.")
model.train()
for epoch in range(num_epochs):
    for batch in train_dataloader:
        batch = {k: v.to(device) for k, v in batch.items()}
        outputs = model(**batch)
        loss = outputs.loss
        loss.backward()
        optimizer.step()
        lr_scheduler.step()
        optimizer.zero_grad()
        progress_bar.update(1)
        
        if (global_step+1) % 10 == 0:
            metric=datasets.load_metric("accuracy")
            model.eval()
            for batch in test_dataloader:
                batch = {k: v.to(device) for k, v in batch.items()}
                with torch.no_grad():
                    outputs = model(**batch)
                logits = outputs.logits
                predictions = torch.argmax(logits, dim=-1)
                metric.add_batch(predictions=predictions, references=batch["labels"])
            
            print("step: ", global_step+1, metric.compute())
        global_step += 1
        
    metric=datasets.load_metric("accuracy")
    model.eval()
    for batch in test_dataloader:
        batch = {k: v.to(device) for k, v in batch.items()}
        with torch.no_grad():
            outputs = model(**batch)
        logits = outputs.logits
        predictions = torch.argmax(logits, dim=-1)
        metric.add_batch(predictions=predictions, references=batch["labels"])
    print()
    print("Finish: ", global_step+1, metric.compute())

 

整体的代码分为三个部分:

 

 

    1. 训练前的验证:用以检查模型在训练之前的性能表现。

 

    1. 模型训练:包括以下流程,

 

    1. 从Dataloader中读取数据

 

    1. 输入给模型进行前向计算

 

    1. 计算loss数值

 

    1. loss进行梯度回传

 

    1. 优化器进行参数更新

 

    1. 优化器梯度清零

 

    1. 训练完成后进行验证:检验模型的最终表现

 

 

得到的打印输出如下:

 

Before training.
step:  0 {'accuracy': 0.47}
Start training.
step:  10 {'accuracy': 0.53}
step:  20 {'accuracy': 0.55}
step:  30 {'accuracy': 0.59}
step:  40 {'accuracy': 0.74}
step:  50 {'accuracy': 0.77}
step:  60 {'accuracy': 0.81}
Finish:  64 {'accuracy': 0.82}

 

可以看到,随着模型的训练,预测准确率从0.47上升到了0.82。

 

总结

 

本文使用Pytorch框架实现了Transformers库中的trainer模块对训练和验证的流程,自定义流程的好处在于灵活,但同样编写复杂;一般而言,在没有太多的模型内部更改时,可以优先考虑使用trainer,结合datasets库直接做到Huggingface全家桶的一站式开发,非常方便。

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。