理解 BERT Transformer:Attention isn’t all you need!

BERT 是谷歌近期发布的一种自然语言处理模型,它在问答系统、自然语言推理和释义检测(paraphrase d … Continue reading “理解 BERT Transformer:Attention isn’t all you need!”

BERT模型在京东零售业务的应用实践

京东零售是全球最大零售商之一,涵盖线上、线下的实体、虚拟等多元化交易场景。目前每日有效商品数量约30亿,产生相 … Continue reading “BERT模型在京东零售业务的应用实践”

深入理解BERT Transformer ,不仅仅是注意力机制

BERT是google最近提出的一个自然语言处理模型,它在许多任务检测上表现非常好。如:问答、自然语言推断和释 … Continue reading “深入理解BERT Transformer ,不仅仅是注意力机制”

BAM!利用知识蒸馏和多任务学习构建的通用语言模型

在今年年初,微软发布了一个多任务自然语言理解模型,它在通用语言理解评估基准GLUE 上取得了当时最好的效果:1 … Continue reading “BAM!利用知识蒸馏和多任务学习构建的通用语言模型”