NLP From Scratch Without Large-Scale Pretraining: A Simple and Efficient Framework
提出了一种简单有效的学习框架TLM，其不需要大规模的预训练。
《自然语言处理入门》
《自然语言处理入门》思维导图
Query2Label: A Simple Transformer Way to Multi-Label Classification
来自清华-博世机器学习研究中心，将Transformer解码器用于多标签分类，将label embedding作为query，计算与feature map的cross-attention。在MS-COCO、PASCAL VOC、NUS-WIDE和Visual Genome上进行了实验，取得了SOTA结果。
Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents
来自清华刘知远老师组，release了针对法律长文件的预训练语言模型。
Label-Specific Dual Graph Neural Network for Multi-Label Text Classification
ACL2021，来自中国科学院大学。提出LDGN，融入类别信息，基于label occurrence和dynamic reconstruction使用GCN建模。
SimCSE: Simple Contrastive Learning of Sentence Embeddings
来自陈丹琦（https://github.com/danqi）组的文章，利用Dropout作为数据增强，进行对比学习得到句子向量表示，在无监督和有监督的语义表示上刷新SOTA。
Do Transformers Really Perform Bad for Graph Representation?
Graphormer：KDD Cup2021 OGB-LSC赛道的冠军方案
