清华大学助理教授、智源青年科学家杨植麟团队提出预训练模型GLM，打破BERT和GPT的瓶颈，历史上首次实现单一模型在理解、生成、seq2seq三种任务上取得最优效果。提出P-tuning算法，历史上首次实现自回归模型在理解任务上超越自编码模型，并在知识探测和小样本学习的多个数据集上取得世界第一，性能提升20%。提出Inverse Prompting算法，显著改善了对语言模型生成结果的控制，效果大幅度超越当前最好方法，在问答和诗歌生成任务中接近人类水平，并首次实现根据现代题材创作古体诗。
Zhengxiao Du, Yujie Qian, Xiao Liu, Ming Ding, Jiezhong Qiu, Zhilin Yang, Jie Tang.All NLP Tasks Are Generation Tasks: A General Pretraining Framework.arXiv:2103.10360
Xiao Liu, Yanan Zheng, Zhengxiao Du, Ming Ding, Yujie Qian, Zhilin Yang, Jie Tang.GPT Understands, Too.arXiv:2103.10385
Xu Zou, Da Yin, Qingyang Zhong, Ming Ding, Hongxia Yang, Zhilin Yang, Jie Tang.Controllable Generation from Pre-trained Language Models via Inverse Prompting. arXiv:2103.10685
