思建的NLP之旅

2020-11-12-从attention到BERT-family

发表于 2020-11-12 更新于 2020-11-14 阅读次数： Valine： 29k 26 分钟

对最近一段时间读的论文以及自己的对NLP领域transformer系列模型的了解做一个总结

发表于 2020-11-11 更新于 2020-11-23 分类于论文分享阅读次数： Valine： 642 1 分钟

记录值得分享的论文; 《ALBERT》: 一个轻量级的BERT

发表于 2020-11-09 更新于 2020-11-10 阅读次数： Valine： 2.3k 2 分钟

pytorch反向传播以及参数更新理解

发表于 2020-11-09 更新于 2020-11-19 阅读次数： Valine： 1.1k 1 分钟

安装jupyter远程访问服务器

发表于 2020-11-07 更新于 2020-11-09 分类于论文分享阅读次数： Valine： 1k 1 分钟

记录值得分享的论文; 《Adversarial Training for Large Neural Language Models》: 提出一个对抗训练算法ALUM，用于提高模型的鲁棒性。此算法可以应用在任何基于transformer的语言模型中

发表于 2020-11-06 更新于 2020-11-11 分类于论文分享阅读次数： Valine： 3.1k 3 分钟

记录值得分享的论文; 《OPTIMUS》: 结合VAE和BERT、GPT-2,提出首个大规模预训练隐变量生成模型OPTIMUS，解决自然语言生成和理解任务

发表于 2020-11-04 更新于 2020-11-07 分类于论文分享阅读次数： Valine： 1k 1 分钟

记录值得分享的论文; 《T-CVAE》 :　结合VAE和transformer，提出基于transformer的条件变量自动编码模型（T-CVAE），用于解决故事补全的任务

发表于 2020-10-30 阅读次数： Valine： 16k 14 分钟

从embedding到BERT预训练模型

发表于 2020-10-30 更新于 2020-11-07 阅读次数： Valine： 4.6k 4 分钟

记录值得分享的论文; 《XLNet》:

发表于 2020-10-30 阅读次数： Valine： 22k 20 分钟

对于BERT以及之后的预训练模型的总结概括