序章 · 前史
深度学习奠基到预训练范式成形 2012—2019 共 7 条(全球 6 / 中国 1)
2012-09 · 序章
AlexNet模型全球
University of Toronto
60M 参数
深度学习+GPU 范式确立,ImageNet top-5 错误率 26%→15.3%
来源 ↗2017-06 · 序章
Transformer (Attention Is All You Need)模型全球
Google
65M/213M 参数
纯自注意力架构,成为 GPT/BERT 统一底座
来源 ↗2018-02 · 序章
ELMo模型全球
Allen Institute for AI / UW
94M 参数(待证)
上下文词表示,预训练范式先声
来源 ↗2018-06 · 序章
GPT-1模型全球
OpenAI
117M 参数
生成式预训练+微调路线确立,9/12 任务 SOTA
来源 ↗2018-10 · 序章
BERT模型全球
Google
340M 参数(论文原文)
双向 MLM 预训练,「预训练+微调」成 NLP 默认流程
来源 ↗2019-02 · 序章
GPT-2模型全球
OpenAI
1.5B 参数(首期仅放 124M,全量 2019-11-05 开源)
规模律震撼+分阶段发布治理先例
来源 ↗2019-03 · 序章
ERNIE 1.0(文心初代)模型中国
百度
约1.1亿参数(BERT-base级)
知识增强预训练开山之作,奠定百度文心系技术路线
来源 ↗本页为纪元图谱第二批数据页(T-GENE-03);数据同源 data/genealogy.json,构建期渲染。