公告
设置
定位中··· -
Facebook 开源挑战 GPT-3 的语言模型
更新于 2022-05-07 18:01:02
OpenAI 的文本生成神经网络 GPT-3 是目前最先进的语言模型之一,使用了 1750 亿个参数,但它至今没有开源,只通过其申请及审核程序提供给学术界和商业实体使用。现在 Meta/Facebook 开源了能挑战 GPT-3 的语言模型 Open Pretrained Transformer(OPT-175B),使用了 5 个公开数据集的 800 GB 数据进行训练,使用了能比拟 GPT-3 的 1750 亿个参数。研究论文发表在预印本网站 arXiv 上。
赞助商广告