Together 联合斯坦福等机构开启RedPajama 计划,旨在创建完全开源的大型语言模型

据VentureBeat 报导,总部位于加州的专注于建立去中心化云和开源模式的公司Together 近日宣布了RedPajama 计划。据悉,RedPajama 是Together、Ontocord.

据VentureBeat 报导,总部位于加州的专注于建立去中心化云和开源模式的公司Together 近日宣布了RedPajama 计划。据悉,RedPajama 是Together、Ontocord.ai、ETH DS3 Lab、斯坦福CRFM、Hazy Research 和MILA 魁北克人工智能研究所之间的一个合作项目,旨在创建领先的、完全开源的大型语言模型(LLM)。其训练将基于LLaMA 的1.2 万亿token 数据集。这些数据使任何组织都能对模型进行预训练,并可获得许可。在未来几週,Together 将发布一整套LLM 和基于RedPajama 数据集的指令调整版本。该公司强调,即将推出的模型将是完全开源的,并且在商业上是可行的。

原创文章,作者:币圈吴彦祖,如若转载,请注明出处:https://www.kaixuan.pro/news/463774/