logo
下载登录
AI 新闻AI 工具AI 艺术馆教程灵感库
首页AI 工具
MOSS

MOSS

复旦大学
28人喜欢过
官方网站
主页
官方
评论
社区3
文章
entry-slick
entry-slick
entry-slick
entry-slick
MOSS简介

MOSS是一个支持中英双语和多种插件的开源对话语言模型，moss-moon系列模型具有160亿参数，在FP16精度下可在单张A100/A800或两张3090显卡运行，在INT4/8精度下可在单张3090显卡运行。 MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。

局限性：由于模型参数量较小和自回归生成范式，MOSS仍然可能生成包含事实性错误的误导性回复或包含偏见/歧视的有害内容，请谨慎鉴别和使用MOSS生成的内容，请勿将MOSS生成的有害内容传播至互联网。若产生不良后果，由传播者自负。

Github地址： https://github.com/OpenLMLab/MOSS

Video Chat Github地址： https://github.com/OpenGVLab/Ask-Anything/tree/main/video_chat_with_MOSS

官网

https://moss.fastnlp.top/

社区动态
动态
好说新闻
好说新闻
2023-04-28 18:17
在这一周，ChatGPT 没有停下进化的脚步，带来了隐私相关的功能升级，有部分用户还发现自己的 ChatGPT 也可以 “上网” 了。而 Hugging Face 在本周也放出了“大杀器” HuggingChat ，开源、免费、300 亿参数等亮点也让它的未来备受期待。
Hugging Face 推出大语言模型定位为 “ChatGPT 第一开源平替”4 月 26 日（周三），Hugging Face 发布了 大语言模型 HuggingChat，创始人十分自信地表示 “这是当下最好的开源聊天模型，也是 ChatGPT 的第一个开源替代品”。
完全免费的 HuggingChat 与 ChatGPT 的训练方法相似，它是通过大量的文本数据上来训练机器模型。不过相比 ChatGPT，HuggingChat 的数据来源更广泛些，包括了书面内容、真实人物对话等，使其拥有了 300 亿参数 的巨大体量。
公布即开测的 HuggingChat，当然也引来了不少网友前来测试，尽管目前它的表现并非完美，但 “知错就改” 的纠错速度也让人对它的发展感到乐观。
👉 点击前往「HuggingChat」资料页
复旦类ChatGPT模型 MOSS 开源160 亿参数，新增多项新能力4 月 22 日（上周六），复旦大学开源版 MOSS 正式上线。
相比早期版本的 MOSS，开源版本收集了内测期间的一些用户数据，并由此重新生成了约 110 万本土化的常规对话数据。同时，团队还构造了约 30 万插件增强的对话数据，让开源版的 MOSS 拥有了 文生图、调用搜索引擎等能力。
image
ChatGPTHuggingChatMOSSBard
分享
Setsu1
Setsu1
2023-04-28 18:02
在这一周，ChatGPT 没有停下进化的脚步，带来了隐私相关的功能升级，有部分用户还发现自己的 ChatGPT 也可以 “上网” 了。而 Hugging Face 在本周也放出了“大杀器” HuggingChat ，开源、免费、300 亿参数等亮点也让它的未来备受期待。
Hugging Face 推出大语言模型定位为 “ChatGPT 第一开源平替”4 月 26 日（周三），Hugging Face 发布了 大语言模型 HuggingChat，创始人十分自信地表示 “这是当下最好的开源聊天模型，也是 ChatGPT 的第一个开源替代品”。
图片完全免费的 HuggingChat 与 ChatGPT 的训练方法相似，它是通过大量的文本数据上来训练机器模型。不过相比 ChatGPT，HuggingChat 的数据来源更广泛些，包括了书面内容、真实人物对话等，使其拥有了 300 亿参数 的巨大体量。
图片公布即开测的 HuggingChat，当然也引来了不少网友前来测试，尽管目前它的表现并非完美，但 “知错就改” 的纠错速度也让人对它的发展感到乐观。
👉 点击前往「HuggingChat」资料页
复旦 类ChatGPT 模型MOSS 开源160 亿参数，新增多项新能力图片4 月 22 日（上周六），复旦大学开源版 MOSS 正式上线。
图片相比早期版本的 MOSS，开源版本收集了内测期间的一些用户数据，并由此重新生成了约 110 万本土化的常规对话数据。同时，团队还构造了约 30 万插件增强的对话数据，让开源版的 MOSS 拥有了 文生图、调用搜索引擎等能力。
image
ChatGPTHuggingChatMOSSBard
分享
好说新闻
好说新闻
2023-04-22 13:08
今年2月份，我们曾报道了复旦大学推出中国版ChatGPT的消息，引起广泛关注。在当时，邱锡鹏教授就曾表示会在4月开源Moss。在昨天，开源版 Moss 终于和我们见面了。
MOSS 是一个支持中英双语和多种插件的开源对话语言模型，但参数数量比ChatGPT少得多。在v0.0.2之后，团队持续对其进行调整，推出了MOSS v0.0.3，目前开源的版本也正式这个版本。
相比于早期版本，功能也实现了多项更新。
最初的测试中，MOSS 的基础功能与 ChatGPT 类似，可以按照用户输入的指令完成各类自然语言处理任务，包括文本生成、文本摘要、翻译、代码生成、闲聊等等。在开放内测后，团队继续加大中文语料的预训练：
「截止目前，MOSS 003的基座语言模型已经在100B中文token上进行了训练，总训练token数量达到700B，其中还包含约300B代码。」在开放内测后，我们也收集了一些用户数据，我们发现真实中文世界的用户意图和OpenAI InstructGPT论文中披露的user prompt分布有较大差异（这不仅与用户来自的国家差异有关，也跟产品上线时间有关，早期产品采集的数据中存在大量对抗性和测试性输入），于是我们以这部分真实数据作为seed重新生成了约110万常规对话数据，涵盖更细粒度的helpfulness数据和更广泛的harmlessness数据。目前，团队已将moss-moon-003-base、moss-moon-003-sft、moss-moon-003-sft-plugin三个模型上传到 HuggingFace。而在后续，还会有三个模型将会开源。
根据项目主页介绍，moss-moon 系列模型具有160亿参数，在FP16精度下可在单张A100/A800或两张3090显卡运行，在INT4/8精度下可在单张3090显卡运行。
image
MOSSVideoChat with MOSSChatGPT
分享

确认删除此动态

确认