Open-Assistant - Open Assistant 是一个旨在让每个人都能访问基于聊天的大型语言模型的项目。

Created at: 2022-12-13 13:24:17
Language: Python
License: Apache-2.0

打开助手

GitHub 回购明星 文档 GitHub 工作流状态 GitHub 工作流状态 GitHub 工作流状态 GitHub 工作流状态 GitHub 工作流状态 GitHub 工作流状态 GitHub 工作流状态 GitHub 工作流状态 GitHub 发布(按日期最新)

以下是我们收集数据的网站:

open-assistant.io

(项目文档位于此处)

目录


什么是开放式助手?

Open Assistant 是一个项目,旨在让每个人都可以访问一个很棒的基于聊天的大型语言模型。

我们相信,通过这样做,我们将在语言创新方面掀起一场革命。就像稳定扩散帮助世界以新的方式制作艺术和图像一样,我们希望Open Assistant能够通过改善语言本身来帮助改善世界。

你想试试吗?

为数据收集做出贡献

数据收集前端现在已在此处上线。登录并开始接受任务!我们希望收集大量高质量的数据。通过提交、排名和标记模型提示和响应,你将直接帮助提高 Open Assistant 的功能。

本地运行

除非你正在参与开发过程,否则无需在本地运行项目。上面的网站链接将带你到公共网站,你可以在其中使用数据收集应用程序。

如果你想在本地运行数据收集应用程序进行开发,你可以使用 Docker 设置运行 Open-Assistant 所需的整个堆栈,包括网站、后端和关联的依赖服务。

要开始演示,请在存储库的根目录中运行以下命令(如果你有问题,请查看此常见问题解答):

docker compose --profile ci up --build --attach-dependencies

然后,导航到(可能需要一些时间才能启动)并与网站交互。

http://localhost:3000

注意:如果构建出现问题,请前往常见问题解答并查看有关 Docker 的条目。

注意:通过电子邮件登录时,导航到以获取魔术电子邮件登录链接。

http://localhost:1080

注意:如果你想在本地使用 vscode 在标准化开发环境(“devcontainer”)中或使用 GitHub Codespaces 在 Web 浏览器中运行它,你可以使用提供的 .devcontainer 文件夹。

A. 计划

我们希望按照 InstructGPT 论文中概述的 3 个步骤尽快获得初始 MVP。
  1. 收集高质量的人工生成的指令履行样本(提示 + 响应),目标 >50k。我们设计了一个众包流程来收集和审查提示。我们不想对泛滥/有毒/垃圾邮件/垃圾/个人信息数据进行训练。我们将有一个排行榜来激励显示进度和最活跃用户的社区。赃物将给予贡献者。
  2. 对于收集的每个提示,我们将对多个完成进行采样。然后,一个提示的完成将随机显示给用户,以将其从最佳到最差进行排名。同样,这应该以众包方式发生,例如,我们需要处理不可靠的潜在恶意用户。至少必须收集独立用户的多张选票来衡量整体协议。收集的排名数据将用于训练奖励模型。
  3. 现在遵循基于提示和奖励模型的 RLHF 训练阶段。

然后,我们可以获取生成的模型,并继续完成采样步骤 2 以进行下一次迭代。

愿景

我们不会停止复制ChatGPT。我们希望打造未来的助手,不仅能够写电子邮件和求职信,还能做有意义的工作、使用 API、动态研究信息等等,并且能够被任何人个性化和扩展。我们希望以一种开放和可访问的方式做到这一点,这意味着我们不仅要构建一个出色的助手,而且还要使其足够小和高效,以便在消费类硬件上运行。

幻灯片

愿景和路线图

重要数据结构

你能提供什么帮助?

所有开源项目都是从像你这样的人开始的。开源是一种信念,即如果我们合作,我们可以共同将我们的知识和技术奉献给世界,造福人类。

查看我们的贡献指南以开始使用。