dolly - 这使用 Databricks 笔记本微调了alpaca数据集上的GPT-J 6B模型。
Created at: 2023-03-25 00:15:53
Language: Python
License: Apache-2.0
洋娃娃
这使用 Databricks 笔记本微调了 Alpaca 数据集上的 GPT-J 6B 模型。请注意，虽然 GPT-J 6B 已获得 Apache 2.0 许可，但 Alpaca 数据集根据知识共享非商业性 （CC BY-NC 4.0） 授权。
入门培训
- 将存储库添加到数据砖（在存储库下单击添加存储库，输入 ，然后单击创建存储库）。
dolly
https://github.com/databrickslabs/dolly.git
- 启动具有 8 个 A100 GPU 的节点类型的单节点群集（例如 或 ）。
12.2 LTS ML (includes Apache Spark 3.3.2, GPU, Scala 2.12)
Standard_ND96asr_v4
p4d.24xlarge
- 在存储库中打开笔记本，附加到 GPU 群集，然后运行所有单元。训练完成后，笔记本会将模型保存在 .
train_dolly
dolly
/dbfs/dolly_training
在本地运行单元测试
pyenv local 3.8.13 python -m venv .venv . .venv/bin/activate pip install -r requirements_dev.txt ./run_pytest.sh
About
Author：databrickslabs
热门帖子
热门github
1
2
4
The Python Risk Identification Tool for generative AI (PyRIT) is an open access automation framework to empower security professionals and machine learning engineers to proactively find risks in their generative AI systems.
(翻译：用于生成式 AI 的 Python 风险识别工具 (PyRIT) 是一个开放式访问自动化框架，使安全专业人员和机器学习工程师能够主动发现其生成式 AI 系统中的风险。)
5
7
8
9
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention.
(翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)
10
11
13