• instruction

  ：，描述模型应执行的任务。20K 指令中的每一个都是唯一的。

  str

• input

  ：、任务的可选上下文或输入。例如，当指令为“修改以下 SQL 查询以选择不同的元素”时，输入是 SQL 查询。大约 40% 的示例有输入。

  str

• output

  ：，由 生成的指令的答案。

  str

  text-davinci-003

我们使用以下提示来微调模型：

• 对于具有非空输入字段的示例：

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.

### Instruction:
{instruction}

### Input:
{input}

### Response:

• 对于输入字段为空的示例：

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{instruction}

### Response:

在推理过程中（例如，对于网络演示），我们使用带有空输入字段的用户指令（第二个选项）。

数据生成过程

这产生了一个遵循指令的数据集，其中包含以低得多的成本（不到 200 美元）获得的 20K 个示例。还包括一个较小的 2k 样本数据集，用于降低模型的方法和质量的风险。

微调

使用以下超参数使用标准拥抱面部训练代码和 deepspeed 微调模型：

鉴于Hugging Face尚未正式支持LLaMA模型，我们通过从特定分支（即此PR要合并）安装LLaMA与Hugging Face的变压器库进行了微调。我们安装的特定提交的哈希值是 。

68d640f7c368bcaaaecfc678f11908ebbd3d6176

该代码在 8xA100 80GB 上运行，但也可以在 8xA10040GB 或 4xA100 上运行，具有较低的批大小和梯度累积步骤。要获得GPU，我建议使用Lambda Labs，这是最佳硬件的最佳价格。

要重现 LLaMA 的微调运行，请先安装要求

pip install -r requirements.txt

然后，安装拥抱脸的变压器库的特定分支。

下面是一个命令，该命令在具有 4 个 A100 80G GPU 的机器上用我们的数据集微调 LLaMA-7B，处于 FSDP 模式。我们能够使用 Python 3.10 使用以下命令重现与我们在演示中托管的模型质量相似的模型。替换为你自己的端口、转换后的检查点和分词器的路径（按照 PR 中的说明进行操作），以及要存储输出的位置。

full_shard

<your_random_port>

<your_path_to_hf_converted_llama_ckpt_and_tokenizer>

<your_output_dir>

torchrun --nproc_per_node=8 --master_port=<your_random_port> train.py \
    --model_name_or_path <your_path_to_hf_converted_llama_ckpt_and_tokenizer>
    --data_path ./data/code_alpaca_20k.json \
    --fp16 True \
    --output_dir <your_output_dir> \
    --num_train_epochs 3 \
    --per_device_train_batch_size 8 \
    --per_device_eval_batch_size 8 \
    --gradient_accumulation_steps 4 \
    --evaluation_strategy "no" \
    --save_strategy "steps" \
    --save_steps 500 \
    --save_total_limit 1 \
    --learning_rate 2e-5 \
    --weight_decay 0. \
    --warmup_ratio 0.03 \
    --lr_scheduler_type "cosine" \
    --logging_steps 1 \
    --deepspeed ds_config.json
    --tf32 False

请注意，给定的训练脚本旨在简单易用，并且没有特别优化。

为了方便起见，我包含了convert_to_hf.py covnert 骆驼检查点到拥抱面兼容检查点。（此文件取自拥抱面变压器存储库）

@misc{codealpaca,
  author = {Sahil Chaudhary},
  title = {Code Alpaca: An Instruction-following LLaMA model for code generation},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/sahil280114/codealpaca}},
}