准备数据并运行

# obtain the original LLaMA model weights and place them in ./models
ls ./models
65B 30B 13B 7B tokenizer_checklist.chk tokenizer.model
  # [Optional] for models using BPE tokenizers
  ls ./models
  65B 30B 13B 7B vocab.json

# install Python dependencies
python3 -m pip install -r requirements.txt

# convert the 7B model to ggml FP16 format
python3 convert.py models/7B/

  # [Optional] for models using BPE tokenizers
  python convert.py models/7B/ --vocabtype bpe

# quantize the model to 4-bits (using q4_0 method)
./quantize ./models/7B/ggml-model-f16.gguf ./models/7B/ggml-model-q4_0.gguf q4_0

# run the inference
./main -m ./models/7B/ggml-model-q4_0.gguf -n 128

运行较大的模型时，请确保有足够的磁盘空间来存储所有中间文件。

内存/磁盘要求

由于模型当前已完全加载到内存中，因此你需要足够的磁盘空间来保存它们，并需要足够的 RAM 来加载它们。目前，内存和磁盘要求相同。

量化

支持多种量化方法。它们在生成的模型磁盘大小和推理速度方面有所不同。

（已过时）

困惑（测量模型质量）

你可以使用该示例来测量给定提示下的困惑度（困惑度越低越好）。有关详细信息，请参阅 https://huggingface.co/docs/transformers/perplexity。

perplexity

上表中的困惑度测量是针对上下文长度为 512 的测试数据集 （https://paperswithcode.com/dataset/wikitext-2） 完成的。每个令牌的时间是在MacBook M1 Pro 32GB RAM上使用4和8线程测量的。

wikitext2

交互模式

如果你想要更像 ChatGPT 的体验，你可以通过作为参数传递在交互模式下运行。在此模式下，你始终可以通过按 Ctrl+C 并输入一行或多行文本来中断生成，这些文本将转换为标记并附加到当前上下文中。你还可以使用参数指定反向提示。这将导致每当在生成中遇到反向提示字符串的确切标记时，都会提示用户输入。一个典型的用途是使用提示，使LLaMa模拟多个用户之间的聊天，比如爱丽丝和鲍勃，并通过。

-i

-r "reverse prompt string"

-r "Alice:"

下面是使用命令调用的几个镜头交互的示例

# default arguments using a 7B model
./examples/chat.sh

# advanced chat with a 13B model
./examples/chat-13B.sh

# custom arguments using a 13B model
./main -m ./models/13B/ggml-model-q4_0.gguf -n 256 --repeat_penalty 1.0 --color -i -r "User:" -f prompts/chat-with-bob.txt

请注意使用 来区分用户输入和生成的文本。示例程序的自述文件中更详细地解释了其他参数。

--color

main

持久交互

提示、用户输入和模型生成可以通过利用 和 在调用之间保存和恢复。该脚本通过支持长时间运行的可恢复聊天会话来演示这一点。要使用此示例，你必须提供一个用于缓存初始聊天提示的文件和一个用于保存聊天会话的目录，并且可以选择提供与 相同的变量。同一提示缓存可以重新用于新的聊天会话。请注意，提示缓存和聊天目录都绑定到初始提示 （） 和模型文件。

./main

--prompt-cache

--prompt-cache-all

./examples/chat-persistent.sh

chat-13B.sh

PROMPT_TEMPLATE

# Start a new chat
PROMPT_CACHE_FILE=chat.prompt.bin CHAT_SAVE_DIR=./chat/default ./examples/chat-persistent.sh

# Resume that chat
PROMPT_CACHE_FILE=chat.prompt.bin CHAT_SAVE_DIR=./chat/default ./examples/chat-persistent.sh

# Start a different chat with the same prompt/model
PROMPT_CACHE_FILE=chat.prompt.bin CHAT_SAVE_DIR=./chat/another ./examples/chat-persistent.sh

# Different prompt cache for different prompt/model
PROMPT_TEMPLATE=./prompts/chat-with-bob.txt PROMPT_CACHE_FILE=bob.prompt.bin \
    CHAT_SAVE_DIR=./chat/bob ./examples/chat-persistent.sh

具有语法的约束输出

llama.cpp

./main -m ./models/13B/ggml-model-q4_0.gguf -n 256 --grammar-file grammars/json.gbnf -p 'Request: schedule a call at 8pm; Command:'

该文件夹包含一些示例语法。要编写自己的代码，请查看 GBNF 指南。

grammars/

羊驼的指令模式

1. 首先，将羊驼模型下载到文件夹中

   ggml

   ./models

2. 像这样运行该工具：

   main

./examples/alpaca.sh

示例运行：

== Running in interactive mode. ==
 - Press Ctrl+C to interject at any time.
 - Press Return to return control to LLaMa.
 - If you want to submit another line, end your input in '\'.

 Below is an instruction that describes a task. Write a response that appropriately completes the request.

> How many letters are there in the English alphabet?
There 26 letters in the English Alphabet
> What is the most common way of transportation in Amsterdam?
The majority (54%) are using public transit. This includes buses, trams and metros with over 100 lines throughout the city which make it very accessible for tourists to navigate around town as well as locals who commute by tram or metro on a daily basis
> List 5 words that start with "ca".
cadaver, cauliflower, cabbage (vegetable), catalpa (tree) and Cailleach.
>

使用 OpenLLaMA

OpenLLaMA是Meta原始LLaMA模型的开放许可复制品。它使用相同的架构，是原始LLaMA权重的直接替代品。

• 从 Hugging Face 下载 3B、7B 或 13B 型号。
• 使用 将模型转换为 ggml FP16 格式

  python convert.py <path to OpenLLaMA directory>

使用 GPT4All

注意：这些说明可能因 GGUF 更新而过时

• 从LLaMA模型中获取文件并将其放入

  tokenizer.model

  models

• 从羊驼模型中获取文件并将其放入

  added_tokens.json

  models

• 从 GPT4All 模型中获取文件并将其放入

  gpt4all-lora-quantized.bin

  models/gpt4all-7B

• 它以旧格式分发，现已过时

  ggml

• 你必须使用以下方法将其转换为新格式：

  convert.py

python3 convert.py models/gpt4all-7B/gpt4all-lora-quantized.bin

• 现在，你可以像使用所有其他模型完全相同的方式使用新生成的模型

  models/gpt4all-7B/ggml-model-q4_0.bin

• 尚不支持较新的 GPT4All-J 型号！

使用 Pygmalion 7B 和 Metharme 7B

• 获取LLaMA权重
• 获取皮格马利翁 7B 或梅塔姆 7B XOR 编码权重
• 使用最新的 HF 转换脚本转换 LLaMA 模型
• 通过运行xor_codec脚本将异或文件与转换后的 LLaMA 权重合并
• 使用此存储库中的脚本转换为格式：

  ggml

  convert.py

python3 convert.py pygmalion-7b/ --outtype q4_1

Pygmalion 7B 和 Metharme 7B 砝码以 bfloat16 精度保存。如果你希望在不进行量化的情况下转换为 ，请指定 as 而不是 。

ggml

--outtype

f32

f16

获取Facebook LLaMA原始模型和斯坦福羊驼模型数据

• 在任何情况下，IPFS、磁力链接或任何其他模型下载链接都不应在此存储库的任何地方共享，包括在议题、讨论或拉取请求中。它们将被立即删除。
• LLaMA模型由Facebook正式分发，永远不会通过此存储库提供。
• 如果你需要请求访问模型数据，请参阅 Facebook 的 LLaMA 存储库。

获取和使用 Facebook LLaMA 2 模型

• 如果你想访问模型数据，请参阅Facebook的LLaMA下载页面。
• 或者，如果你想节省时间和空间，你可以从 TheBloke 下载已经转换和量化的模型，包括：
  • LLaMA 2 7B 底座
  • LLaMA 2 13B 底座
  • LLaMA 2 70B 底座
  • LLaMA 2 7B 聊天
  • 拉玛 2 13B 聊天
  • LLaMA 2 70B 聊天

验证模型文件

在创建与模型文件相关的问题之前，请验证所有下载的模型文件的 sha256 校验和，以确认你拥有正确的模型数据文件。

• 以下 python 脚本将验证自安装子目录中是否具有所有可能的最新文件：

  ./models

# run the verification script
./scripts/verify-checksum-models.py

• 在 linux 或 macOS 上，还可以运行以下命令来验证自安装子目录中是否有所有可能的最新文件：

  ./models

  • 在 Linux 上：

    sha256sum --ignore-missing -c SHA256SUMS

  • 在 macOS 上：

    shasum -a 256 --ignore-missing -c SHA256SUMS

关于模型的开创性论文和背景

如果你的问题是模型生成质量，那么请至少扫描以下链接和论文以了解LLaMA模型的局限性。在选择合适的模型大小并欣赏LLaMA模型与ChatGPT之间的显着和细微差异时，这一点尤其重要：

• 骆马：
  • 介绍 LLaMA：一个基本的、650亿参数的大型语言模型
  • LLaMA：开放高效的基础语言模型
• GPT-3
  • 语言模型是少数镜头学习者
• GPT-3.5 / InstructGPT / ChatGPT：
  • 调整语言模型以遵循说明
  • 训练语言模型以遵循人工反馈的说明

如何运行

1. 下载/解压缩： https://s3.amazonaws.com/research.metamind.io/wikitext/wikitext-2-raw-v1.zip?ref=salesforce-research
2. 跑

   ./perplexity -m models/7B/ggml-model-q4_0.gguf -f wiki.test.raw

3. 输出：

perplexity : calculating perplexity over 655 chunks
24.43 seconds per pass - ETA 4.45 hours
[1]4.5970,[2]5.1807,[3]6.0382,...

4.45小时后，你将有最后的困惑。

人造人

使用 Android NDK 构建项目

你可以使用termux轻松地在Android设备上运行。

llama.cpp

首先，安装 termux 的基本软件包：

pkg install clang wget git cmake

其次，获取安卓 NDK，然后使用 CMake 构建：

$ mkdir build-android
$ cd build-android
$ export NDK=<your_ndk_directory>
$ cmake -DCMAKE_TOOLCHAIN_FILE=$NDK/build/cmake/android.toolchain.cmake -DANDROID_ABI=arm64-v8a -DANDROID_PLATFORM=android-23 -DCMAKE_C_FLAGS=-march=armv8.4a+dotprod ..
$ make

在你的设备上安装 termux 并运行以访问你的 SD 卡。最后，将二进制文件和模型文件复制到设备存储中。以下是在 Pixel 5 手机上运行的交互式会话的演示：

termux-setup-storage

llama

https://user-images.githubusercontent.com/271616/225014776-1d567049-ad71-4ef2-b050-55b0b3b9274c.mp4

使用 Termux （F-Droid） 构建项目

F-Droid 的 Termux 提供了一种在 Android 设备上执行项目的替代途径。此方法使你能够直接从终端内构建项目，从而消除了对root设备或SD卡的要求。

下面概述了使用 OpenBLAS 和 CLBlast 安装项目的指令。这种组合专门设计用于在最近具有 GPU 的设备上提供峰值性能。

如果你选择使用 OpenBLAS，则需要安装相应的软件包。

apt install libopenblas

随后，如果你决定合并 CLBlast，则首先需要安装必要的 OpenCL 软件包：

apt install ocl-icd opencl-headers opencl-clhpp clinfo

为了编译 CLBlast，你需要首先克隆相应的 Git 存储库，该存储库可以在以下 URL 中找到：https://github.com/CNugteren/CLBlast。除此之外，将此存储库克隆到你的主目录中。完成此操作后，导航到 CLBlast 文件夹并执行下面详述的命令：

cmake .
make
cp libclblast.so* $PREFIX/lib
cp ./include/clblast.h ../llama.cpp

按照前面的步骤，导航到 LlamaCpp 目录。要使用 OpenBLAS 和 CLBlast 编译它，请执行下面提供的命令：

cp /data/data/com.termux/files/usr/include/openblas/cblas.h .
cp /data/data/com.termux/files/usr/include/openblas/openblas_config.h .
make LLAMA_CLBLAST=1 //(sometimes you need to run this command twice)

完成上述步骤后，你将成功编译项目。要使用 CLBlast 运行它，需要进行轻微的调整：必须发出命令以将操作定向到设备的物理 GPU，而不是虚拟 GPU。下面详细介绍了必要的命令：

GGML_OPENCL_PLATFORM=0
GGML_OPENCL_DEVICE=0
export LD_LIBRARY_PATH=/vendor/lib64:$LD_LIBRARY_PATH

（注意：某些Android设备，如Zenfone 8，需要以下命令 - “export LD_LIBRARY_PATH=/system/vendor/lib64：$LD_LIBRARY_PATH”。来源： https://www.reddit.com/r/termux/comments/kc3ynp/opencl_working_in_termux_more_in_comments/ )

为了方便快速地重新执行，请考虑在.sh脚本文件中记录此最后一部分。这将使你能够以最小的麻烦重新运行该过程。

将所需的模型放入目录并执行脚本。

~/llama.cpp/models/

./main (...)

docker

先决条件

• 必须在你的系统上安装并运行 Docker。
• 创建一个文件夹来存储大型模型和中间文件（例如/llama/models）

图像

我们有两个 Docker 镜像可用于此项目：

1. ghcr.io/ggerganov/llama.cpp:full

   ：此映像包括主可执行文件和用于将 LLaMA 模型转换为 ggml 并转换为 4 位量化的工具。

2. ghcr.io/ggerganov/llama.cpp:light

   ：此映像仅包含主可执行文件。

用法

下载模型、将其转换为 ggml 并优化它们的最简单方法是使用 --all-in-one 命令，其中包含完整的 docker 映像。

将下面替换为下载模型的实际路径。

/path/to/models

docker run -v /path/to/models:/models ghcr.io/ggerganov/llama.cpp:full --all-in-one "/models/" 7B

完成后，你就可以开始玩了！

docker run -v /path/to/models:/models ghcr.io/ggerganov/llama.cpp:full --run -m /models/7B/ggml-model-q4_0.gguf -p "Building a website can be done in 10 simple steps:" -n 512

或带有浅色图像：

docker run -v /path/to/models:/models ghcr.io/ggerganov/llama.cpp:light -m /models/7B/ggml-model-q4_0.gguf -p "Building a website can be done in 10 simple steps:" -n 512

docker 与 CUDA

假设在Linux上正确安装了nvidia-container-toolkit，或者正在使用支持GPU的云，应该可以在容器内访问。

cuBLAS

本地构建

docker build -t local/llama.cpp:full-cuda -f .devops/full-cuda.Dockerfile .
docker build -t local/llama.cpp:light-cuda -f .devops/main-cuda.Dockerfile .

你可能需要传入一些不同的 ，具体取决于容器主机支持的 CUDA 环境以及 GPU 架构。

ARGS

默认值为：

• CUDA_VERSION

  设置为

  11.7.1

• CUDA_DOCKER_ARCH

  设置为

  all

生成的图像与非 CUDA 图像基本相同：

1. local/llama.cpp:full-cuda

   ：此映像包括主可执行文件和用于将 LLaMA 模型转换为 ggml 并转换为 4 位量化的工具。

2. local/llama.cpp:light-cuda

   ：此映像仅包含主可执行文件。

用法

在本地构建后，使用情况类似于非 CUDA 示例，但你需要添加标志。你还需要使用该标志。

--gpus

--n-gpu-layers

docker run --gpus all -v /path/to/models:/models local/llama.cpp:full-cuda --run -m /models/7B/ggml-model-q4_0.gguf -p "Building a website can be done in 10 simple steps:" -n 512 --n-gpu-layers 1
docker run --gpus all -v /path/to/models:/models local/llama.cpp:light-cuda -m /models/7B/ggml-model-q4_0.gguf -p "Building a website can be done in 10 simple steps:" -n 512 --n-gpu-layers 1

贡献

• 贡献者可以打开 PR
• 协作者可以推送到存储库中的分支，并将 PR 合并到分支中

  llama.cpp

  master

• 将根据贡献邀请合作者
• 非常感谢任何有关管理问题和 PR 的帮助！
• 请务必阅读以下内容：边缘推理
• 给有兴趣的人的一些背景故事：更新日志播客

编码准则

• 避免添加第三方依赖项、额外文件、额外标头等。
• 始终考虑与其他操作系统和体系结构的交叉兼容性
• 避免外观花哨的现代 STL 结构，使用基本循环，避免模板，保持简单

  for

• 代码样式没有严格的规则，但请尝试遵循代码中的模式（缩进、空格等）。垂直对齐使内容更具可读性，更易于批量编辑
• 清理所有尾随空格，使用 4 个空格进行缩进，括号在同一行上，

  void * ptr

  int & a

• 查看适合首次贡献的任务的良好首期

文档

• 主要
• 服务器
• 嵌入输入
• 危险
• 幸福
• 性能故障排除
• GGML提示和技巧
• GBNF 语法