llama.cpp

路线图 / 项目状态 / 宣言 / ggml

在纯 C/C++ 中推断 Meta 的 LLaMA 模型（和其他模型）

热门话题

• 支持聊天模板：Wiki（欢迎投稿）
• 支持 Gemma 型号：https://github.com/ggerganov/llama.cpp/pull/5631
• 非线性量化IQ4_NL：https://github.com/ggerganov/llama.cpp/pull/5590
• 寻找改进和维护示例的贡献：https://github.com/ggerganov/llama.cpp/issues/4216

  server

描述

其主要目标是在宽 各种硬件 - 本地和云端。

llama.cpp

• 没有任何依赖关系的普通 C/C++ 实现
• Apple 芯片是一等公民 - 通过 ARM NEON、Accelerate 和 Metal 框架进行优化
• AVX、AVX2 和 AVX512 支持 x86 架构
• 1.5 位、2 位、3 位、4 位、5 位、6 位和 8 位整数量化，可加快推理速度并减少内存使用
• 用于在 NVIDIA GPU 上运行 LLM 的自定义 CUDA 内核（通过 HIP 支持 AMD GPU）
• Vulkan、SYCL 和（部分）OpenCL 后端支持
• CPU+GPU 混合推理，可部分加速大于 VRAM 总容量的模型

自成立以来，该项目已经 由于许多贡献，显着改善。它是为 ggml 库开发新功能的主要游乐场。

支持的平台：

• [X] 苹果操作系统
• [X] Linux 操作系统
• [X] Windows（通过 CMake）
• [X] docker
• [X] FreeBSD 的

支持的型号：

通常，还支持以下基本模型的微调。

• [X] LLaMA 🦙
• [x] LLaMA 2 🦙🦙
• [X] 米斯特拉尔 7B
• [x] 混合教育部
• [X] 猎鹰
• [X] 中国 LLaMA / 羊驼和中国 LLaMA-2 / 羊驼-2
• [X] 维高涅 （法语）
• [X] 考拉
• [X] 百川 1 & 2 + 推导
• [X] 天鹰座 1 和 2
• [X] Starcoder 模型
• [X] 事实
• [X] 柿子 8B
• [X] MPT
• [X] 绽放
• [x] 彝族模型
• [X] StableLM 模型
• [x] Deepseek 模型
• [x] Qwen 模型
• [x] PLaMo-13B
• [x] Phi 模型
• [x] GPT-2的
• [x] 猎户座 14B
• [x] 实习LM2
• [x] 代码外壳
• [x] 杰玛

多式联运模型：

• [x] LLaVA 1.5 型号
• [x] 巴克拉瓦
• [x] 黑曜石
• [x] 分享GPT4V
• [x] MobileVLM 1.7B/3B 型号
• [x] Yi-VL

绑定：

• 蟒蛇：abetlen/llama-cpp-python
• 转到： go-skynet/go-llama.cpp
• Node.js：withcatai/node-llama-cpp
• JS/TS（llama.cpp服务器客户端）：lgrammel/modelfusion
• JavaScript/Wasm（适用于浏览器）：tangledgroup/llama-cpp-wasm
• 红宝石：yoshoku/llama_cpp.rb
• Rust （更好的 API）： mdrokz/rust-llama.cpp
• Rust（更直接的绑定）：utilityai/llama-cpp-rs
• C#/.NET：SciSharp/LLamaSharp
• Scala 3：donderom/llm4s
• 隐晦：phronmophobic/llama.clj
• React 原生：mybigday/llama.rn
• 爪哇：kherud/java-llama.cpp
• 之字形：deins/llama.cpp.zig
• 颤振/ dart ：netdur/llama_cpp_dart

用户界面：

除非另有说明，否则这些项目是开源的，具有宽松的许可：

• IOHUB/科拉玛
• janhq/jan （AGPL）
• nat/openplayground
• 法拉第（专有）
• LMStudio（专有）
• LocalAI（ MIT ）
• 失落的废墟/koboldcpp （AGPL）
• Mozilla-Ocho/llama文件
• nomic-ai/gpt4all
• 奥拉玛/奥拉玛
• oobabooga/text-generation-webui （AGPL）
• psugihara/自由聊天
• cztomsik/ava （ MIT ）
• Ptsochantaris/emeltal
• pythops/tenere （AGPL）
• 森佩莱/阿米卡
• WithCatai/卡泰
• 移动人工智能/女仆 （MIT）

以下是在 M2 Ultra 上使用 LLaMA v2 13B 的典型运行：

$ make -j && ./main -m models/llama-13b-v2/ggml-model-q4_0.gguf -p "Building a website can be done in 10 simple steps:\nStep 1:" -n 400 -e
I llama.cpp build info:
I UNAME_S:  Darwin
I UNAME_P:  arm
I UNAME_M:  arm64
I CFLAGS:   -I.            -O3 -std=c11   -fPIC -DNDEBUG -Wall -Wextra -Wpedantic -Wcast-qual -Wdouble-promotion -Wshadow -Wstrict-prototypes -Wpointer-arith -Wmissing-prototypes -pthread -DGGML_USE_K_QUANTS -DGGML_USE_ACCELERATE
I CXXFLAGS: -I. -I./common -O3 -std=c++11 -fPIC -DNDEBUG -Wall -Wextra -Wpedantic -Wcast-qual -Wno-unused-function -Wno-multichar -pthread -DGGML_USE_K_QUANTS
I LDFLAGS:   -framework Accelerate
I CC:       Apple clang version 14.0.3 (clang-1403.0.22.14.1)
I CXX:      Apple clang version 14.0.3 (clang-1403.0.22.14.1)

make: Nothing to be done for `default'.
main: build = 1041 (cf658ad)
main: seed  = 1692823051
llama_model_loader: loaded meta data with 16 key-value pairs and 363 tensors from models/llama-13b-v2/ggml-model-q4_0.gguf (version GGUF V1 (latest))
llama_model_loader: - type  f32:   81 tensors
llama_model_loader: - type q4_0:  281 tensors
llama_model_loader: - type q6_K:    1 tensors
llm_load_print_meta: format         = GGUF V1 (latest)
llm_load_print_meta: arch           = llama
llm_load_print_meta: vocab type     = SPM
llm_load_print_meta: n_vocab        = 32000
llm_load_print_meta: n_merges       = 0
llm_load_print_meta: n_ctx_train    = 4096
llm_load_print_meta: n_ctx          = 512
llm_load_print_meta: n_embd         = 5120
llm_load_print_meta: n_head         = 40
llm_load_print_meta: n_head_kv      = 40
llm_load_print_meta: n_layer        = 40
llm_load_print_meta: n_rot          = 128
llm_load_print_meta: n_gqa          = 1
llm_load_print_meta: f_norm_eps     = 1.0e-05
llm_load_print_meta: f_norm_rms_eps = 1.0e-05
llm_load_print_meta: n_ff           = 13824
llm_load_print_meta: freq_base      = 10000.0
llm_load_print_meta: freq_scale     = 1
llm_load_print_meta: model type     = 13B
llm_load_print_meta: model ftype    = mostly Q4_0
llm_load_print_meta: model size     = 13.02 B
llm_load_print_meta: general.name   = LLaMA v2
llm_load_print_meta: BOS token = 1 '<s>'
llm_load_print_meta: EOS token = 2 '</s>'
llm_load_print_meta: UNK token = 0 '<unk>'
llm_load_print_meta: LF token  = 13 '<0x0A>'
llm_load_tensors: ggml ctx size =    0.11 MB
llm_load_tensors: mem required  = 7024.01 MB (+  400.00 MB per state)
...................................................................................................
llama_new_context_with_model: kv self size  =  400.00 MB
llama_new_context_with_model: compute buffer total size =   75.41 MB

system_info: n_threads = 16 / 24 | AVX = 0 | AVX2 = 0 | AVX512 = 0 | AVX512_VBMI = 0 | AVX512_VNNI = 0 | FMA = 0 | NEON = 1 | ARM_FMA = 1 | F16C = 0 | FP16_VA = 1 | WASM_SIMD = 0 | BLAS = 1 | SSE3 = 0 | VSX = 0 |
sampling: repeat_last_n = 64, repeat_penalty = 1.100000, presence_penalty = 0.000000, frequency_penalty = 0.000000, top_k = 40, tfs_z = 1.000000, top_p = 0.950000, typical_p = 1.000000, temp = 0.800000, mirostat = 0, mirostat_lr = 0.100000, mirostat_ent = 5.000000
generate: n_ctx = 512, n_batch = 512, n_predict = 400, n_keep = 0


 Building a website can be done in 10 simple steps:
Step 1: Find the right website platform.
Step 2: Choose your domain name and hosting plan.
Step 3: Design your website layout.
Step 4: Write your website content and add images.
Step 5: Install security features to protect your site from hackers or spammers
Step 6: Test your website on multiple browsers, mobile devices, operating systems etc…
Step 7: Test it again with people who are not related to you personally – friends or family members will work just fine!
Step 8: Start marketing and promoting the website via social media channels or paid ads
Step 9: Analyze how many visitors have come to your site so far, what type of people visit more often than others (e.g., men vs women) etc…
Step 10: Continue to improve upon all aspects mentioned above by following trends in web design and staying up-to-date on new technologies that can enhance user experience even further!
How does a Website Work?
A website works by having pages, which are made of HTML code. This code tells your computer how to display the content on each page you visit – whether it’s an image or text file (like PDFs). In order for someone else’s browser not only be able but also want those same results when accessing any given URL; some additional steps need taken by way of programming scripts that will add functionality such as making links clickable!
The most common type is called static HTML pages because they remain unchanged over time unless modified manually (either through editing files directly or using an interface such as WordPress). They are usually served up via HTTP protocols – this means anyone can access them without having any special privileges like being part of a group who is allowed into restricted areas online; however, there may still exist some limitations depending upon where one lives geographically speaking.
How to
llama_print_timings:        load time =   576.45 ms
llama_print_timings:      sample time =   283.10 ms /   400 runs   (    0.71 ms per token,  1412.91 tokens per second)
llama_print_timings: prompt eval time =   599.83 ms /    19 tokens (   31.57 ms per token,    31.68 tokens per second)
llama_print_timings:        eval time = 24513.59 ms /   399 runs   (   61.44 ms per token,    16.28 tokens per second)
llama_print_timings:       total time = 25431.49 ms

这是在一台 M7 Pro MacBook 上运行 LLaMA-1B 和 whisper.cpp 的另一个演示：

https://user-images.githubusercontent.com/1991296/224442907-7693d4be-acaa-4e01-8b4f-add84093ffff.mp4

用法

下面是大多数受支持模型的端到端二进制生成和模型转换步骤。

获取代码

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

建

为了构建llama.cpp你有三种不同的选择。

• 用：

  make

  • 在 Linux 或 MacOS 上：

    make

  • 在 Windows 上：

    1. 下载最新的 fortran 版本的 w64devkit。
    2. 在你的 PC 上提取。

       w64devkit

    3. 跑。

       w64devkit.exe

    4. 使用命令访问该文件夹。

       cd

       llama.cpp

    5. 从这里你可以运行：

       make

• 用：

  CMake

  mkdir build
  cd build
  cmake ..
  cmake --build . --config Release

• 使用（版本 0.11 或更高版本）：

  Zig

  可以使用标准构建参数（例如 AVX2、FMA、F16C、 还可以针对其他操作系统和体系结构进行交叉编译：

  zig build -Doptimize=ReleaseFast -Dtarget=x86_64-windows-gnu -Dcpu=x86_64+avx2+fma+f16c

  该命令将为你提供有效的使用选项。

  zig targets

• 使用 （FreeBSD）：

  gmake

  1. 在 FreeBSD 中安装并激活 DRM

  2. 将用户添加到视频组

  3. 安装编译依赖项。

     sudo pkg install gmake automake autoconf pkgconf llvm15 clinfo clover \
         opencl clblast openblas
     
     gmake CC=/usr/local/bin/clang15 CXX=/usr/local/bin/clang++15 -j4

  笔记：使用此软件包，你可以使用 OPENBLAS llama.cpp和 CLBLAST 支持在 FreeBSD 中使用 OpenCL GPU 加速。请阅读 以下文档中的使用说明和激活此选项。

金属制造

在 MacOS 上，Metal 默认处于启用状态。使用 Metal 可使计算在 GPU 上运行。 要在编译时禁用 Metal 构建，请使用 flag 或 cmake 选项。

LLAMA_NO_METAL=1

LLAMA_METAL=OFF

使用 Metal 支持构建时，你可以使用命令行显式禁用 GPU 推理 论点。

--n-gpu-layers|-ngl 0

MPI 构建

MPI 允许你将计算分布在计算机集群上。由于 LLM 预测的串行性，这不会产生任何端到端的加速，但它可以让你运行比在单台机器上适合 RAM 更大的模型。

首先，你需要在系统上安装 MPI 库。两个最流行（唯一？）的选项是 MPICH 和 OpenMPI。两者都可以通过包管理器（Homebrew、MacPorts 等）进行安装。

apt

接下来，你需要在所有计算机上构建设置为 true 的项目;如果使用 进行构建，则还需要指定支持 MPI 的编译器（使用 CMake 进行构建时，会自动配置）：

LLAMA_MPI

make

• 用：

  make

  make CC=mpicc CXX=mpicxx LLAMA_MPI=1

• 用：

  CMake

  cmake -S . -B build -DLLAMA_MPI=ON

构建程序后，下载/转换集群中所有计算机上的权重。权重和程序的路径在所有计算机上都应相同。

接下来，确保从主主机对每台计算机进行无密码 SSH 访问，并创建一个包含主机名及其相对“权重”（插槽）列表的主机名。如果要使用 localhost 进行计算，请使用其本地子网 IP 地址，而不是环回地址或“localhost”。

hostfile

下面是一个示例主机文件：

192.168.0.1:2
malvolio.local:1

上述内容将计算分布在第一台主机上的 2 个进程和第二台主机上的 1 个进程之间。每个进程将使用大致相等数量的 RAM。尽量保持较小的数字，因为进程间（主机内）通信的成本很高。

最后，你可以使用以下命令运行计算：

mpirun

mpirun -hostfile hostfile -n 3 ./main -m ./models/7B/ggml-model-q4_0.gguf -n 128

BLAS 构建

使用 BLAS 支持构建程序可能会导致使用大于 32（默认值为 512）的批处理进行提示处理时的性能有所提高。支持仅 CPU 的 BLAS 实现不会影响正常生成性能。我们可能会看到涉及 GPU 的 BLAS 实现（例如 cuBLAS、hipBLAS 和 CLBlast）的生成性能改进。目前有几种不同的 BLAS 实现可供构建和使用：

• 加速框架：

  此功能仅在 Mac PC 上可用，并且默认处于启用状态。你可以只使用正常说明进行构建。

• OpenBLAS的：

  这仅使用 CPU 提供 BLAS 加速。确保在你的计算机上安装了 OpenBLAS。

  • 用：

    make

    • 在 Linux 上：

      make LLAMA_OPENBLAS=1

    • 在 Windows 上：

      1. 下载最新的 fortran 版本的 w64devkit。

      2. 下载适用于 Windows 的最新版本的 OpenBLAS。

      3. 在你的 PC 上提取。

         w64devkit

      4. 从你刚刚下载的 OpenBLAS zip 中复制 ，位于文件夹内，在 .

         libopenblas.a

         lib

         w64devkit\x86_64-w64-mingw32\lib

      5. 从同一个 OpenBLAS zip 中复制 .

         include

         w64devkit\x86_64-w64-mingw32\include

      6. 跑。

         w64devkit.exe

      7. 使用命令访问该文件夹。

         cd

         llama.cpp

      8. 从这里你可以运行：

         make LLAMA_OPENBLAS=1

  • 在 Linux 上使用：

    CMake

    mkdir build
    cd build
    cmake .. -DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=OpenBLAS
    cmake --build . --config Release

• BLIS公司

  查看 BLIS.md 了解更多信息。

• SYCL公司

  SYCL 是一种更高级别的编程模型，用于提高各种硬件加速器的编程效率。

  基于 SYCL 的llama.cpp用于支持 Intel GPU（Data Center Max 系列、Flex 系列、Arc 系列、内置 GPU 和 iGPU）。

  有关详细信息，请参阅 SYCL 的llama.cpp。

• 英特尔 oneMKL

  通过 oneAPI 编译器构建将使指令集avx_vnni可用于不支持 avx512 和 avx512_vnni 的英特尔处理器。请注意，此构建配置不支持 Intel GPU。有关英特尔 GPU 支持，请参阅 SYCL 的llama.cpp。

  • 使用手动 oneAPI 安装： 默认情况下，设置为 ，因此，如果你已经获取了英特尔环境脚本并在 cmake 中分配，则将自动选择 Blas 的 mkl 版本。否则，请安装 oneAPI 并按照以下步骤操作：

    LLAMA_BLAS_VENDOR

    Generic

    -DLLAMA_BLAS=ON

    mkdir build
    cd build
    source /opt/intel/oneapi/setvars.sh # You can skip this step if  in oneapi-basekit docker image, only required for manual installation
    cmake .. -DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=Intel10_64lp -DCMAKE_C_COMPILER=icx -DCMAKE_CXX_COMPILER=icpx -DLLAMA_NATIVE=ON
    cmake --build . --config Release

  • 使用 oneAPI docker 镜像： 如果你不想获取环境变量并手动安装 oneAPI，你还可以使用英特尔 docker 容器构建代码：oneAPI-basekit。然后，你可以使用上面给出的命令。

  有关更多信息，请查看在 Intel® CPU 上优化和运行 LLaMA2。

• 库布拉斯

  这使用 Nvidia GPU 的 CUDA 内核提供 BLAS 加速。确保已安装 CUDA 工具包。你可以从 Linux 发行版的包管理器（例如）或从这里下载它：CUDA Toolkit。

  apt install nvidia-cuda-toolkit

  对于 Jetson 用户，如果你有 Jetson Orin，你可以尝试以下方法：官方支持。如果你使用的是旧模型（nano/TX2），则在编译之前需要一些额外的操作。

  • 用：

    make

    make LLAMA_CUBLAS=1

  • 用：

    CMake

    mkdir build
    cd build
    cmake .. -DLLAMA_CUBLAS=ON
    cmake --build . --config Release

  环境变量 CUDA_VISIBLE_DEVICES 可用于指定将使用的 GPU。以下编译选项也可用于调整性能：

gguf

# obtain the official LLaMA model weights and place them in ./models
ls ./models
llama-2-7b tokenizer_checklist.chk tokenizer.model
# [Optional] for models using BPE tokenizers
ls ./models
<folder containing weights and tokenizer json> vocab.json
# [Optional] for PyTorch .bin models like Mistral-7B
ls ./models
<folder containing weights and tokenizer json>

# install Python dependencies
python3 -m pip install -r requirements.txt

# convert the model to ggml FP16 format
python3 convert.py models/mymodel/

# [Optional] for models using BPE tokenizers
python convert.py models/mymodel/ --vocab-type bpe

# quantize the model to 4-bits (using Q4_K_M method)
./quantize ./models/mymodel/ggml-model-f16.gguf ./models/mymodel/ggml-model-Q4_K_M.gguf Q4_K_M

# update the gguf filetype to current version if older version is now unsupported
./quantize ./models/mymodel/ggml-model-Q4_K_M.gguf ./models/mymodel/ggml-model-Q4_K_M-v2.gguf COPY

# start inference on a gguf model
./main -m ./models/mymodel/ggml-model-Q4_K_M.gguf -n 128

llama-b1380-bin-win-avx2-x64.zip

.gguf

.\main -m llama-2-7b.Q4_0.gguf -n 128

perplexity

wikitext2

perplexity : calculating perplexity over 655 chunks
24.43 seconds per pass - ETA 4.45 hours
[1]4.5970,[2]5.1807,[3]6.0382,...

-i

-r "reverse prompt string"

-r "Alice:"

# default arguments using a 7B model
./examples/chat.sh

# advanced chat with a 13B model
./examples/chat-13B.sh

# custom arguments using a 13B model
./main -m ./models/13B/ggml-model-q4_0.gguf -n 256 --repeat_penalty 1.0 --color -i -r "User:" -f prompts/chat-with-bob.txt

--color

main

./main

--prompt-cache

--prompt-cache-all

./examples/chat-persistent.sh

chat-13B.sh

PROMPT_TEMPLATE

# Start a new chat
PROMPT_CACHE_FILE=chat.prompt.bin CHAT_SAVE_DIR=./chat/default ./examples/chat-persistent.sh

# Resume that chat
PROMPT_CACHE_FILE=chat.prompt.bin CHAT_SAVE_DIR=./chat/default ./examples/chat-persistent.sh

# Start a different chat with the same prompt/model
PROMPT_CACHE_FILE=chat.prompt.bin CHAT_SAVE_DIR=./chat/another ./examples/chat-persistent.sh

# Different prompt cache for different prompt/model
PROMPT_TEMPLATE=./prompts/chat-with-bob.txt PROMPT_CACHE_FILE=bob.prompt.bin \
    CHAT_SAVE_DIR=./chat/bob ./examples/chat-persistent.sh

llama.cpp

./main -m ./models/13B/ggml-model-q4_0.gguf -n 256 --grammar-file grammars/json.gbnf -p 'Request: schedule a call at 8pm; Command:'

grammars/

./examples/alpaca.sh

== Running in interactive mode. ==
 - Press Ctrl+C to interject at any time.
 - Press Return to return control to LLaMa.
 - If you want to submit another line, end your input in '\'.

 Below is an instruction that describes a task. Write a response that appropriately completes the request.

> How many letters are there in the English alphabet?
There 26 letters in the English Alphabet
> What is the most common way of transportation in Amsterdam?
The majority (54%) are using public transit. This includes buses, trams and metros with over 100 lines throughout the city which make it very accessible for tourists to navigate around town as well as locals who commute by tram or metro on a daily basis
> List 5 words that start with "ca".
cadaver, cauliflower, cabbage (vegetable), catalpa (tree) and Cailleach.
>

llama.cpp

pkg install clang wget git cmake

$ mkdir build-android
$ cd build-android
$ export NDK=<your_ndk_directory>
$ cmake -DCMAKE_TOOLCHAIN_FILE=$NDK/build/cmake/android.toolchain.cmake -DANDROID_ABI=arm64-v8a -DANDROID_PLATFORM=android-23 -DCMAKE_C_FLAGS=-march=armv8.4a+dotprod ..
$ make

termux-setup-storage

llama

apt install libopenblas

apt install ocl-icd opencl-headers opencl-clhpp clinfo

cmake .
make
cp libclblast.so* $PREFIX/lib
cp ./include/clblast.h ../llama.cpp

cp /data/data/com.termux/files/usr/include/openblas/cblas.h .
cp /data/data/com.termux/files/usr/include/openblas/openblas_config.h .
make LLAMA_CLBLAST=1 //(sometimes you need to run this command twice)

GGML_OPENCL_PLATFORM=0
GGML_OPENCL_DEVICE=0
export LD_LIBRARY_PATH=/vendor/lib64:$LD_LIBRARY_PATH

~/llama.cpp/models/

./main (...)

/path/to/models

docker run -v /path/to/models:/models ghcr.io/ggerganov/llama.cpp:full --all-in-one "/models/" 7B

docker run -v /path/to/models:/models ghcr.io/ggerganov/llama.cpp:full --run -m /models/7B/ggml-model-q4_0.gguf -p "Building a website can be done in 10 simple steps:" -n 512

docker run -v /path/to/models:/models ghcr.io/ggerganov/llama.cpp:light -m /models/7B/ggml-model-q4_0.gguf -p "Building a website can be done in 10 simple steps:" -n 512

docker run -v /path/to/models:/models -p 8000:8000 ghcr.io/ggerganov/llama.cpp:server -m /models/7B/ggml-model-q4_0.gguf --port 8000 --host 0.0.0.0 -n 512

cuBLAS

docker build -t local/llama.cpp:full-cuda -f .devops/full-cuda.Dockerfile .
docker build -t local/llama.cpp:light-cuda -f .devops/main-cuda.Dockerfile .
docker build -t local/llama.cpp:server-cuda -f .devops/server-cuda.Dockerfile .

ARGS

--gpus

--n-gpu-layers

docker run --gpus all -v /path/to/models:/models local/llama.cpp:full-cuda --run -m /models/7B/ggml-model-q4_0.gguf -p "Building a website can be done in 10 simple steps:" -n 512 --n-gpu-layers 1
docker run --gpus all -v /path/to/models:/models local/llama.cpp:light-cuda -m /models/7B/ggml-model-q4_0.gguf -p "Building a website can be done in 10 simple steps:" -n 512 --n-gpu-layers 1
docker run --gpus all -v /path/to/models:/models local/llama.cpp:server-cuda -m /models/7B/ggml-model-q4_0.gguf --port 8000 --host 0.0.0.0 -n 512 --n-gpu-layers 1