ggml - 用于机器学习的张量库
吉姆
用于机器学习的张量库
请注意，此项目正在开发中，尚未准备好用于生产。
一些发展目前正在耳语.cpp回购中进行
特征
- 用 C 语言编写
- 16 位浮点支持
- 自动区分（在制品正在进行中）
- 自动原子能和L-BFGS优化器
- 通过 NEON 内部函数和加速框架针对 Apple 芯片进行了优化
- 在 x86 架构上利用 AVX 内联函数
- 无第三方依赖关系
- 运行时内存分配为零
路线图
- [X] GPT-2 推理示例/gpt-2 示例
- [X] GPT-J 推理示例/gpt-j
- [X] 耳语推理示例/耳语示例
- [ ] 支持 4 位整数量化 https://github.com/ggerganov/ggml/pull/27
- [ ] FLAN-T5 推理 https://github.com/ggerganov/ggml/pull/12 示例
- [ ] LLaMA 推理示例
- [ ] RWKV 推理示例
耳语推理（示例）
使用 ggml，你可以在 CPU 上有效地运行耳语推理。
内存要求：
| 型 | 磁盘 | 记忆 |
|---|---|---|
| 小 | 75兆字节 | ~280 兆字节 |
| 基础 | 142兆字节 | ~430 MB |
| 小 | 466兆字节 | ~1.0 千兆字节 |
| 中等 | 1.5 千兆字节 | ~2.6 千兆字节 |
| 大 | 2.9 千兆字节 | ~4.7 千兆字节 |
GPT 推理（示例）
使用 ggml，你可以在 CPU 上有效地运行 GPT-2 和 GPT-J 推理。
以下是运行示例程序的方法：
# Build ggml + examples
git clone https://github.com/ggerganov/ggml
cd ggml
mkdir build && cd build
cmake ..
make -j4 gpt-2 gpt-j
# Run the GPT-2 small 117M model
../examples/gpt-2/download-ggml-model.sh 117M
./bin/gpt-2 -m models/gpt-2-117M/ggml-model.bin -p "This is an example"
# Run the GPT-J 6B model (requires 12GB disk space and 16GB CPU RAM)
../examples/gpt-j/download-ggml-model.sh 6B
./bin/gpt-j -m models/gpt-j-6B/ggml-model.bin -p "This is an example"我在32GB MacBook M1 Pro上为不同型号获得的推理速度如下：
| 型 | 大小 | 时间/代币 |
|---|---|---|
| GPT-2 | 117米 | 5 毫秒 |
| GPT-2 | 345米 | 12 毫秒 |
| GPT-2 | 774米 | 23 毫秒 |
| GPT-2 | 1558米 | 42 毫秒 |
| --- | --- | --- |
| GPT-J | 6乙 | 125 毫秒 |
有关详细信息，请查看示例文件夹中的相应程序。
热门帖子
热门github
1
2
4
The Python Risk Identification Tool for generative AI (PyRIT) is an open access automation framework to empower security professionals and machine learning engineers to proactively find risks in their generative AI systems.
(翻译：用于生成式 AI 的 Python 风险识别工具 (PyRIT) 是一个开放式访问自动化框架，使安全专业人员和机器学习工程师能够主动发现其生成式 AI 系统中的风险。)
5
7
8
9
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention.
(翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)
10
11
13