fauxpilot - FauxPilot - 一个开源的 GitHub Copilot 服务器
Created at: 2022-08-03 10:14:22
Language: Python
License: MIT
假飞行员
这是构建 GitHub Copilot 本地托管版本的尝试。它在NVIDIA的Triton Inference Server中使用SalesForce CodeGen模型和FasterTransformer后端。
先决条件
你将需要：
- docker
-
docker compose
>= 1.28 - 具有计算能力 >= 6.0 和足够的 VRAM 来运行你想要的模型的 NVIDIA GPU。
nvidia-docker
-
curl
以及下载和解压缩模型。zstd
请注意，列出的VRAM要求是总数 - 如果你有多个GPU，则可以在它们之间拆分模型。因此，如果你有两个 NVIDIA RTX 3080 GPU，你应该能够通过在每个 GPU 上放置一半来运行 6B 型号。
setup.sh
支持和保修
淳淑娴
好的，好的，我们现在在wiki上有一些最少的信息和一个讨论论坛，你可以在其中提问。仍然没有正式的支持或保修！
设置
本节介绍如何安装 Fauxpilot 服务器和客户端。
设置假飞行员服务器
运行安装脚本以选择要使用的模型。这将从Huggingface/Moyix下载GPT-J格式的模型，然后将其转换为与FasterTransformer一起使用。
请参考如何设置假领航服务器。
假飞行员的客户端配置
我们提供了一些连接到仿领航服务器的方法。例如，你可以通过如何打开Openai API，Copilot Plugin，REST API来创建客户端。
请参阅如何设置客户端。
术语
- API：应用程序编程接口
- CC：计算能力
- CUDA：计算统一设备架构
- FT：更快的变压器
- JSON：JavaScript Object Notation
- gRPC：谷歌的远程过程调用
- GPT-J：使用Ben Wang的网状变压器JAX训练的变压器模型
- 休息：再现状态转移
热门github
1
2
3
5
6
7
8
11
13
14
15
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention.
(翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)