更新了 4.0-v2 模型,整个过程与 4.0 相同。与 4.0 相比,在某些情况下有一些改进,但也有一些情况有所倒退。有关详细信息,请参阅 4.0-v2 分支。
歌声转换模型使用SoftVC内容编码器提取源音频语音特征,然后将向量直接馈送到VITS中,而不是转换为基于文本的中间;因此,音高和语调是守恒的。此外,声码器改为NSF HiFiGAN,以解决声音中断的问题。
hubert
# contentvec
wget -P hubert/ http://obs.cstcloud.cn/share/obs/sankagenkeshi/checkpoint_best_legacy_500.pt
# Alternatively, you can manually download and place it in the hubert directory
G_0.pth
D_0.pth
logs/44k
从svc-develop-team(TBD)或其他任何地方获取它们。
虽然预训练模型一般不会造成任何版权问题,但请注意。例如,提前询问作者,或者作者在描述中已经明确指出了可行的用途。
只需将数据集放在具有以下文件结构的目录中即可。
dataset_raw
dataset_raw
├───speaker0
│ ├───xxx1-xxx1.wav
│ ├───...
│ └───Lxx-0xx8.wav
└───speaker1
├───xx2-0xxx2.wav
├───...
└───xxx7-xxx007.wav
python resample.py
python preprocess_flist_config.py
python preprocess_hubert_f0.py
完成上述步骤后,数据集目录将包含预处理后的数据,可以删除dataset_raw文件夹。
python train.py -c configs/config.json -m 44k
注意:在训练过程中,旧模型将自动清除,仅保留最新的三个模型。如果要防止过度拟合,则需要手动备份模型检查点,或将配置文件修改为 0 以永不清除它们。
keep_ckpts
到目前为止,版本 4.0(训练和推理)的使用与版本 3.0 完全相同,没有变化(推理现在支持命令行)。
# Example
python inference_main.py -m "logs/44k/G_30400.pth" -c "configs/config.json" -n "君の知らない物語-src.wav" -t 0 -s "nen"
必需参数:
可选参数:请参阅下一节
如果上一节的结果令人满意,或者你不了解下一节中讨论的内容,则可以跳过它,它不会影响模型的使用。(这些可选设置的影响相对较小,并且它们可能对某些特定数据产生一些影响,但在大多数情况下,差异可能并不明显。
在 4.0 模型训练期间,还会训练 f0 预测器,可用于语音转换过程中的自动音高预测。但是,如果效果不好,则可以使用手动音高预测。但是请不要在转换歌声时启用此功能,因为它可能会导致严重的音高转换!
简介:聚类方案可以减少音色泄漏,使训练好的模型听起来更像目标的音色(虽然这种效果不是很明显),但单独使用聚类会降低模型的清晰度(模型可能听起来不清楚)。因此,该模型采用融合方法线性控制聚类和非聚类方案的比例。换句话说,你可以手动调整“听起来像目标音色”和“清晰清晰”之间的比例,以找到合适的权衡点。
不需要更改群集之前的现有步骤。你需要做的就是训练一个额外的聚类分析模型,该模型的训练成本相对较低。
checkpoints
checkpoints
aziplayer
model.pth
config.json
aziplayer
"NyaruTaffy"
path = "NyaruTaffy"
path = "aziplayer"
model.onnx
注意:对于休伯特 Onnx 型号,请使用 MoeSS 提供的型号。目前,它们不能单独导出(fairseq 中的 Hubert 有许多不受支持的运算符和涉及常量的东西,这些常量可能会导致错误或导致导出时输入/输出形状和结果出现问题。休伯特4.0
任何组织或者个人不得以丑化、污损,或者利用信息技术手段伪造等方式侵害他人的肖像权。未经肖像权人同意,不得制作、使用、公开肖像权人的肖像,但是法律另有规定的除外。未经肖像权人同意,肖像作品权利人不得以发表、复制、发行、出租、展览等方式使用或者公开肖像权人的肖像。对自然人声音的保护,参照适用肖像权保护的有关规定。
【名誉权】民事主体享有名誉权。任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。
【作品侵害名誉权】行为人发表的文学、艺术作品以真人真事或者特定人为描述对象,含有侮辱、诽谤内容,侵害他人名誉权的,受害人有权依法请求该行为人承担民事责任。行为人发表的文学、艺术作品不以特定人为描述对象,仅其中的情节与该特定人的情况相似的,不承担民事责任。