擴增新的語言模型

[yiwei0730]

能否问问您是怎么训练一个新的语言的，我有尝试训练另外一种语言(韩语)，并且保留中英日三个symbol但是训练不起来。
不知道您是怎么训练起来的。是不是需要把某些设定一开始先拔掉，然后好好的训练韩语的声学模型等等，例如关掉DD/SLM模组的训练这样吗? 因为看您的训练似乎是使用替代symbol的方式把中文给砍掉? 但可能是因为四川话和中文较相关，但另外一个客语的似乎就直接砍到剩下只有Hakka phoneme。想问问整體的训练方式!! 感谢您!

[Naozumi520]

能否问问您是怎么训练一个新的语言的，我有尝试训练另外一种语言(韩语)，并且保留中英日三个symbol但是训练不起来。

不知道您是怎么训练起来的。是不是需要把某些设定一开始先拔掉，然后好好的训练韩语的声学模型等等，例如关掉DD/SLM模组的训练这样吗? 因为看您的训练似乎是使用替代symbol的方式把中文给砍掉? 但可能是因为四川话和中文较相关，但另外一个客语的似乎就直接砍到剩下只有Hakka phoneme。想问问整體的训练方式!! 感谢您!

啊沒有，就修改了symbols之後就直接訓了。
也許是資料長度的問題，訓新語言我建議是至少10小時左右的資料。

[Naozumi520]

可以參考 #1

[yiwei0730]

我訓練韓語資料大概3萬多筆，但似乎55000 step他的語音全部變成輕飄飄聲音，不是念字的那種。
0.zip
前處理過程是先加上KR symbol的部份讓symbol維度擴增，但我預先載入中英日模組的checkpoint去做訓練。
訓練的時候只使用韓語資料，並且關閉DD和SLM的模組去訓練。
不知道訓練的問題出在哪裡，韓語聲學模型有點訓練不起來的感覺。

[Naozumi520]

我能看一下源碼嗎？聽上去是symbols mapping的問題
能試試不關閉DD和SLM的模組去訓練嗎？

[yiwei0730]

想問問您需要哪部分的源碼，我應該能提供。
能試試不關閉DD和SLM的模組去訓練嗎？ -> 一開始就是嘗試這塊訓練，但是失敗了。
我嘗試過不關閉只訓練韓語，不關閉同時訓練中日英韓語，但似乎都會讓他的聲音變成上面那個0.zip差不多的感覺。

[Naozumi520]

korean.py, symbols.py, __init__.py, cleaner,py

[yiwei0730]

Korean.zip
以上包含四個檔案，應該沒有錯。

[Naozumi520]

You might want to try implementing on Style-Bert-VITS2. We found that training on it (and it's based on bert-vits 2.1) works better (can already speak some Cantonese with 100 steps)

Our implement:
https://github.com/hon9kon9ize/Bert-VITS2-Cantonese/tree/Style-Bert-VITS2

[SaltedSlark]

You might want to try implementing on Style-Bert-VITS2. We found that training on it (and it's based on bert-vits 2.1) works better (can already speak some Cantonese with 100 steps)

Our implement: https://github.com/hon9kon9ize/Bert-VITS2-Cantonese/tree/Style-Bert-VITS2

你好，我使用这个工程的main branch，基于十几小时的粤语数据集进行训练，训练到235epoch，82000步了，合成的声音无法正常说话，一直‘啊啊啊啊啊啊’，请问可能是什么原因？

[Naozumi520]

You might want to try implementing on Style-Bert-VITS2. We found that training on it (and it's based on bert-vits 2.1) works better (can already speak some Cantonese with 100 steps)
Our implement: https://github.com/hon9kon9ize/Bert-VITS2-Cantonese/tree/Style-Bert-VITS2

你好，我使用这个工程的main branch，基于十几小时的粤语数据集进行训练，训练到235epoch，82000步了，合成的声音无法正常说话，一直‘啊啊啊啊啊啊’，请问可能是什么原因？

Not sure what causes this issue, as you mentioned you used around 10 hours of training data and 235 epochs already

You may want to try our new repo instead to see if it fix

https://github.com/hon9kon9ize/Bert-VITS2-Cantonese