-
Notifications
You must be signed in to change notification settings - Fork 30
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
跑internlm2-chat-1_8b、MiniCPM-2B-sft-bf16、Qwen-1_8B-Chat等模型结果异常 #86
Comments
我也遇到这种问题,我用的Qwen2-7b模型比你这个还离谱全都是自问自答,答非所问。要么全页都是啦啦啦啦啦啦啦啦啦啦, |
如果发现在板端运行程序存在“直接被Killed”等问题时,查下板卡上的空闲内存是否满足需求;本人实际测试跑MiniCPM-2B-sft-bf16 w8a8量化模型需要接近4G内存;更新新的内存更大后的板卡后可程序能运行,不被Killed,但是回答的结果还是异常。 |
@124ffee 我也是遇到这种情况,请问你解决了么。 |
我也遇到了同样的情况,请问解决了么 |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
板卡信息:rk3588
rkllm-runtime version: 1.0.1, rknpu driver version: 0.9.7
android版本:12
kernel版本:Linux version 5.10.110-ab22
使用rknn-llm/rkllm-toolkit/examples/huggingface/test.py转换模型internlm2-chat-1_8b、MiniCPM-2B-sft-bf16、Qwen-1_8B-Chat能成功,统一使用“w8a8”
基于rknn-llm/rkllm-runtime/examples/rkllm_api_demo/src/main.cpp运行程序
运行taskset f0 ./llm_demo internlm2-chat-1_8b.rkllm结果异常如下:
`user: 介绍你自己
robot:
运行taskset f0 ./llm_demo miniCPM.rkllm程序在rkllm_init时直接被Killed
运行Qwen-1_8B-Chat时稍微正常点,但是在callback函数中容易出现“state == LLM_RUN_FINISH”状态后打印换行,问问题也会出现如下异常:
`user: 介绍广州
robot:
matmul run failed可能出现,或者被提出被提出被提出被提出被提出被提出被提出被提出桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑桑
user: 介绍美丽中国
robot: 的中国
中国的美丽在于它的悠久历史和丰富的文化。它拥有世界上最古老的文明之一,有着几千年的历史,从古代到现代,中国文化一直延续至今。此外,中国还有着壮丽的自然风光,包括山脉。。。。`
由于没有开源和其他参考示例,上述问题是什么原因导致的,还请协助分析下,谢谢
The text was updated successfully, but these errors were encountered: