给OPPO团队点赞!继续优化。。。

#5
by wikeeyang - opened

一直有跟踪贵团队的一些项目,很有创意!
根据我测试 Qwen-Image的层,如果只是出图的话,冗余的层近一半,甚至超过一半,不知道很多是不是以此为基础模型,给后面的Edit模型准备的层。Edit模型的层还没详细测试。
望贵团队继续努力,个人认为如果只是针对出图的话,应该能将模型减到10B。🤣🤣🤣

就是,再出个4bit的gguf,完美

OPPO org

首先感谢wikeeyang转成的ComfyUI,让更多社区感兴趣的同学们可以更方便快捷的用上剪枝模型!目前我们剪枝主要考虑想保留Qwen-Image小字渲染能力,因为毕竟这是原生模型的一大亮点,但是随着剪枝的增多,小字渲染能力很难保持,当然小字渲染能力本身也能反映图片生成细节的能力,所以综合考虑开了一个13B的模型,后续还在持续优化,争取搞到10B,客观指标保持三个百分点以内的下降!

@majian0318 , 完全同意您的观点,文字渲染是原模型的亮点,特别是小字。我测试量化模型的输出质量,也是主要保持这一块,当然构图能力也是要继续保持细节不崩。
早上刚测试 12B 的模型,由于团队对后面有 10 个层的有些块进行了压缩转换,新定义了一些键值,这样的话 diffusers 加载就不能直接量化了,而 ComfyUI 比较啰嗦,不修改模型配置就无法正常出图,修改配置会影响原模型加载,除非重新定义个新的模型类型,比如:QwenImagePruned,这个就很麻烦,我暂时没想到更好的办法。
如果您方便的话,微信我 ID 沟通请教一下,谢谢!

OPPO org

好的,已加微信

@majian0318 , 完全同意您的观点,文字渲染是原模型的亮点,特别是小字。我测试量化模型的输出质量,也是主要保持这一块,当然构图能力也是要继续保持细节不崩。
早上刚测试 12B 的模型,由于团队对后面有 10 个层的有些块进行了压缩转换,新定义了一些键值,这样的话 diffusers 加载就不能直接量化了,而 ComfyUI 比较啰嗦,不修改模型配置就无法正常出图,修改配置会影响原模型加载,除非重新定义个新的模型类型,比如:QwenImagePruned,这个就很麻烦,我暂时没想到更好的办法。
如果您方便的话,微信我 ID 沟通请教一下,谢谢!

will you be adding the -image-edit pruned model in gguf as well ?

OPPO org

@majian0318 , 完全同意您的观点,文字渲染是原模型的亮点,特别是小字。我测试量化模型的输出质量,也是主要保持这一块,当然构图能力也是要继续保持细节不崩。
早上刚测试 12B 的模型,由于团队对后面有 10 个层的有些块进行了压缩转换,新定义了一些键值,这样的话 diffusers 加载就不能直接量化了,而 ComfyUI 比较啰嗦,不修改模型配置就无法正常出图,修改配置会影响原模型加载,除非重新定义个新的模型类型,比如:QwenImagePruned,这个就很麻烦,我暂时没想到更好的办法。
如果您方便的话,微信我 ID 沟通请教一下,谢谢!

will you be adding the -image-edit pruned model in gguf as well ?

@wikeeyang Looking forward to it

说实话,推理效果比较拉。

我发现12B版本的gguf无法出图

Sign up or log in to comment