LV.1

xgs0705

161积分0赞

19 帖子 57 回复 0 收藏

TA的动态

TA的帖子

TA的回复

dump工具问题 我的回复：#2武力全开回复是用的torchdump工具吗问题1：每一个输出对应一个算子，这几个都是模型中不同的算子，可以确认下 _00000_conv0.conv_in errRate = 0.0_00000_conv0.conv_out errRate = 0.0_00001_conv0.bn_in errRate = 0.0_00001_conv0.bn_out errRate = 0.0_00002_conv0.act_in errRate = 0.0_00002_conv0.act_out errRate = 0.0问题2：cpu推理和mlu逐层推理之间存在很大的误差？可以具体描述下比较的方式吗？展开你好，我对输出进行了一定的后处理从而得到一个可以衡量精度的值，对于同样的8位量化模型，使用cpu推理的结果是4.8，使用mlu逐层推理的结果接近7，而对于16位量化模型则基本没有误差。对于这样的问题，一般是什么情况导致的？如果是mlu算子有问题，16位模型应该也会误差较大才对。 0

dump工具问题 我的回复：还有一个问题就是我的conv之后跟着有一个bn的操作除了第一次出现的conv0，包括conv、bn、act三个，其他的所有都只有act没有bn的一个误差？ 0

关于yolov8网络中的c2f中的split操作 我的回复：求助，谢谢！ 0

mlu270 cnstream相关问题 我的回复：#2wuwangdong回复cnstream和cnrt存在差异，请问哪个是正确的？cnrt上的结果是正确的，我排查后发现图像输入数据在datasource流出来后就不一样，这是因为硬件解码和opencv软件解码后得到的像素值不一致导致的?修改了libyuv的参数后也只能做到数值上的接近，但还是不完全一致。 0

量化方法只能是动态量化吗？ 我的回复：#1wuwangdong回复请问硬件是200还是300？200系列 0

请问mlu270 / mlu220支持部署transformer吗？ 我的回复：#3wuwangdong回复200硬件上支持transformer类模型运行是没有问题的，但软件集成上还有较多缺失，需要用户自行集成，工作量会较大，可参考200文档：https://developer./index/document/down.html?ddd=9，在cnplugin文档中，已提供transformer_ffn和transformer_enc算子，但pytorch文档中显示这两个cunpluin算子还没有集成进框架，算子的框架集成和模型的移植需要较大工作量。展开请问算子的框架集成有详细说明指导的demo及文档吗？ 0

请问mlu270 / mlu220支持部署transformer吗？ 我的回复：#1wuwangdong回复建议使用星空体育mlu370部署transformer，请参考https://gitee.com/cambricon/pytorch_modelzoo/tree/master/built-in/nlp/transformer展开你好，有边缘端部署需求，370功耗太高，200系列不支持吗？ 0

MLU270与MLU220的离线推理结果不一致，有细微精度偏差 我的回复：#3zhangyanting回复您好，maskrcnn、yolact这类分割模型，您可以采取以下方法提高精度：1、由于 int16 的计算精度高于 int8，因此设置计算数据类型为 int16，能够有效提高计算精度。2、分通道量化比普通量化的计算精度高。对于支持分通道量化的算子，可使用通道量化方式提升网络精度。然而，分通道量化对性能可能有负面影响。具体可参考cnml用户手册。展开你好！你的回答针对的是总体的精度误差吗？目前我的情况是，在mlu270上离线推理，与在线推理基本没有精度损失，但是部署到220上，最终结果和270的结果会有偏差。这是指令集架构不同造成的吗？有什么办法可以尽可能减小该偏差？ 0

MLU270与MLU220的离线推理结果不一致，有细微精度偏差 我的回复：#1zhangyanting回复您好，由于270和220的存在硬件结构区别，相同模型也可能存在算子计算方式有所区别，有细微精度差别属于正常现象。展开由于细微的精度区别导致最终的结果有偏差，有解决方案吗？误差在YOLO6D模型上无关紧要可以忽略，但是在yolact实力分割模型上的误差就会对最终的结果造成一些误差，我想知道你们在部署maskrcnn、yolact这类实例分割模型的时候有遇到类似的问题吗？是怎么解决的？ 0

【Pytorch Yolact模型在线推理】mlu270在线推理量化模型报错 我的回复：#4zhangyanting回复您好，理论上逐层模式和融合模式结果是一致的，建议您参考一下这份代码，这是移植yolact的代码流程，（库源：GitHub - dbolya/yolact: A simple, fully convolutional model for real-time instance segmentation.）。下载地址：https://pan.baidu.com/s/1i39m8RLYfz2VNQX50mwEhA 提取码：1cs1展开你好，文件是否发错了？这个文件下下来好像是离线模型调试和交叉编译的。另外，我的问题目前已经解决，发现是yolact网络中，有部分变量创建和计算发生在cpu上，导致出现的问题。 0

上一页 1 2 3 下一页