设为首页|收藏本站|
发帖
登录 注册
西兔生活网 › 美洲华人圈 › 西雅图华人圈 › 【经典简读】知识蒸馏(Knowledge Distillation) 经典之 ...
回复 发帖
1 ...515793515794515795515796515797
返回列表 发新帖
开启左侧

[问答] 【经典简读】知识蒸馏(Knowledge Distillation) 经典之作

[复制链接]
5157961#
pan… 发表于 2022-5-4 17:42:25 | 只看该作者
 
我说的那部分还是错的啊...其一是log(a/b)怎么可能是log(a)/b，第一步就错了；其二是除了i=j那一项，i≠j也是关于z_i有导数的啊，你不能直接扔掉
回复 支持 反对

使用道具 举报

 
5157962#
azs54 发表于 2022-5-4 17:42:45 | 只看该作者
 
讲挺好，想问一下teacher和student是在哪篇paper中定义的呀，我看2015的原文没有这个定义[拜托]
回复 支持 反对

使用道具 举报

 
5157963#
敢挑音也是女神 发表于 2022-5-4 17:43:43 | 只看该作者
 
看了这么多篇KD的讲解，这篇最清楚
回复 支持 反对

使用道具 举报

 
5157964#
o萌の讃月歌o 发表于 2022-5-4 17:44:24 | 只看该作者
 
好的，我会再次确认一下再回复你
回复 支持 反对

使用道具 举报

 
5157965#
angel_mm 发表于 2022-5-4 17:44:33 | 只看该作者
 
[干杯]
回复 支持 反对

使用道具 举报

 
5157966#
宫野玉子 发表于 2022-5-4 17:45:02 | 只看该作者
 
您好，损失函数L中两个权重系数alpha和Beta是超参还是需要训练的参数呢
回复 支持 反对

使用道具 举报

 
1 ...515793515794515795515796515797
返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小祥

0关注

6粉丝

458帖子

热门图文
热门帖子
排行榜
  • 日
  • 周
  • 月
活跃网友
返回顶部快速回复上一主题下一主题返回列表APP下载手机访问
Copyright © 2016-2028 CTLIVES.COM All Rights Reserved.  西兔生活网  小黑屋| GMT+8, 2024-6-27 10:33