Skip to content

源码的KLloss疑问 #3

@yuanyihan

Description

@yuanyihan

您好,我看了您的论文和源码,有些疑问
项目源码
我看到KLDivLoss的用法和官网的用法
有些出入,出入主要在:
1.pytorch的这个类的第一个参数input应该是log-space的

attr:`input` in the log-space. The argument :attr:`target` may also be provided in the
    log-space if :attr:`log_target`\ `= True`.

2.从数学上来说,你这么输入,那么KLLoss(F.softmax(x3, dim=1), F.softmax(x1, dim=1))的返回值是负值,这与KL距离为非负距离有出入(虽然前面有符号,但主要是调整loss方向,KL距离是非负的,有严格数学证明)
3.pytorch的KL距离是经过化简之后,第一个参数是log空间,

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions