statementSaid on 2026-11-05

When decomposing the standard MTP gradient (trained with standard Cross-Entropy), two opposing forces are hidden inside: a useful self-distillation signal and a residual noise component.

A statement by post author, said on 2026-11-05. Statements are as reported by the cited publishers — not verified by DecisionGateway.

כשפירקו את נוסחת הגראדיאנט הרגיל של ה-MTP (שמאומן עם פונקציית Cross-Entropy או CE סטנדרטית), הם גילן שמתחבאים בתוכו שני כוחות מנוגדים:
mathyaiwithmikePublished 2026-11-05 Read source

Discussion

0/2000

Related claims