statementSaid on 2026-11-05

In the Effective Rank metric, regular MTP training collapsed the output matrix from 496 to 131, while Soft-MTP kept it high and stable at 437.

A statement by post author, said on 2026-11-05. Statements are as reported by the cited publishers — not verified by DecisionGateway.

במדד דרגה אפקטיבית (Effective Rank) שבודק כמה ממדים במטריצה באמת פעילים, אימון MTP רגיל ריסק את המטריצה מ-496 ל-131 (קריסת ממדים מפוארת), בעוד ש-Soft-MTP שמר אותה גבוהה ויציבה על 437.
mathyaiwithmikePublished 2026-11-05 Read source

Discussion

0/2000

Related claims