Fractal Tensor Compression
Cet article de recherche propose un cadre de compression fractale des tenseurs dans les grands modèles de langage (LLMs), ciblant à la fois le stockage hors ligne des poids et la compression en ligne du cache clé-valeur (KV) sous des contraintes de qualité strictes. La méthode généralise la compression fractale classique d'images — basée sur les systèmes de fonctions itérées (IFS), l'appariement de blocs domaine-portée et les transformations affines contractantes — aux tenseurs de haute dimension utilisés dans les architectures transformer. Contrairement aux schémas de quantification vectorielle qui se concentrent sur la quantification quasi-optimale scalaire ou vectorielle des activations et caches KV, l'approche fractale exploite explicitement l'auto-similarité entre positions et caractéristiques, permettant des ratios de compression potentiellement très élevés au prix d'un encodage plus coûteux. L'article formalise le cadre tensoriel, définit une famille d'applications contractantes sur des blocs de tenseurs, décrit la reconstruction par point fixe, et analyse le ratio de compression, l'erreur d'approximation et la complexité algorithmique. Les résultats empiriques préliminaires sur Qwen 3.5–0.8B démontrent des ratios de compression hors ligne prometteurs et des accélérations du cache KV sous des garde-fous de qualité stricts.