KONVENS 2026, Conference on Natural Language Processing, Hamburg
Select or Project? Evaluating Lower-dimensional Vectors for LLM Training Data Explanations
Gradientenbasierte Erklärungen zeigen, welche Trainingsbeispiele die Antwort eines Modells geprägt haben – doch die vollständigen Gradienten eines großen Sprachmodells sind viel zu groß, um sie direkt zu vergleichen. Die Arbeit testet zwei Wege, sie zu verkleinern: eine architekturbasierte, greedy ausgewählte Teilmenge von Gradientenkomponenten oder Random Projection (wie bei TRAK). Auf einem neuen Retrieval-Benchmark erfasste die Auswahl von Komponenten den Einfluss der Trainingsdaten effektiver und effizienter als Random Projection und sogar als der vollständige Gradient.