Beste loss-functie voor regressie op tabulaire data
Alternatieve loss-functies verslaan een goed afgestelde MSE zelden bij tabulaire data. Onderzoekers ontdekken bovendien een valkuil in early stopping.
👁 115 keer gelezen
Neurale netwerken op tabulaire data vormen een actief onderzoeksveld, maar de keuze van de doelfunctie bij regressietaken bleef lange tijd onderbelicht. Een paper uit oktober 2026 van Danil Rudenko, Georgii Bulgakov, Nikolai Kartashev, Ivan Rubachev, Daniil Krasylnikov en Artem Babenko brengt daar verandering in. De code van de experimenten is openbaar beschikbaar via de link in de publicatie.
Het probleem: geen degelijke vergelijking van loss-functies
Er bestaan verschillende onderzoekslijnen die alternatieven voorstellen voor de standaard Mean Squared Error (MSE). Verschillen in datasets, netwerkarchitecturen en evaluatieprotocollen maakten het tot nu toe lastig om te bepalen welke voordelen deze functies in de praktijk echt bieden. De auteurs besloten dit gat in de literatuur systematisch te dichten.
Wat de onderzoekers hebben gedaan
Het team voerde een systematische herbeoordeling uit van doelfuncties voor regressie. Ze testten deze op een brede selectie van erkende tabulaire datasets en op verschillende neurale netwerkarchitecturen (deze worden in het document niet met naam genoemd). Als referentiepunt diende een zorgvuldig afgestelde MSE - de auteurs benadrukken dat het ging om een “properly tuned MSE baseline”, wat betekent dat de standaardaanpak uiterst serieus werd geoptimaliseerd.
De belangrijkste resultaten: MSE blijft lastig te verslaan
De conclusies zijn nuchter voor veel voorgestelde methoden: de meeste leveren “beperkte of inconsistente voordelen” op ten opzichte van een goed afgestelde MSE. Er is slechts een duidelijke uitzondering: de kwantielverliesfunctie (quantile loss). Dit was de enige functie die op de geteste architecturen consistente, geaggregeerde verbeteringen liet zien ten opzichte van MSE.
Nieuw knelpunt: globale early stopping
Zelfs bij het gebruik van een betere loss-functie stuitten de auteurs op een nieuw probleem: early stopping. Dit is de standaardtechniek waarbij de training stopt zodra de prestaties op de validatieset niet meer verbeteren. De auteurs zagen dat verschillende regio’s in de data - met verschillende ruisniveaus in de doelvariabele - hun piekprestaties in verschillende trainingsrondes (epochs) bereiken. Een globaal early stopping-checkpoint dwingt daardoor een compromis af tussen die regio’s, zelfs wanneer de gekozen loss-functie heteroskedastische verdelingen aankan. Eén vast stopmoment schiet tekort, omdat verschillende delen van de kenmerkruimte zich in een ander tempo ontwikkelen.
De voorgestelde oplossing
Als antwoord hierop introduceren de auteurs een uitbreiding op quantile loss die rekening houdt met heteroskedasticiteit. Dit mechanisme werkt op basis van invoerafhankelijke labelsmoothing (input-dependent label smoothing). De onderzoekers presenteren dit als een mogelijke tussenoplossing en niet als een definitieve remedie. De methode verbeterde de resultaten ten opzichte van reguliere quantile loss op diverse architecturen.
Wat er niet in het document staat
Het abstract bevat geen harde percentages over de exacte prestatiewinst of het aantal gebruikte datasets. Ook worden de specifieke neurale netwerkarchitecturen en de afgevallen alternatieve loss-functies niet expliciet bij naam genoemd in de samenvatting.
Google · Jouw bronnenHoger in Google - met één klikToevoegen aan voorkeursbronnen →Wat dit betekent voor de praktijk
Volgens ons dient dit onderzoek vooral als waarschuwing: kies niet zomaar voor nieuwere of modieuze loss-functies, want een solide afgestelde MSE blijkt verrassend moeilijk te verslaan. Interessanter nog is de observatie over early stopping. Deze beperking raakt vrijwel iedereen die modellen traint op tabulaire data, terwijl er in de praktijk nauwelijks over wordt gesproken. Het paper zet geen hele discipline op zijn kop, maar ruimt wel aannames op en legt een structureel zwak punt in gangbare trainingsroutines bloot.
Bron: arXiv cs.AI: Revisiting Tabular Deep Regression: Objectives and the Limits of Global Early Stopping (document van 2026-10-12). Deze bespreking is gebaseerd op de volledige tekst van de publicatie.
More on this from HELDER
ai-tools·Wat kan Seedance 2.5? 8 voorbeelden met promptsBekijk Seedance 2.5 in actie: 30 seconden in één take, video extend, 18 referenties en onze eigen tests. Inclusief prompts, resultaten en kosten.