VPS: model doorzoekt hoogresolutie beelden parallel
VPS laat AI-modellen eerst parallel zoeken in beeldfragmenten voordat ze inzoomen. Tot 8 procentpunt nauwkeuriger dan sequentieel zoomen.
👁 116 keer gelezen
VPS (Visual Parallel Search) verandert de volgorde waarin multimodale modellen hoogresolutie beelden analyseren. In plaats van eerst inzoomen en dan pas kijken, verzamelt het model eerst parallel bewijs uit alle beeldfragmenten en beslist daarna pas waar het moet inzoomen.
Het onderzoek komt van arXiv (cs.CV, cs.AI), ingediend op 29 september 2026. De auteurs zijn een team van acht onderzoekers: Xijia Tao, Yihua Teng, Xinyu Fu, Cheng Gong, Ziru Liu, Xudong Xie, Rui Liu en Lingpeng Kong.
Het probleem met hoogresolutie beelden
Multimodale modellen (die tegelijk tekst en beeld begrijpen) hebben moeite met hoogresolutie beelden. Om een vraag te beantwoorden over een klein, goed gelokaliseerd fragment van een foto moet het model eerst kiezen waar het gaat kijken - en dat doet het voordat het het geheel heeft gezien. De auteurs noemen deze aanpak “sequentieel zoomen” en wijzen erop dat juist deze volgorde de bron is van fouten.
Hoe VPS werkt
De oplossing heet VPS (Visual Parallel Search) en werkt in twee stappen. Eerst roept de hoofdagent de functie grid_search aan, die het beeld in tegels verdeelt en elke tegel naar een aparte sub-agent stuurt. De sub-agents werken parallel en zijn geconditioneerd op de gestelde vraag - ze zoeken dus naar een specifiek antwoord, niet blindelings door het beeld. Pas nadat de hoofdagent de resultaten van dit parallelle overzicht heeft verzameld, kan hij de functie zoom_in aanroepen en een geselecteerd fragment vergroten. Hierdoor wordt de beslissing om in te zoomen genomen op basis van echte gegevens, niet van veronderstellingen.
Resultaten op benchmarks
De auteurs vergelijken VPS met een aanpak die alleen op zoomen is gebaseerd. Op hetzelfde basismodel presteert VPS beter in 14 van de 15 vergelijkingen, met een maximale winst van 8,0 procentpunt nauwkeurigheid. Vooral bij kleinere hoofdmodellen zijn de verbeteringen groot. Op de ZoomBench-benchmark houdt VPS een voorsprong van ongeveer 3,2 procentpunt aan, ongeacht de geteste modelgrootte.
Rollen leren: SFT en RL
Naast het framework zelf hebben de auteurs ook een pipeline ontwikkeld om het model te trainen. Deze bevat verificatie zonder hints (hint-free verification) en een gepaarde, rolspecifieke variant van GRPO als leerdoel voor twee rollen: de controller (hoofdagent) en de tegellezer (sub-agent).
Supervised fine-tuning (SFT) verbetert de nauwkeurigheid op alle vijf de testbenchmark-splits, waaronder met 4,17 procentpunt op HR-Bench 4K.
Reinforcement learning (RL) verandert het gedrag van het model op een complexere manier. RL getraind alleen op de rol van de hoofdagent vermindert het gemiddelde toolgebruik van 2,65 naar 2,11 bij een vergelijkbare pass@1-score in de interne evaluatie op vier antwoorden. De auteurs merken echter op dat de veranderingen in externe nauwkeurigheid gemengd zijn. Gezamenlijke training van beide rollen onthulde een asymmetrie tussen het lezen van lokaal bewijs en het globaal aansturen van het zoekproces - het document licht deze asymmetrie niet verder toe dan deze constatering.
Wat ontbreekt in het document
De abstract vermeldt niet op welke specifieke basismodellen de experimenten zijn uitgevoerd, en noemt ook niet de namen van alle 15 vergelijkingen die deel uitmaken van de resultaten. Details over de architectuur van de sub-agents, trainingsdata en rekenkosten worden niet besproken in het beschikbare fragment.
Google · Jouw bronnenHoger in Google - met één klikToevoegen aan voorkeursbronnen →Wat dit betekent
VPS is een voorstel om de volgorde van bewerkingen bij het werken met grote beelden te veranderen - in plaats van gokken en dan controleren, verzamelt het model eerst parallel bewijs en beslist daarna pas. De cijfers zijn concreet en consistent: 8 procentpunt maximale winst en stabiele 3,2 procentpunt op ZoomBench zijn resultaten die moeilijk te negeren zijn. Zorgwekkend is het fragment over RL - de auteurs geven zelf toe dat de externe nauwkeurigheid na RL-training “gemengd” is, wat suggereert dat het trainen van agentgedrag in dit framework nog niet is uitgewerkt. Als VPS inderdaad beter werkt voor kleinere modellen, kan dit een interessant pad zijn voor toepassingen waar geen budget is voor grote modellen, maar wel behoefte aan analyse van gedetailleerde foto’s - documenten, kaarten, satellietbeelden of medische beelden.
Bron: arXiv cs.AI: Visual Parallel Search: Learning to Search High-Resolution Images with Parallel Tile Inspection and Adaptive Zoom (document van 30-09-2026). Deze bespreking is gebaseerd op de volledige tekst van het document, niet op verslagen van andere media.
More on this from HELDER
magazine·AMD koopt AI-startup World Labs van Fei-Fei Li voor 8,2 miljard dollarAMD neemt World Labs over voor 8,2 miljard dollar, waarmee oprichter Fei-Fei Li executive vice president en chief scientist bij de chipmaker wordt.