› We bouwden een test voor elf modellen: negen taken met code, vertalingen en het volgen van instructies, elk automatisch beoordeeld om subjectiviteit te vermijden.
› Na het doornemen van de antwoorden bleek dat bij één taak onze automatische test omgekeerd scoorde.
› Modellen die nul punten kregen, hadden het juiste antwoord gegeven, en die met een punt zaten ernaast.Dit is interessanter dan de ranking zelf, dus we beginnen hiermee.De taak waarbij de test fout zat, niet de modellenWe gaven de modellen deze PHP-code en vroegen om de fout in één zin aan te wijzen:foreach ($lista as $i => $el) { if ($el == null) unset($lista[$i]); } echo count($lista);De antwoorden vielen uiteen in twee kampen.Kamp één: de fout is dat je elementen uit een array verwijdert tijdens het itereren, omdat dit de loop verstoort en elementen overslaat.Kamp twee: de fout is de losse vergelijking ==, die naast null ook nul, lege strings, false en lege arrays vangt, waardoor er meer wordt verwijderd dan bedoeld.Onze automatische test zocht in het antwoord naar woorden over modificeren tijdens iteratie, dus beloonde kamp één.
› We draaiden deze code op een server, op PHP 8.4.25, en het resultaat is eenduidig.1) alleen nulls: 4 van 7 over, waarden: a,b,c,d iteratie sloeg elementen over?