HELDER_
Benchmarks

AI-model weigert documenten te lezen: test bij drie providers

helder@ai:~$ cat news_1

› We bereidden een contexttest voor AI-modellen voor: een document met verborgen informatie, vragen erover, en controle hoeveel het model terugvindt.

helder@ai:~$ cat news_2

› Het resultaat was nul, dus even dachten we dat het model een zwak geheugen had.

helder@ai:~$ cat news_3

› Na inspectie van de ruwe API-respons bleek dat het model geen woord had gelezen - de input was afgewezen door moderatie en kwam terug met content_filter en native_finish_reason: refusal.

helder@ai:~$ cat news_4

› Conclusie in één alinea Nul treffers in een geheugentest is niet altijd bewijs van een korte context.

helder@ai:~$ open --full
Lees volledig

AI-model weigert documenten te lezen: test bij drie providers

Open artikel op helderte.nl