🥖 AI vergelijken – ChatGPT, Le Chat (Vibe) en Claude
Twee broden van Roeland, beoordeeld door drie AI-tools.
We laten drie verschillende AI-tools hetzelfde zuurdesembrood beoordelen: ChatGPT, Le Chat (Vibe) en Claude. Per brood vergelijken we hun eindcijfers, de acht vaste beoordelingscriteria en de uitleg van de verschillen. Deze scores tellen niet mee voor het officiële Bakkersklassement.
📊 Conclusie na twee broden
We hebben de drie AI-keurmeesters vergeleken met het gemiddelde van hun drie eindcijfers per brood. Hieronder staat per AI de gemiddelde absolute afwijking over Brood 001 en Brood 002.
| AI-keurmeester | Brood 001 | Brood 002 | Gemiddelde afwijking |
|---|---|---|---|
| Le Chat | 0,57 | 0,37 | 0,47 |
| ChatGPT | 0,37 | 0,73 | 0,55 |
| Claude | 0,93 | 0,37 | 0,65 |
Groepsgemiddelden: Brood 001 = 7,43; Brood 002 = 6,77. Afwijkingen zijn afgerond op twee decimalen. De afwijking van het groepsgemiddelde is geen objectieve maat voor de werkelijke kwaliteit van een brood of de nauwkeurigheid van een AI.
Claude wijkt bij deze twee broden gemiddeld het sterkst af van het groepsgemiddelde en valt daarom voorlopig af als vaste AI-keurmeester . Voor het onderling vergelijken van toekomstige broden gebruiken we ChatGPT als vaste beoordelaar, zodat dezelfde beoordelingsmethode wordt aangehouden.
Bij Roeland – Brood 003 vergelijken we opnieuw de beoordelingen van drie AI-tools. Daarna bekijken we of deze voorlopige conclusie standhoudt.
Een beoordeling op basis van foto's is geen smaaktest. Verschillen kunnen ontstaan door interpretatie van de foto's en door verschillen in de verstrekte bakgegevens.
💻 Experiment met lokale AI: Ollama en Gemma 3 4B
Naast de drie online AI-keurmeesters hebben we voor het eerst een lokaal AI-model ingezet om zuurdesembrood te beoordelen. Op een ThinkPad met Ubuntu draait Gemma 3 4B via Ollama . De foto's worden daarbij lokaal verwerkt, zonder ze voor deze beoordeling naar een externe AI-dienst te sturen.
Gemma kreeg van brood 001 en brood 002 telkens twee foto's en dezelfde acht beoordelingscriteria. Het model gaf brood 001 een 6,3 en brood 002 eveneens een 6,3 . Het kon de foto's verwerken, maar sommige beschrijvingen en verbeteradviezen waren onvoldoende betrouwbaar of niet rechtstreeks uit de foto's af te leiden.
Tijdens het experiment liep de processortemperatuur op tot ongeveer 90 °C . Dat maakt deze lokale werkwijze op de huidige laptop relatief zwaar.
Voorlopige beslissing: Gemma doet niet mee aan de vergelijking van de AI-keurmeesters en telt niet mee voor het Bakkersklassement. Het experiment blijft hier als leerzame proef vermeld. Voor het onderling vergelijken van broden gebruiken we voorlopig ChatGPT; na brood 003 kunnen we de eerdere vergelijking opnieuw bekijken.
Dit was een test van een bestaand multimodaal model, geen training van een nieuw model. Scores op basis van foto's zijn interpretaties en geen smaaktest.