KI-Benchmarks haben mehr Probleme als Lösungen
Apr 05, 2024•47 min
Listen to this episode in Metacast mobile app
Don't just listen to podcasts. Learn from them with transcripts, summaries, and chapters for every episode. Skim, search, and bookmark insights. Learn more
Episode description
KI-Entwickler brüsten sich stolz mit den Zahlen, die ihre Systeme in Benchmark-Tests erreichen. Wir erklären, wie KI-Benchmarks funktionieren und fragen: Wie aussagekräftig sind solche Tests wirklich? Und kommt es am Ende vielleicht bloss auf die «Vibes» an?
Der ganze Podcast im Überblick:
(00:01:28) Was sind eigentlich KI-Benchmark-Tests?
(00:06:23) Neun Probleme
(00:34:27) Drei Lösungen
Chatbot Arena:
https://chat.lmsys.org
SRF Geek Sofa bei Discord:
https://discord.gg/geeksofa
For the best experience, listen in Metacast app for iOS or Android