AgiMo · C6

Question bank

Pick the busiest station using only comparable Dresden counts

← All tasks · Task overview and results

v3numericcomputerealmain

benchmark/strong_v3/packs/v3-dresden-comparable-counts.json · 50 test and 10 development questions. Only test questions are sent to models in the benchmark runs.

development dresden-annual-max-000
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
03030020,Wurzener Straße,30.05.2024,"manuelle Zählung",7500
11077050,Münzmeisterstraße,06.09.2022,"manuelle Zählung",3500
06002160,Königsbrücker Landstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",11400
12015030,Nossener Brücke,31.01.2025,"manuelle Zählung",37500
10103030,Reisstraße,26.03.2019,"manuelle Zählung",1000
14210030,Julius-Vahlteich-Straße,29.05.2024,"manuelle Zählung",8400
07046010,Scharfensteinstraße,20.07.2009,"manuelle Zählung",1400
00011010,Sachsenallee,09.09.2025,"manuelle Zählung",20300
00014040,Rosa-Luxemburg-Platz,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",14400
11003140,Bergstraße,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",21400
08104190,Tolkewitzer Straße,01.07.2021,"manuelle Zählung",10500
14319010,Bahnhofstraße (CB),24.08.2011,"manuelle Zählung",1500
26100002,BAB A4,31.12.2019,"Hilfswert",99500
14447025,Am Steinhübel,17.08.2017,"manuelle Zählung",1900
05004060,Radeburger Straße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",31800
For a 2025 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2025? Return only the station ID as a JSON string.
Correct answer: "05004060"
development dresden-annual-max-001
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
09055010,Zwinglistraße,29.05.2024,"manuelle Zählung",8600
08057100,Fetscherstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",22100
00017015,Albertplatz,25.04.2023,"manuelle Zählung",11599
05241010,Wilschdorfer Landstraße,05.12.2024,"manuelle Zählung",23500
10207040,Lugaer Straße,07.03.2007,"manuelle Zählung",2400
11003140,Bergstraße,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",21400
07480190,Pirnaer Straße,15.04.2025,"manuelle Zählung",9200
00126070,Rosenstraße,09.09.2025,"manuelle Zählung",4900
07033040,Calberlastraße,22.07.2009,"manuelle Zählung",1100
13001290,Kesselsdorfer Straße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",5600
12020010,Zwickauer Straße,18.10.2004,"manuelle Zählung",4500
05054070,Hellerstraße,07.05.2014,"manuelle Zählung",1600
26100140,BAB A4,31.12.2018,"Hilfswert",46000
For a 2025 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2025? Return only the station ID as a JSON string.
Correct answer: "08057100"
development dresden-annual-max-002
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
07464020,Wachwitzer Höhenweg,17.06.2009,"manuelle Zählung",140
26100150,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",65600
08023030,Striesener Straße,31.12.2023,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
08119030,Kretschmerstraße,14.11.2023,"manuelle Zählung",4700
07128010,Orangeriestraße,06.09.2022,"manuelle Zählung",7000
26100070,BAB A4,31.12.2019,"Hilfswert",108800
09002110,Comeniusstraße,26.10.2011,"manuelle Zählung",3300
26100095,BAB A4,31.12.2019,"Hilfswert",108800
12015030,Nossener Brücke,31.01.2025,"manuelle Zählung",37500
26100100,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",101000
14065040,Pennricher Straße,31.05.2016,"manuelle Zählung",4400
08025040,Borsbergstraße,07.06.2023,"manuelle Zählung",15000
26300010,BAB A17,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",54000
12087036,Kohlenstraße,06.09.2022,"manuelle Zählung",8600
For a 2023 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2023? Return only the station ID as a JSON string.
Correct answer: "26100100"
development dresden-annual-max-003
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
14004210,Meißner Landstraße,25.06.2012,"manuelle Zählung",20100
14508020,Elbhangstraße,05.09.2006,"manuelle Zählung",1700
00022020,Königstraße,11.05.2017,"manuelle Zählung",3100
06002200,Königsbrücker Landstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",11400
14004205,Meißner Landstraße,25.09.2012,"manuelle Zählung",23700
14121020,Lönsweg,06.07.2021,"manuelle Zählung",20
10016020,Franz-Liszt-Straße,29.05.2024,"manuelle Zählung",2900
00152020,Devrientstraße,17.09.2019,"manuelle Zählung",21500
07001050,Grundstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",13900
14065010,Pennricher Straße,22.06.2016,"manuelle Zählung",4100
06002220,Königsbrücker Landstraße,27.04.2017,"manuelle Zählung",14900
00180040,Wilsdruffer Straße,20.09.2022,"manuelle Zählung",11400
10007080,Tiergartenstraße,26.03.2019,"manuelle Zählung",8800
10011020,Wasastraße,29.05.2024,"manuelle Zählung",2900
14003060,Hamburger Straße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",19300
07360020,Gönnsdorfer Straße (SW),13.09.2012,"manuelle Zählung",3700
For a 2025 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2025? Return only the station ID as a JSON string.
Correct answer: "14003060"
development dresden-annual-max-004
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
06002070,Königsbrücker Landstraße,28.05.2024,"manuelle Zählung",10500
06024070,Louisenstraße,09.11.2023,"manuelle Zählung",1400
06002060,Königsbrücker Landstraße,28.05.2024,"manuelle Zählung",10500
14072110,Gottfried-Keller-Straße,24.09.2015,"manuelle Zählung",10300
10004070,Teplitzer Straße,31.12.2025,"Hilfswert",25800
05201020,Binzer Weg,14.09.2023,"manuelle Zählung",600
08007010,Thomas-Müntzer-Platz,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",14400
12036041,Nürnberger Straße,31.12.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10399
09086030,Enderstraße,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",17400
08108040,Niederwaldplatz,27.09.2022,"manuelle Zählung",10300
10153020,Langer Weg,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",18000
10005160,Dohnaer Straße,11.07.2013,"manuelle Zählung",32400
10148020,Gamigstraße,23.04.2024,"manuelle Zählung",4600
26300030,BAB A17,31.12.2019,"Hilfswert",56500
08072010,Schillerplatz,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",22000
For a 2025 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2025? Return only the station ID as a JSON string.
Correct answer: "08072010"
development dresden-annual-max-005
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
08100010,Paulusplatz,25.09.2019,"manuelle Zählung",500
06016010,Forststraße,07.07.2020,"manuelle Zählung",-2
08023040,Striesener Straße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
14301020,Grüner Weg (CB),19.10.2016,"manuelle Zählung",1400
05081010,Brunnenweg,21.09.2015,"manuelle Zählung",200
12056010,Hettnerstraße,29.05.2024,"manuelle Zählung",800
08011050,Goetheallee,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15600
26100110,BAB A4,31.12.2019,"Hilfswert",108800
12067050,Karlsruher Straße,29.05.2024,"manuelle Zählung",9600
09084060,Altenberger Straße,01.07.2021,"manuelle Zählung",5900
08023050,Striesener Straße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
26200035,BAB A13,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",41900
08042010,Wintergartenstraße,29.05.2024,"manuelle Zählung",2800
05016020,Eschenstraße,08.06.2023,"manuelle Zählung",900
10058010,An der Pikardie,29.05.2024,"manuelle Zählung",16800
07005085,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
10024050,Wasaplatz,29.05.2024,"manuelle Zählung",9800
26100040,BAB A4,31.12.2019,"Hilfswert",108800
14041140,Lübecker Straße,06.07.2021,"manuelle Zählung",18000
26120025,BAB AS Dresden-Neustadt,07.07.2020,"manuelle Zählung",11699
For a 2022 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2022? Return only the station ID as a JSON string.
Correct answer: "26200035"
development dresden-annual-max-006
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
01041020,Treidlerstraße,20.12.2016,"manuelle Zählung",600
08021130,Holbeinstraße,13.09.2016,"manuelle Zählung",1500
09021015,Bertolt-Brecht-Platz,26.10.2011,"manuelle Zählung",3300
04007050,Weinböhlaer Straße,26.08.2025,"manuelle Zählung",1200
02001100,Kötzschenbroder Straße,12.10.2011,"manuelle Zählung",33600
26100030,BAB A4,31.12.2019,"Hilfswert",108800
10071030,Gasanstaltstraße,06.09.2022,"manuelle Zählung",8100
08023030,Striesener Straße,31.12.2023,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
02001110,Kötzschenbroder Straße,07.07.2020,"manuelle Zählung",19400
08011030,Goetheallee,11.10.2022,"manuelle Zählung",1700
26100150,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",65600
10103040,Reisstraße,26.03.2019,"manuelle Zählung",1000
26100100,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",101000
14088120,Warthaer Straße,27.10.2016,"manuelle Zählung",4100
12063020,Altplauen,23.05.2013,"manuelle Zählung",11200
26100020,BAB A4,31.12.2019,"Hilfswert",108800
26300010,BAB A17,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",54000
09123090,Österreicher Straße,15.05.2014,"manuelle Zählung",14000
For a 2023 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2023? Return only the station ID as a JSON string.
Correct answer: "26100100"
development dresden-annual-max-007
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
14045040,Columbusstraße,30.06.2024,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",3299
07059065,Quohrener Straße,28.05.2024,"manuelle Zählung",7100
10108020,Försterlingstraße,02.08.2011,"manuelle Zählung",4000
14039230,Emerich-Ambros-Ufer,30.06.2024,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15799
10200020,Prof.-Billroth-Straße,07.07.2020,"manuelle Zählung",5300
11024020,Friedrich-List-Platz,31.12.2025,"Hilfswert",22900
06059020,Carusufer,31.12.2024,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",3500
08099040,Hüblerstraße,27.01.2026,"manuelle Zählung",4300
14209090,Coventrystraße,31.12.2024,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",21000
00152020,Devrientstraße,17.09.2019,"manuelle Zählung",21500
05153070,Boltenhagener Platz,06.06.2024,"manuelle Zählung",7800
10143040,Sosaer Straße,08.09.2014,"manuelle Zählung",900
14065030,Pennricher Straße,31.05.2016,"manuelle Zählung",4400
14026080,Löbtauer Straße,29.05.2024,"manuelle Zählung",12500
00006010,Gellertstraße,07.07.2020,"manuelle Zählung",9400
04046010,Saßnitzer Straße,03.09.2019,"manuelle Zählung",3900
09175160,Meußlitzer Straße,08.06.2009,"manuelle Zählung",3300
02003020,Micktner Straße,21.09.2021,"manuelle Zählung",1100
For a 2024 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2024? Return only the station ID as a JSON string.
Correct answer: "14209090"
development dresden-annual-max-008
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
07125010,Eichbuschweg,08.11.2011,"manuelle Zählung",71
05280015,Valeria-Kratina-Weg,19.05.2022,"manuelle Zählung",400
14039230,Emerich-Ambros-Ufer,30.06.2024,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15799
12178020,Löbtauer Brücke,30.06.2024,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",12499
05219040,Hermann-Reichelt-Straße,31.12.2025,"Hilfswert",22900
05027030,Rudolf-Leonhard-Straße,08.09.2020,"manuelle Zählung",3000
06069090,Körnerweg,12.04.2017,"manuelle Zählung",1100
14045040,Columbusstraße,30.06.2024,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",3299
01044040,An der Flutrinne,15.12.2016,"manuelle Zählung",3800
05004010,Radeburger Straße,31.12.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",24000
05153070,Boltenhagener Platz,06.06.2024,"manuelle Zählung",7800
14209090,Coventrystraße,31.12.2024,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",21000
10129010,Tornaer Straße,25.04.2023,"manuelle Zählung",5500
07120150,Dresdner Straße,06.09.2022,"manuelle Zählung",900
05004040,Radeburger Straße,31.12.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",24000
06018010,Radeberger Straße,07.07.2020,"manuelle Zählung",5700
10036010,Heinrich-Zille-Straße,01.07.2021,"manuelle Zählung",2399
For a 2024 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2024? Return only the station ID as a JSON string.
Correct answer: "14209090"
development dresden-annual-max-009
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
00069060,Terrassenufer,31.12.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",6000
10008070,Wiener Straße,31.12.2025,"Hilfswert",13500
10084020,Breitscheidstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",17600
09010010,Henzestraße,29.05.2024,"manuelle Zählung",800
14004130,Meißner Landstraße,06.04.2017,"manuelle Zählung",28800
08005140,Käthe-Kollwitz-Ufer,01.07.2021,"manuelle Zählung",20300
10084080,Breitscheidstraße,30.06.2025,"Hilfswert",15100
08105080,Berggartenstraße,27.09.2022,"manuelle Zählung",6400
03048045,Boxdorfer Straße,10.09.2024,"manuelle Zählung",3599
10005340,Dohnaer Straße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",16800
05036015,Erna-Berger-Straße,15.09.2016,"manuelle Zählung",600
06053390,Bautzner Landstraße,07.08.2013,"manuelle Zählung",12400
14010050,Friedrichstraße,01.07.2013,"manuelle Zählung",4400
06525110,Hauptstraße (LB),14.05.2008,"manuelle Zählung",1800
00152020,Devrientstraße,17.09.2019,"manuelle Zählung",21500
12063030,Altplauen,23.05.2013,"manuelle Zählung",11100
06010030,Pulsnitzer Straße,09.11.2023,"manuelle Zählung",1199
12014030,Fabrikstraße,19.08.2003,"manuelle Zählung",600
For a 2025 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2025? Return only the station ID as a JSON string.
Correct answer: "10084020"
test dresden-annual-max-010
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
06052060,Bautzner Straße,28.05.2024,"manuelle Zählung",12200
06002190,Königsbrücker Landstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",11400
00152010,Devrientstraße,18.09.2018,"manuelle Zählung",21200
06018060,Radeberger Straße,01.07.2021,"manuelle Zählung",9800
00005010,Wiener Platz,31.12.2018,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",23500
10008120,Wiener Straße,21.09.2021,"manuelle Zählung",5300
26160065,BAB AD Dresden-Nord,31.12.2019,"Hilfswert",4999
12087070,Kohlenstraße,26.04.2023,"manuelle Zählung",4200
14517030,Podemuser Hauptstraße,13.05.2014,"manuelle Zählung",800
09123030,Österreicher Straße,18.09.2014,"manuelle Zählung",15700
09086040,Enderstraße,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",17400
12021020,Hohe Straße,26.04.2023,"manuelle Zählung",2300
06043010,Fischhausstraße,07.07.2020,"manuelle Zählung",10900
10076010,Seidnitzer Weg,06.09.2022,"manuelle Zählung",5800
07005170,Pillnitzer Landstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",6900
00091010,Bürgerwiese,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",4600
For a 2025 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2025? Return only the station ID as a JSON string.
Correct answer: "09086040"
ModelAnswer given
Gemma 4"06002190"✗ wrong
Llama 3.3{"station_id": "09086040"}✓ correct
Qwen · off"09086040"✓ correct
Qwen · on"09086040"✓ correct
test dresden-annual-max-011
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
06052205,Bautzner Straße,07.07.2020,"manuelle Zählung",14699
08072015,Schillerplatz,15.06.2017,"manuelle Zählung",20200
07301028,Südstraße (SW),05.06.2019,"manuelle Zählung",50
10005140,Dohnaer Straße,04.07.2013,"manuelle Zählung",35700
11070090,Boderitzer Straße,26.10.2017,"manuelle Zählung",3200
06002012,Königsbrücker Landstraße,01.07.2021,"manuelle Zählung",1600
11158035,Fritz-Meinhardt-Straße,21.04.2015,"manuelle Zählung",2800
02014050,Lommatzscher Straße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",14900
14026030,Löbtauer Straße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",15700
05001020,Hansastraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",26400
14088080,Warthaer Straße,27.10.2016,"manuelle Zählung",499
10145040,Georg-Palitzsch-Straße,14.03.2024,"manuelle Zählung",4500
10125020,Keplerstraße,25.04.2023,"manuelle Zählung",2200
13001250,Kesselsdorfer Straße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",5600
08057110,Fetscherstraße,01.07.2021,"manuelle Zählung",26900
For a 2025 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2025? Return only the station ID as a JSON string.
Correct answer: "05001020"
ModelAnswer given
Gemma 4"05001020"✓ correct
Llama 3.3"05001020"✓ correct
Qwen · off{"station_id": "05001020"}✓ correct
Qwen · on"05001020"✓ correct
test dresden-annual-max-012
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
14209090,Coventrystraße,31.12.2024,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",21000
14302010,Hauptstraße (CB),04.06.2012,"manuelle Zählung",3200
14053020,Rudolf-Renner-Straße,31.05.2016,"manuelle Zählung",8400
14039230,Emerich-Ambros-Ufer,30.06.2024,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15799
06001190,Königsbrücker Straße,02.06.2016,"manuelle Zählung",21200
09002040,Comeniusstraße,29.05.2024,"manuelle Zählung",1500
14045040,Columbusstraße,30.06.2024,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",3299
05004150,Radeburger Straße,03.09.2019,"manuelle Zählung",12700
09055030,Zwinglistraße,28.09.2015,"manuelle Zählung",22300
05004060,Radeburger Straße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",31800
03014020,Bürgerstraße,15.06.2017,"manuelle Zählung",7000
09002060,Comeniusstraße,29.05.2024,"manuelle Zählung",2900
05068030,Am Torfmoor,07.05.2014,"manuelle Zählung",400
06522020,Grünberger Straße (SB),21.09.2017,"manuelle Zählung",1000
For a 2024 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2024? Return only the station ID as a JSON string.
Correct answer: "14209090"
ModelAnswer given
Gemma 4"14209090"✓ correct
Llama 3.3{"station_id": "14209090"}✓ correct
Qwen · off{"station_id": "14209090"}✓ correct
Qwen · on"14209090"✓ correct
test dresden-annual-max-013
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
10171130,Windmühlenstraße,01.07.2021,"manuelle Zählung",1400
08045020,Stephanienstraße,18.10.2011,"manuelle Zählung",3500
10184010,Lockwitztalstraße,06.09.2022,"manuelle Zählung",7200
05318030,Marsdorfer Hauptstraße,28.10.2025,"manuelle Zählung",1200
03056010,Aachener Straße,28.05.2024,"manuelle Zählung",3699
06525060,Hauptstraße (LB),26.06.2014,"manuelle Zählung",1400
08105010,Berggartenstraße,12.09.2024,"manuelle Zählung",6900
26100110,BAB A4,31.12.2019,"Hilfswert",108800
07125010,Eichbuschweg,08.11.2011,"manuelle Zählung",71
08004090,Loschwitzer Straße,12.09.2024,"manuelle Zählung",1100
08023030,Striesener Straße,31.12.2023,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
26100150,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",65600
09115040,Salzburger Straße,14.03.2024,"manuelle Zählung",4100
08024030,Fetscherplatz,09.09.2025,"manuelle Zählung",11400
07360030,Gönnsdorfer Straße (SW),13.09.2012,"manuelle Zählung",3700
26100100,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",101000
26100060,BAB A4,31.12.2019,"Hilfswert",108800
For a 2023 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2023? Return only the station ID as a JSON string.
Correct answer: "26100100"
ModelAnswer given
Gemma 4"26100100"✓ correct
Llama 3.3{"station_id": "26100100"}✓ correct
Qwen · off"26100100"✓ correct
Qwen · on"26100100"✓ correct
test dresden-annual-max-014
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
08033070,Augsburger Straße,08.06.2023,"manuelle Zählung",2300
26100030,BAB A4,31.12.2019,"Hilfswert",108800
10002025,Richard-Strauss-Platz,15.06.2017,"manuelle Zählung",9700
06034020,Jägerstraße,08.10.2014,"manuelle Zählung",600
07370020,Cunnersdorfer Straße (SW),23.07.2009,"manuelle Zählung",2400
08030010,Wormser Straße,25.04.2023,"manuelle Zählung",3299
08005160,Käthe-Kollwitz-Ufer,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15600
09001060,Stübelallee,28.05.2024,"manuelle Zählung",25800
10100080,Straße des 17.Juni,31.08.2017,"manuelle Zählung",12300
09021020,Bertolt-Brecht-Platz,26.04.2023,"manuelle Zählung",6400
03001230,Leipziger Straße,13.05.2014,"manuelle Zählung",11700
01016020,Overbeckstraße,26.06.2013,"manuelle Zählung",6000
07005060,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
05004110,Radeburger Straße,28.04.2022,"manuelle Zählung",16100
07005087,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
For a 2022 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2022? Return only the station ID as a JSON string.
Correct answer: "08005160"
ModelAnswer given
Gemma 4"08005160"✓ correct
Llama 3.3"08005160"✓ correct
Qwen · off"08005160"✓ correct
Qwen · on"08005160"✓ correct
test dresden-annual-max-015
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
07005085,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
08023040,Striesener Straße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
05080030,Moritzburger Weg,21.09.2015,"manuelle Zählung",5400
09054070,Pirnaer Landstraße,08.10.2019,"manuelle Zählung",12800
14125010,Ockerwitzer Straße,06.07.2021,"manuelle Zählung",1900
12014020,Fabrikstraße,19.08.2003,"manuelle Zählung",600
26200035,BAB A13,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",41900
12029015,Schweizer Straße,26.04.2023,"manuelle Zählung",3700
12055110,Nöthnitzer Straße,07.06.2023,"manuelle Zählung",6700
26100120,BAB A4,31.12.2019,"Hilfswert",108800
10093065,Zamenhofstraße,08.07.2015,"manuelle Zählung",5200
26300150,BAB A17,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",42500
03071020,Geblerstraße,19.09.2018,"manuelle Zählung",600
06002150,Königsbrücker Landstraße,31.12.2025,"Hilfswert",11300
07005087,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
02010050,Trachauer Straße,15.04.2009,"manuelle Zählung",400
26100095,BAB A4,31.12.2019,"Hilfswert",108800
00069080,Terrassenufer,19.07.2011,"manuelle Zählung",21300
05132055,Karl-Marx-Straße,31.12.2025,"Hilfswert",10100
07020035,Krügerstraße,31.08.2005,"manuelle Zählung",1400
For a 2022 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2022? Return only the station ID as a JSON string.
Correct answer: "26300150"
ModelAnswer given
Gemma 4"26300150"✓ correct
Llama 3.3"26300150"✓ correct
Qwen · off"26300150"✓ correct
Qwen · on"26300150"✓ correct
test dresden-annual-max-016
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
26100090,BAB A4,31.12.2019,"Hilfswert",108800
26100020,BAB A4,31.12.2019,"Hilfswert",108800
09115040,Salzburger Straße,14.03.2024,"manuelle Zählung",4100
00025010,Georgenstraße,07.07.2020,"manuelle Zählung",199
26100100,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",101000
08023030,Striesener Straße,31.12.2023,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
05004087,Radeburger Straße,28.04.2022,"manuelle Zählung",28800
01041030,Treidlerstraße,20.12.2016,"manuelle Zählung",1000
14015010,Berliner Straße,17.09.2019,"manuelle Zählung",2400
01018015,Riegelplatz,12.10.2011,"manuelle Zählung",25200
00076015,Rietschelstraße,10.11.2015,"manuelle Zählung",2300
26300010,BAB A17,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",54000
07480150,Pirnaer Straße,15.04.2025,"manuelle Zählung",9200
09051025,Rosenbergstraße,05.06.2024,"manuelle Zählung",3100
03065040,Platanenstraße,18.05.2017,"manuelle Zählung",2900
For a 2023 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2023? Return only the station ID as a JSON string.
Correct answer: "26100100"
ModelAnswer given
Gemma 4"26100100"✓ correct
Llama 3.3{"station_id": "26100100"}✓ correct
Qwen · off"26100100"✓ correct
Qwen · on"26100100"✓ correct
test dresden-annual-max-017
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
08104060,Tolkewitzer Straße,06.09.2022,"manuelle Zählung",9900
14040013,Flügelweg,29.05.2024,"manuelle Zählung",999
26100003,BAB A4,31.12.2019,"Hilfswert",99500
08005120,Käthe-Kollwitz-Ufer,01.07.2021,"manuelle Zählung",20600
08024010,Fetscherplatz,15.06.2017,"manuelle Zählung",500
08005160,Käthe-Kollwitz-Ufer,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15600
14517030,Podemuser Hauptstraße,13.05.2014,"manuelle Zählung",800
10037010,Lannerstraße,25.07.2012,"manuelle Zählung",2399
26200035,BAB A13,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",41900
08005150,Käthe-Kollwitz-Ufer,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15600
00012040,Sachsenplatz,30.05.2024,"manuelle Zählung",23000
14039250,Emerich-Ambros-Ufer,30.06.2025,"manuelle Zählung",7699
06143015,Am Weißen Adler,29.05.2024,"manuelle Zählung",1000
26300120,BAB A17,31.12.2019,"Hilfswert",46800
08004050,Loschwitzer Straße,12.09.2024,"manuelle Zählung",7000
For a 2022 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2022? Return only the station ID as a JSON string.
Correct answer: "26200035"
ModelAnswer given
Gemma 4"08005160"✗ wrong
Llama 3.3{"station_id": "26200035"}✓ correct
Qwen · off"26200035"✓ correct
Qwen · on"26200035"✓ correct
test dresden-annual-max-018
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
07005080,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
03001135,Leipziger Straße,30.05.2024,"manuelle Zählung",16000
26200040,BAB A13,31.12.2019,"Hilfswert",45300
26200035,BAB A13,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",41900
08057110,Fetscherstraße,01.07.2021,"manuelle Zählung",26900
08021100,Holbeinstraße,13.09.2016,"manuelle Zählung",3000
10042040,Mockritzer Straße,27.04.2023,"manuelle Zählung",200
00069010,Terrassenufer,30.05.2024,"manuelle Zählung",21500
26100050,BAB A4,31.12.2019,"Hilfswert",108800
08011055,Goetheallee,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15600
07133010,Wünschendorfer Straße,15.06.2017,"manuelle Zählung",300
08023040,Striesener Straße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
12140010,Paul-Büttner-Straße,06.09.2022,"manuelle Zählung",800
09018120,Kipsdorfer Straße,29.05.2024,"manuelle Zählung",3900
07005060,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
For a 2022 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2022? Return only the station ID as a JSON string.
Correct answer: "26200035"
ModelAnswer given
Gemma 4"08011055"✗ wrong
Llama 3.3"26200035"✓ correct
Qwen · off"26200035"✓ correct
Qwen · on"26200035"✓ correct
test dresden-annual-max-019
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
03069020,Am Trachauer Bahnhof,07.07.2020,"manuelle Zählung",6300
26200040,BAB A13,31.12.2019,"Hilfswert",45300
09018115,Kipsdorfer Straße,29.05.2024,"manuelle Zählung",2300
26200035,BAB A13,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",41900
08011050,Goetheallee,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15600
10011010,Wasastraße,29.05.2024,"manuelle Zählung",2900
09159040,Berthold-Haupt-Straße,07.07.2020,"manuelle Zählung",3400
09055060,Zwinglistraße,25.04.2017,"manuelle Zählung",1300
14040020,Flügelweg,21.09.2021,"manuelle Zählung",19800
26100090,BAB A4,31.12.2019,"Hilfswert",108800
10004090,Teplitzer Straße,31.12.2025,"Hilfswert",25800
08011055,Goetheallee,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15600
06017020,Marienallee,14.06.2017,"manuelle Zählung",2400
01040010,Marie-Curie-Straße,29.03.2022,"manuelle Zählung",1400
07340060,Schönfelder Landstraße,13.09.2012,"manuelle Zählung",3500
26100001,BAB A4,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",90300
07005087,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
14122040,Cossebauder Straße,06.07.2021,"manuelle Zählung",9900
14122010,Cossebauder Straße,29.05.2024,"manuelle Zählung",6000
26100010,BAB A4,31.12.2019,"Hilfswert",108800
For a 2022 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2022? Return only the station ID as a JSON string.
Correct answer: "26100001"
ModelAnswer given
Gemma 4"26100001"✓ correct
Llama 3.3{"station_id": "26100001"}✓ correct
Qwen · off"26100001"✓ correct
Qwen · on"26100001"✓ correct
test dresden-annual-max-020
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
12178020,Löbtauer Brücke,30.06.2024,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",12499
08010070,Pfotenhauerstraße,01.07.2021,"manuelle Zählung",7100
10156015,Dorfstraße,06.09.2022,"manuelle Zählung",2799
14376010,Dresdner Straße (CB),19.10.2016,"manuelle Zählung",19800
06059020,Carusufer,31.12.2024,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",3500
01001017,Flügelwegbrücke,29.05.2024,"manuelle Zählung",9499
12044090,Bienertstraße,07.06.2023,"manuelle Zählung",200
14053100,Rudolf-Renner-Straße,10.10.2019,"manuelle Zählung",8100
09018150,Kipsdorfer Straße,29.05.2024,"manuelle Zählung",3100
10289010,Hans-Jüchser-Straße,03.09.2009,"manuelle Zählung",400
14041050,Lübecker Straße,26.03.2019,"manuelle Zählung",3800
14039210,Emerich-Ambros-Ufer,30.06.2024,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",3299
14039230,Emerich-Ambros-Ufer,30.06.2024,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15799
08057110,Fetscherstraße,01.07.2021,"manuelle Zählung",26900
For a 2024 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2024? Return only the station ID as a JSON string.
Correct answer: "14039230"
ModelAnswer given
Gemma 4"14039230"✓ correct
Llama 3.3{"station_id": "14039230"}✓ correct
Qwen · off{"station_id": "14039230"}✓ correct
Qwen · on"14039230"✓ correct
test dresden-annual-max-021
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
02001100,Kötzschenbroder Straße,12.10.2011,"manuelle Zählung",33600
00176057,Sophienstraße,12.08.2013,"manuelle Zählung",3300
14005065,Alte Meißner Landstraße,21.09.2021,"manuelle Zählung",400
00182070,Dr.-Külz-Ring,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",7299
26100080,BAB A4,31.12.2019,"Hilfswert",108800
12120020,Windbergstraße,26.04.2023,"manuelle Zählung",2100
09053180,Bodenbacher Straße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",15600
26100060,BAB A4,31.12.2019,"Hilfswert",108800
14044080,Wernerstraße,10.09.2024,"manuelle Zählung",5800
11163050,Nickerner Straße,20.03.2025,"manuelle Zählung",1300
14039020,Emerich-Ambros-Ufer,31.12.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",4599
11097030,Wilhelm-Busch-Straße,27.04.2023,"manuelle Zählung",500
09022142,Hepkestraße,26.04.2023,"manuelle Zählung",4200
12083040,Coschützer Straße,13.08.2013,"manuelle Zählung",8500
00018040,Albertstraße,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",3500
09158010,Kleinzschachwitzer Ufer,15.05.2014,"manuelle Zählung",10800
10004100,Teplitzer Straße,31.12.2025,"Hilfswert",25800
08021120,Holbeinstraße,13.09.2016,"manuelle Zählung",1500
03001130,Leipziger Straße,30.06.2025,"Hilfswert",19600
For a 2025 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2025? Return only the station ID as a JSON string.
Correct answer: "09053180"
ModelAnswer given
Gemma 4"09053180"✓ correct
Llama 3.3{"station_id": "00182070"}✗ wrong
Qwen · off"09053180"✓ correct
Qwen · on"09053180"✓ correct
test dresden-annual-max-022
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
26100060,BAB A4,31.12.2019,"Hilfswert",108800
08033020,Augsburger Straße,17.09.2015,"manuelle Zählung",1800
07104025,Wachwitzer Bergstraße,05.10.2009,"manuelle Zählung",1200
09122020,Alttolkewitz,18.09.2014,"manuelle Zählung",15700
14072065,Gottfried-Keller-Straße,24.09.2015,"manuelle Zählung",5700
10114015,Mügelner Straße,25.04.2023,"manuelle Zählung",9500
07351030,Weißiger Landstraße,11.10.2022,"manuelle Zählung",4000
03014045,Bürgerstraße,22.09.2015,"manuelle Zählung",5700
05153070,Boltenhagener Platz,06.06.2024,"manuelle Zählung",7800
26100100,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",101000
09034030,Geisingstraße,29.05.2024,"manuelle Zählung",600
26100120,BAB A4,31.12.2019,"Hilfswert",108800
26300010,BAB A17,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",54000
06041020,Angelikastraße,04.09.2012,"manuelle Zählung",400
08023030,Striesener Straße,31.12.2023,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
For a 2023 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2023? Return only the station ID as a JSON string.
Correct answer: "26100100"
ModelAnswer given
Gemma 4"26100100"✓ correct
Llama 3.3{"station_id": "26100100"}✓ correct
Qwen · off{"station_id": "26100100"}✓ correct
Qwen · on"26100100"✓ correct
test dresden-annual-max-023
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
12002210,Tharandter Straße,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",13900
00013010,Albertbrücke,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",31100
10184030,Lockwitztalstraße,29.05.2024,"manuelle Zählung",7100
08005150,Käthe-Kollwitz-Ufer,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15600
14302010,Hauptstraße (CB),04.06.2012,"manuelle Zählung",3200
12001010,Freiberger Straße,18.09.2018,"manuelle Zählung",5600
07005060,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
12009020,Klingenberger Straße,27.08.2003,"manuelle Zählung",600
06189010,Kunitzteichweg,29.05.2013,"manuelle Zählung",1800
07480190,Pirnaer Straße,15.04.2025,"manuelle Zählung",9200
05052020,Magazinstraße,14.09.2023,"manuelle Zählung",1500
14026020,Löbtauer Straße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",15700
26120022,BAB AS Dresden-Neustadt,12.10.2011,"manuelle Zählung",1399
For a 2022 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2022? Return only the station ID as a JSON string.
Correct answer: "08005150"
ModelAnswer given
Gemma 4"12002210"✗ wrong
Llama 3.3{"station_id": "08005150"}✓ correct
Qwen · off{"station_id": "00013010"}✗ wrong
Qwen · on"08005150"✓ correct
test dresden-annual-max-024
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
09159010,Berthold-Haupt-Straße,19.09.2018,"manuelle Zählung",1399
11136050,Goppelner Straße,07.07.2020,"manuelle Zählung",7100
12002090,Tharandter Straße,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",13900
11265030,Michaelisstraße,20.03.2025,"manuelle Zählung",11100
26100080,BAB A4,31.12.2019,"Hilfswert",108800
07005080,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
26150050,BAB AS Dresden-Flughafen,21.09.2017,"manuelle Zählung",15200
14140030,Wilhelm-Franz-Straße,10.10.2019,"manuelle Zählung",1000
08023050,Striesener Straße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
05065010,Ludwig-Kossuth-Straße,03.09.2019,"manuelle Zählung",8600
00200020,Budapester Straße,31.12.2025,"Hilfswert",11900
26100050,BAB A4,31.12.2019,"Hilfswert",108800
10171050,Windmühlenstraße,23.04.2014,"manuelle Zählung",4800
08001020,Gerokstraße,10.09.2025,"manuelle Zählung",5100
08023040,Striesener Straße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
11091085,Zschertnitzer Straße,09.11.2016,"manuelle Zählung",5800
08033130,Augsburger Straße,17.09.2015,"manuelle Zählung",1800
26100001,BAB A4,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",90300
01025070,Spitzhausstraße,29.09.2015,"manuelle Zählung",4300
For a 2022 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2022? Return only the station ID as a JSON string.
Correct answer: "26100001"
ModelAnswer given
Gemma 4"26100001"✓ correct
Llama 3.3"26100001"✓ correct
Qwen · off"26100001"✓ correct
Qwen · on"26100001"✓ correct
test dresden-annual-max-025
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
03053070,Wilder-Mann-Straße,18.05.2017,"manuelle Zählung",600
09175020,Meußlitzer Straße,07.07.2020,"manuelle Zählung",8900
03025010,Rehefelder Straße,22.09.2015,"manuelle Zählung",4500
10004085,Teplitzer Straße,30.06.2024,"Hilfswert",26300
26100030,BAB A4,31.12.2019,"Hilfswert",108800
26300030,BAB A17,31.12.2019,"Hilfswert",56500
06567045,Dresdner Straße (LB),29.05.2013,"manuelle Zählung",6900
09095020,Marienberger Straße,08.10.2019,"manuelle Zählung",11900
00090037,St.Petersburger Straße,30.06.2025,"Hilfswert",29500
10117010,Morgenleite,02.03.2011,"manuelle Zählung",400
14003070,Hamburger Straße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",19300
14305040,Weistropper Straße (CB),11.09.2012,"manuelle Zählung",1400
08005030,Käthe-Kollwitz-Ufer,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",14400
10005080,Dohnaer Straße,06.09.2022,"manuelle Zählung",16600
01002040,Washingtonstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",32900
05112120,Boltenhagener Straße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",6400
For a 2025 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2025? Return only the station ID as a JSON string.
Correct answer: "01002040"
ModelAnswer given
Gemma 4"01002040"✓ correct
Llama 3.3{"station_id": "01002040"}✓ correct
Qwen · off{"station_id": "01002040"}✓ correct
Qwen · on"01002040"✓ correct
test dresden-annual-max-026
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
02014030,Lommatzscher Straße,30.05.2024,"manuelle Zählung",14600
10119010,Perronstraße,02.03.2011,"manuelle Zählung",500
00109020,Sidonienstraße,22.05.2008,"manuelle Zählung",10599
05138080,Dörnichtweg,28.08.2012,"manuelle Zählung",1800
26100060,BAB A4,31.12.2019,"Hilfswert",108800
07033020,Calberlastraße,22.07.2009,"manuelle Zählung",1100
06052060,Bautzner Straße,28.05.2024,"manuelle Zählung",12200
10058010,An der Pikardie,29.05.2024,"manuelle Zählung",16800
08023030,Striesener Straße,31.12.2023,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
08067020,Regerstraße,21.09.2011,"manuelle Zählung",400
26100150,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",65600
10185110,Bahnhofstraße,12.09.2024,"manuelle Zählung",5900
26100100,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",101000
26100080,BAB A4,31.12.2019,"Hilfswert",108800
For a 2023 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2023? Return only the station ID as a JSON string.
Correct answer: "26100100"
ModelAnswer given
Gemma 4"26100100"✓ correct
Llama 3.3{"station_id": "26100100"}✓ correct
Qwen · off{"station_id": "26100100"}✓ correct
Qwen · on"26100100"✓ correct
test dresden-annual-max-027
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
07340060,Schönfelder Landstraße,13.09.2012,"manuelle Zählung",3500
02023070,Rankestraße,26.03.2019,"manuelle Zählung",4900
06053120,Bautzner Landstraße,19.09.2018,"manuelle Zählung",16300
10008160,Wiener Straße,21.09.2021,"manuelle Zählung",5100
04001130,Großenhainer Straße,10.09.2024,"manuelle Zählung",13700
14043030,Wernerplatz,06.09.2022,"manuelle Zählung",10000
26100120,BAB A4,31.12.2019,"Hilfswert",108800
09191020,Putjatinstraße,12.09.2024,"manuelle Zählung",5900
14209080,Coventrystraße,10.10.2019,"manuelle Zählung",30600
11109050,Wilhelm-Franke-Straße,27.04.2023,"manuelle Zählung",9400
26300010,BAB A17,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",54000
06002310,Königsbrücker Landstraße,27.10.2016,"manuelle Zählung",8400
03001250,Leipziger Straße,26.03.2019,"manuelle Zählung",10500
08023030,Striesener Straße,31.12.2023,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
07001080,Grundstraße,08.09.2016,"manuelle Zählung",16200
05065012,Ludwig-Kossuth-Straße,03.09.2019,"manuelle Zählung",8600
26100110,BAB A4,31.12.2019,"Hilfswert",108800
26100100,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",101000
For a 2023 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2023? Return only the station ID as a JSON string.
Correct answer: "26100100"
ModelAnswer given
Gemma 4"26100100"✓ correct
Llama 3.3{"station_id": "26100100"}✓ correct
Qwen · off{"station_id": "26100100"}✓ correct
Qwen · on"26100100"✓ correct
test dresden-annual-max-028
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
07440120,Straße des Friedens,20.08.2025,"manuelle Zählung",1800
00016035,Glacisstraße,31.12.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",7300
26200040,BAB A13,31.12.2019,"Hilfswert",45300
07014030,Veilchenweg,10.03.2009,"manuelle Zählung",425
03001010,Leipziger Straße,25.04.2023,"manuelle Zählung",20400
00083020,Pirnaischer Platz,20.09.2022,"manuelle Zählung",35300
06525010,Hauptstraße (LB),25.03.2003,"manuelle Zählung",5000
05282010,Richard-Riemerschmid-Straße,27.04.2023,"manuelle Zählung",3100
07005045,Pillnitzer Landstraße,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8300
08032080,Wittenberger Straße,19.05.2022,"manuelle Zählung",1500
10114030,Mügelner Straße,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",7000
05219020,Hermann-Reichelt-Straße,31.12.2025,"Hilfswert",22900
08002070,Blasewitzer Straße,12.09.2024,"manuelle Zählung",7700
00120020,Annenstraße,06.09.2022,"manuelle Zählung",2900
10148030,Gamigstraße,23.04.2024,"manuelle Zählung",4600
07059060,Quohrener Straße,28.05.2024,"manuelle Zählung",7100
00076010,Rietschelstraße,10.11.2015,"manuelle Zählung",2300
05004060,Radeburger Straße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",31800
10145060,Georg-Palitzsch-Straße,14.03.2024,"manuelle Zählung",4500
For a 2025 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2025? Return only the station ID as a JSON string.
Correct answer: "05004060"
ModelAnswer given
Gemma 4"07005045"✗ wrong
Llama 3.3"05004060"✓ correct
Qwen · off"05004060"✓ correct
Qwen · on"05004060"✓ correct
test dresden-annual-max-029
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
14045040,Columbusstraße,30.06.2024,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",3299
06056030,Holzhofgasse,12.04.2017,"manuelle Zählung",1100
05049020,Hammerweg,26.08.2025,"manuelle Zählung",2900
07340015,Schönfelder Landstraße,13.09.2012,"manuelle Zählung",5300
03001050,Leipziger Straße,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",18300
08004060,Loschwitzer Straße,12.09.2024,"manuelle Zählung",6900
00137030,Schützengasse,20.09.2023,"manuelle Zählung",600
06059030,Carusufer,31.12.2024,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",3500
05138090,Dörnichtweg,28.08.2012,"manuelle Zählung",1800
12036043,Nürnberger Straße,30.05.2024,"manuelle Zählung",14699
14055010,Klopstockstraße,06.07.2021,"manuelle Zählung",500
12178020,Löbtauer Brücke,30.06.2024,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",12499
14053010,Rudolf-Renner-Straße,31.05.2016,"manuelle Zählung",8400
10004060,Teplitzer Straße,31.12.2025,"Hilfswert",25800
For a 2024 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2024? Return only the station ID as a JSON string.
Correct answer: "12178020"
ModelAnswer given
Gemma 4"03001050"✗ wrong
Llama 3.3{"station_id": "12178020"}✓ correct
Qwen · off{"station_id": "12178020"}✓ correct
Qwen · on"12178020"✓ correct
test dresden-annual-max-030
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
26130030,BAB AS Dresden-Wilder Mann,22.08.2024,"manuelle Zählung",8100
05004170,Radeburger Straße,14.09.2023,"manuelle Zählung",10200
10285040,Erich-Kästner-Straße,20.03.2025,"manuelle Zählung",8800
26100100,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",101000
26100040,BAB A4,31.12.2019,"Hilfswert",108800
05016020,Eschenstraße,08.06.2023,"manuelle Zählung",900
05011015,Bischofsplatz,08.09.2020,"manuelle Zählung",10000
05117020,Käthe-Kollwitz-Platz,15.06.2017,"manuelle Zählung",9
26300010,BAB A17,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",54000
26100010,BAB A4,31.12.2019,"Hilfswert",108800
10129045,Tornaer Straße,25.04.2023,"manuelle Zählung",8200
26100150,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",65600
14015020,Berliner Straße,17.09.2019,"manuelle Zählung",2400
08023030,Striesener Straße,31.12.2023,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
For a 2023 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2023? Return only the station ID as a JSON string.
Correct answer: "26100100"
ModelAnswer given
Gemma 4"26100150"✗ wrong
Llama 3.3"26100100"✓ correct
Qwen · off"26100100"✓ correct
Qwen · on"26100100"✓ correct
test dresden-annual-max-031
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
12002090,Tharandter Straße,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",13900
14152020,Altleutewitz,27.10.2016,"manuelle Zählung",900
13073040,Saalhausener Straße,29.05.2024,"manuelle Zählung",4000
26200035,BAB A13,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",41900
14101010,Merbitzer Straße,21.09.2021,"manuelle Zählung",6000
03030030,Wurzener Straße,30.05.2024,"manuelle Zählung",7500
08011055,Goetheallee,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15600
08004060,Loschwitzer Straße,12.09.2024,"manuelle Zählung",6900
08040010,Hans-Grundig-Straße,18.09.2018,"manuelle Zählung",6500
06047017,Görlitzer Straße,09.11.2023,"manuelle Zählung",2099
07005087,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
26100010,BAB A4,31.12.2019,"Hilfswert",108800
09175050,Meußlitzer Straße,07.07.2020,"manuelle Zählung",8900
07140030,Graupaer Straße,24.03.2004,"manuelle Zählung",1100
10171070,Windmühlenstraße,23.04.2014,"manuelle Zählung",4800
26100120,BAB A4,31.12.2019,"Hilfswert",108800
For a 2022 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2022? Return only the station ID as a JSON string.
Correct answer: "26200035"
ModelAnswer given
Gemma 4"26200035"✓ correct
Llama 3.3"26200035"✓ correct
Qwen · off{"station_id": "26200035"}✓ correct
Qwen · on"26200035"✓ correct
test dresden-annual-max-032
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
06001200,Königsbrücker Straße,15.06.2016,"manuelle Zählung",19900
06010010,Pulsnitzer Straße,23.08.2010,"manuelle Zählung",1300
07370040,Cunnersdorfer Straße (SW),13.09.2012,"manuelle Zählung",3700
08027030,Wehlener Straße,18.09.2018,"manuelle Zählung",11000
10024050,Wasaplatz,29.05.2024,"manuelle Zählung",9800
09115060,Salzburger Straße,14.03.2024,"manuelle Zählung",4100
11158080,Fritz-Meinhardt-Straße,21.04.2015,"manuelle Zählung",2800
13001170,Kesselsdorfer Straße,29.05.2024,"manuelle Zählung",9800
07005087,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
08023050,Striesener Straße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
12002090,Tharandter Straße,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",13900
14041020,Lübecker Straße,06.09.2022,"manuelle Zählung",1000
00109040,Sidonienstraße,31.12.2020,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",18700
09044020,Hepkeplatz,29.05.2024,"manuelle Zählung",6600
05080030,Moritzburger Weg,21.09.2015,"manuelle Zählung",5400
09184090,Wilhelm-Weitling-Straße,16.06.2011,"manuelle Zählung",3300
For a 2022 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2022? Return only the station ID as a JSON string.
Correct answer: "12002090"
ModelAnswer given
Gemma 4"12002090"✓ correct
Llama 3.3"12002090"✓ correct
Qwen · off"00109040"✗ wrong
Qwen · on"12002090"✓ correct
test dresden-annual-max-033
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
14039210,Emerich-Ambros-Ufer,30.06.2024,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",3299
26140041,BAB AS Dresden-Hellerau,07.07.2020,"manuelle Zählung",4699
00072020,Pillnitzer Straße,25.04.2023,"manuelle Zählung",9100
06059020,Carusufer,31.12.2024,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",3500
06002390,Königsbrücker Landstraße,23.05.2019,"manuelle Zählung",9300
07152050,Söbrigener Straße,29.03.2022,"manuelle Zählung",900
08026030,Schandauer Straße,01.07.2021,"manuelle Zählung",14400
14045040,Columbusstraße,30.06.2024,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",3299
10002025,Richard-Strauss-Platz,15.06.2017,"manuelle Zählung",9700
00096020,Hans-Dankner-Straße,23.06.2011,"manuelle Zählung",1000
14039230,Emerich-Ambros-Ufer,30.06.2024,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15799
06001310,Königsbrücker Straße,08.10.2019,"manuelle Zählung",17100
10185030,Bahnhofstraße,07.06.2023,"manuelle Zählung",15400
10005280,Dohnaer Straße,12.09.2024,"manuelle Zählung",17600
02026060,Peschelstraße,07.07.2020,"manuelle Zählung",17400
14007030,Messering,29.03.2007,"manuelle Zählung",1700
07400070,Hochlandstraße,17.06.2009,"manuelle Zählung",800
00139040,Hertha-Lindner-Straße,18.09.2018,"manuelle Zählung",11800
For a 2024 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2024? Return only the station ID as a JSON string.
Correct answer: "14039230"
ModelAnswer given
Gemma 4"14039230"✓ correct
Llama 3.3"14039230"✓ correct
Qwen · off{"station_id": "14039230"}✓ correct
Qwen · on"14039230"✓ correct
test dresden-annual-max-034
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
07005010,Pillnitzer Landstraße,12.09.2023,"manuelle Zählung",11300
04009010,Trachenberger Platz,27.04.2023,"manuelle Zählung",12600
12002090,Tharandter Straße,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",13900
08011055,Goetheallee,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15600
09084045,Altenberger Straße,29.05.2024,"manuelle Zählung",16900
03001115,Leipziger Straße,07.09.2009,"manuelle Zählung",23100
00129015,Ehrlichstraße,19.05.2022,"manuelle Zählung",500
08017090,Dürerstraße,15.09.2016,"manuelle Zählung",4500
04014010,Maxim-Gorki-Straße,26.08.2025,"manuelle Zählung",9800
05329010,Kügelgenweg,10.03.2011,"manuelle Zählung",500
07005087,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
00109020,Sidonienstraße,22.05.2008,"manuelle Zählung",10599
08033010,Augsburger Straße,08.09.2020,"manuelle Zählung",4200
05331130,Alte Moritzburger Straße,28.10.2025,"manuelle Zählung",2100
08075020,Huttenstraße,13.05.2008,"manuelle Zählung",3100
For a 2022 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2022? Return only the station ID as a JSON string.
Correct answer: "08011055"
ModelAnswer given
Gemma 4"12002090"✗ wrong
Llama 3.3{"station_id": "08011055"}✓ correct
Qwen · off"08011055"✓ correct
Qwen · on"08011055"✓ correct
test dresden-annual-max-035
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
00222020,ÖW 51 - Altstadt II,29.10.2024,"manuelle Zählung",900
12178020,Löbtauer Brücke,30.06.2024,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",12499
09054160,Pirnaer Landstraße,03.07.2019,"manuelle Zählung",11400
05035010,Stauffenbergallee,01.07.2021,"manuelle Zählung",5999
06059030,Carusufer,31.12.2024,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",3500
05004180,Radeburger Straße,14.09.2023,"manuelle Zählung",10200
11136020,Goppelner Straße,07.07.2020,"manuelle Zählung",7100
05157010,Selliner Straße,28.05.2024,"manuelle Zählung",2400
07410110,Bühlauer Straße (SW),12.03.2012,"manuelle Zählung",1600
06052210,Bautzner Straße,27.10.2016,"manuelle Zählung",33700
10008150,Wiener Straße,21.09.2021,"manuelle Zählung",5100
00010010,Güntzplatz,10.09.2025,"manuelle Zählung",5100
14136070,Grillparzerstraße,13.12.2018,"manuelle Zählung",9300
14035010,Behringstraße,10.09.2024,"manuelle Zählung",1000
14209090,Coventrystraße,31.12.2024,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",21000
10002010,Richard-Strauss-Platz,15.06.2017,"manuelle Zählung",22300
For a 2024 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2024? Return only the station ID as a JSON string.
Correct answer: "14209090"
ModelAnswer given
Gemma 4"14209090"✓ correct
Llama 3.3{"station_id": "12178020"}✗ wrong
Qwen · off"14209090"✓ correct
Qwen · on"14209090"✓ correct
test dresden-annual-max-036
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
07480200,Pirnaer Straße,15.04.2025,"manuelle Zählung",9200
12046020,Hofmühlenstraße,19.09.2018,"manuelle Zählung",2800
09054270,Pirnaer Landstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",10600
00123020,Josephinenstraße,08.10.2019,"manuelle Zählung",5300
06043060,Fischhausstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",11000
06016010,Forststraße,07.07.2020,"manuelle Zählung",-2
01002040,Washingtonstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",32900
07005030,Pillnitzer Landstraße,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8300
11071005,Altmockritz,20.05.2014,"manuelle Zählung",2500
26100070,BAB A4,31.12.2019,"Hilfswert",108800
00199010,Parkstraße,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",4600
14433020,Oskar-Maune-Straße,23.03.2010,"manuelle Zählung",2200
26100095,BAB A4,31.12.2019,"Hilfswert",108800
14055020,Klopstockstraße,06.07.2021,"manuelle Zählung",500
14210040,Julius-Vahlteich-Straße,29.05.2024,"manuelle Zählung",8400
00180050,Wilsdruffer Straße,20.09.2022,"manuelle Zählung",11400
05257050,Knappsdorfer Straße,07.05.2025,"manuelle Zählung",2600
For a 2025 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2025? Return only the station ID as a JSON string.
Correct answer: "01002040"
ModelAnswer given
Gemma 4"01002040"✓ correct
Llama 3.3{"station_id": "06043060"}✗ wrong
Qwen · off"01002040"✓ correct
Qwen · on"01002040"✓ correct
test dresden-annual-max-037
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
26200040,BAB A13,31.12.2019,"Hilfswert",45300
08075030,Huttenstraße,08.06.2023,"manuelle Zählung",3600
06053220,Bautzner Landstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",14100
14301030,Grüner Weg (CB),19.10.2016,"manuelle Zählung",2300
11003080,Bergstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",25500
07410110,Bühlauer Straße (SW),12.03.2012,"manuelle Zählung",1600
06052310,Bautzner Straße,31.12.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",19600
14006014,Pieschener Allee,17.09.2019,"manuelle Zählung",4100
11001030,Fritz-Löffler-Straße,08.10.2019,"manuelle Zählung",30100
06052220,Bautzner Straße,27.10.2016,"manuelle Zählung",33700
10114010,Mügelner Straße,25.04.2023,"manuelle Zählung",9500
11155010,Kauschaer Straße,21.09.2021,"manuelle Zählung",400
05004087,Radeburger Straße,28.04.2022,"manuelle Zählung",28800
For a 2025 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2025? Return only the station ID as a JSON string.
Correct answer: "11003080"
ModelAnswer given
Gemma 4"11003080"✓ correct
Llama 3.3"11003080"✓ correct
Qwen · off{"station_id": "11003080"}✓ correct
Qwen · on"11003080"✓ correct
test dresden-annual-max-038
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
09084083,Altenberger Straße,17.04.2008,"manuelle Zählung",6600
09160010,Rosenschulweg,19.09.2018,"manuelle Zählung",200
08023030,Striesener Straße,31.12.2023,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
26100150,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",65600
07440110,Straße des Friedens,20.08.2025,"manuelle Zählung",1800
10093040,Zamenhofstraße,08.07.2015,"manuelle Zählung",5100
04003020,Fritz-Reuter-Straße,30.05.2024,"manuelle Zählung",12700
11177030,Lockwitzgrund,08.07.2015,"manuelle Zählung",5500
11013030,Uhlandstraße,06.06.2011,"manuelle Zählung",2500
26100001,BAB A4,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",90300
05035110,Stauffenbergallee,26.08.2025,"manuelle Zählung",14100
10153040,Langer Weg,04.02.2026,"manuelle Zählung",17500
06053190,Bautzner Landstraße,28.05.2024,"manuelle Zählung",22100
08064020,Naumannstraße,12.09.2023,"manuelle Zählung",18100
08017150,Dürerstraße,25.04.2023,"manuelle Zählung",2499
10007070,Tiergartenstraße,09.09.2015,"manuelle Zählung",9100
26100030,BAB A4,31.12.2019,"Hilfswert",108800
26300010,BAB A17,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",54000
For a 2023 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2023? Return only the station ID as a JSON string.
Correct answer: "26100150"
ModelAnswer given
Gemma 4"26100150"✓ correct
Llama 3.3{"station_id": "26100150"}✓ correct
Qwen · off"26100150"✓ correct
Qwen · on"26100150"✓ correct
test dresden-annual-max-039
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
07001110,Grundstraße,08.09.2016,"manuelle Zählung",13400
06522010,Grünberger Straße (SB),21.09.2017,"manuelle Zählung",1000
07005080,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
05080110,Moritzburger Weg,08.10.2019,"manuelle Zählung",4500
06053200,Bautzner Landstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",14100
07005087,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
14039250,Emerich-Ambros-Ufer,30.06.2025,"manuelle Zählung",7699
14101070,Merbitzer Straße,12.10.2011,"manuelle Zählung",2600
08023040,Striesener Straße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
05201020,Binzer Weg,14.09.2023,"manuelle Zählung",600
09055060,Zwinglistraße,25.04.2017,"manuelle Zählung",1300
06052070,Bautzner Straße,20.08.2025,"manuelle Zählung",13800
11097030,Wilhelm-Busch-Straße,27.04.2023,"manuelle Zählung",500
09054070,Pirnaer Landstraße,08.10.2019,"manuelle Zählung",12800
For a 2022 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2022? Return only the station ID as a JSON string.
Correct answer: "08023040"
ModelAnswer given
Gemma 4"07005080"✗ wrong
Llama 3.3{"station_id": "08023040"}✓ correct
Qwen · off{"station_id": "08023040"}✓ correct
Qwen · on"08023040"✓ correct
test dresden-annual-max-040
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
26100150,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",65600
05153070,Boltenhagener Platz,06.06.2024,"manuelle Zählung",7800
26300010,BAB A17,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",54000
08102060,Wägnerstraße,26.04.2023,"manuelle Zählung",1570
08109030,Bergmannstraße,15.06.2017,"manuelle Zählung",10100
10032020,Lockwitzer Straße,03.06.2015,"manuelle Zählung",5100
02001090,Kötzschenbroder Straße,07.07.2020,"manuelle Zählung",11500
08023030,Striesener Straße,31.12.2023,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
26100004,BAB A4,31.12.2019,"Hilfswert",108800
14026080,Löbtauer Straße,29.05.2024,"manuelle Zählung",12500
00177010,Marienstraße,06.09.2022,"manuelle Zählung",4000
04046020,Saßnitzer Straße,03.09.2019,"manuelle Zählung",3900
09030030,Anton-Graff-Straße,07.05.2012,"manuelle Zählung",1800
07005105,Pillnitzer Landstraße,04.04.2019,"manuelle Zählung",10600
14505010,Am Berg,25.10.2005,"manuelle Zählung",1000
26100100,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",101000
26100095,BAB A4,31.12.2019,"Hilfswert",108800
For a 2023 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2023? Return only the station ID as a JSON string.
Correct answer: "26100100"
ModelAnswer given
Gemma 4"26100100"✓ correct
Llama 3.3{"station_id": "26100100"}✓ correct
Qwen · off{"station_id": "26100100"}✓ correct
Qwen · on"26100100"✓ correct
test dresden-annual-max-041
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
01042020,Pieschener Straße,14.12.2016,"manuelle Zählung",4300
14025060,Waltherstraße,26.03.2019,"manuelle Zählung",10300
12002090,Tharandter Straße,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",13900
26300150,BAB A17,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",42500
04007050,Weinböhlaer Straße,26.08.2025,"manuelle Zählung",1200
07005085,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
26100040,BAB A4,31.12.2019,"Hilfswert",108800
11146020,Alttorna,10.04.2013,"manuelle Zählung",2000
08023050,Striesener Straße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
08162060,Elisenstraße,06.09.2022,"manuelle Zählung",6600
10103020,Reisstraße,26.03.2019,"manuelle Zählung",1000
04007040,Weinböhlaer Straße,26.08.2025,"manuelle Zählung",1700
26100140,BAB A4,31.12.2018,"Hilfswert",46000
08005150,Käthe-Kollwitz-Ufer,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15600
00082010,Grunaer Straße,30.06.2025,"Hilfswert",17500
10220120,Liebstädter Straße,27.10.2016,"manuelle Zählung",2500
For a 2022 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2022? Return only the station ID as a JSON string.
Correct answer: "26300150"
ModelAnswer given
Gemma 4"26300150"✓ correct
Llama 3.3{"station_id": "26300150"}✓ correct
Qwen · off{"station_id": "26300150"}✓ correct
Qwen · on"26300150"✓ correct
test dresden-annual-max-042
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
11043020,Räcknitzhöhe,07.06.2023,"manuelle Zählung",3900
09079050,Lauensteiner Straße,01.07.2021,"manuelle Zählung",2200
10142050,Bismarckstraße,26.03.2019,"manuelle Zählung",5100
26300010,BAB A17,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",54000
11057040,Südhöhe,06.09.2022,"manuelle Zählung",9600
26100080,BAB A4,31.12.2019,"Hilfswert",108800
26100150,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",65600
26100100,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",101000
26100095,BAB A4,31.12.2019,"Hilfswert",108800
09015023,Mansfelder Straße,03.12.2025,"manuelle Zählung",1700
06001120,Königsbrücker Straße,28.05.2024,"manuelle Zählung",11400
08023030,Striesener Straße,31.12.2023,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
10129060,Tornaer Straße,25.04.2023,"manuelle Zählung",8200
13001212,Kesselsdorfer Straße,10.10.2019,"manuelle Zählung",11400
02026010,Peschelstraße,26.03.2019,"manuelle Zählung",8800
10028130,Reicker Straße,25.04.2023,"manuelle Zählung",11700
10005325,Dohnaer Straße,12.09.2024,"manuelle Zählung",17600
09017070,Glashütter Straße,29.05.2024,"manuelle Zählung",1800
11158060,Fritz-Meinhardt-Straße,20.11.2018,"manuelle Zählung",2200
For a 2023 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2023? Return only the station ID as a JSON string.
Correct answer: "26100100"
ModelAnswer given
Gemma 4"26100100"✓ correct
Llama 3.3"26100100"✓ correct
Qwen · off{"station_id": "26100100"}✓ correct
Qwen · on"26100100"✓ correct
test dresden-annual-max-043
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
08005150,Käthe-Kollwitz-Ufer,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15600
12021050,Hohe Straße,26.04.2023,"manuelle Zählung",1200
10183060,Am Viertelacker,18.06.2024,"manuelle Zählung",800
08023050,Striesener Straße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
26100070,BAB A4,31.12.2019,"Hilfswert",108800
04046010,Saßnitzer Straße,03.09.2019,"manuelle Zählung",3900
06001200,Königsbrücker Straße,15.06.2016,"manuelle Zählung",19900
26100001,BAB A4,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",90300
08104170,Tolkewitzer Straße,26.03.2019,"manuelle Zählung",10200
11016020,Franklinstraße,07.06.2023,"manuelle Zählung",2600
08083080,Tittmannstraße,07.06.2023,"manuelle Zählung",1199
07137070,Lohmener Straße,06.09.2022,"manuelle Zählung",6300
08023040,Striesener Straße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
26100010,BAB A4,31.12.2019,"Hilfswert",108800
07005087,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
For a 2022 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2022? Return only the station ID as a JSON string.
Correct answer: "26100001"
ModelAnswer given
Gemma 4"26100001"✓ correct
Llama 3.3{"station_id": "26100001"}✓ correct
Qwen · off"26100001"✓ correct
Qwen · on"26100001"✓ correct
test dresden-annual-max-044
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
26100030,BAB A4,31.12.2019,"Hilfswert",108800
08011050,Goetheallee,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15600
08002030,Blasewitzer Straße,17.01.2019,"manuelle Zählung",8800
14006014,Pieschener Allee,17.09.2019,"manuelle Zählung",4100
10204050,Heidenauer Straße,07.07.2020,"manuelle Zählung",1400
08011055,Goetheallee,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15600
14302020,Hauptstraße (CB),04.06.2012,"manuelle Zählung",3200
26100001,BAB A4,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",90300
11177040,Lockwitzgrund,08.07.2015,"manuelle Zählung",5500
26100060,BAB A4,31.12.2019,"Hilfswert",108800
06538010,Liegauer Straße (SB),21.09.2017,"manuelle Zählung",800
07005128,Pillnitzer Landstraße,19.09.2018,"manuelle Zählung",9400
26300150,BAB A17,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",42500
09175040,Meußlitzer Straße,07.07.2020,"manuelle Zählung",8900
For a 2022 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2022? Return only the station ID as a JSON string.
Correct answer: "26100001"
ModelAnswer given
Gemma 4"26300150"✗ wrong
Llama 3.3{"station_id": "26100001"}✓ correct
Qwen · off"26100001"✓ correct
Qwen · on"26100001"✓ correct
test dresden-annual-max-045
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
07382013,Zur Bockmühle,01.09.2009,"manuelle Zählung",400
02014075,Lommatzscher Straße,27.08.2012,"manuelle Zählung",20100
10057030,Karcherallee,31.12.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",18000
07410100,Bühlauer Straße (SW),12.03.2012,"manuelle Zählung",1600
06053250,Bautzner Landstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",14100
05201020,Binzer Weg,14.09.2023,"manuelle Zählung",600
26100050,BAB A4,31.12.2019,"Hilfswert",108800
00082050,Grunaer Straße,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",19100
10183020,Am Viertelacker,08.08.2005,"manuelle Zählung",470
11164010,Nickerner Weg,20.03.2025,"manuelle Zählung",4400
08084020,Forsthausstraße,08.06.2023,"manuelle Zählung",1800
09054275,Pirnaer Landstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",10600
11053066,Caspar-David-Friedrich-Straße,28.09.2023,"manuelle Zählung",5300
08104020,Tolkewitzer Straße,12.09.2023,"manuelle Zählung",19400
14044010,Wernerstraße,06.09.2022,"manuelle Zählung",9100
04001230,Großenhainer Straße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",13200
For a 2025 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2025? Return only the station ID as a JSON string.
Correct answer: "00082050"
ModelAnswer given
Gemma 4"00082050"✓ correct
Llama 3.3{"station_id": "00082050"}✓ correct
Qwen · off{"station_id": "00082050"}✓ correct
Qwen · on"00082050"✓ correct
test dresden-annual-max-046
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
06001041,Königsbrücker Straße,06.02.2024,"manuelle Zählung",11800
26200035,BAB A13,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",41900
09084010,Altenberger Straße,08.09.2016,"manuelle Zählung",14700
14003050,Hamburger Straße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",19300
03001180,Leipziger Straße,30.05.2024,"manuelle Zählung",8300
09033060,Bertolt-Brecht-Allee,26.04.2023,"manuelle Zählung",6400
12029015,Schweizer Straße,26.04.2023,"manuelle Zählung",3700
00182120,Dr.-Külz-Ring,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",7299
26100095,BAB A4,31.12.2019,"Hilfswert",108800
13001285,Kesselsdorfer Straße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",5600
10129065,Tornaer Straße,25.04.2023,"manuelle Zählung",8200
05004010,Radeburger Straße,31.12.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",24000
00082050,Grunaer Straße,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",19100
08011040,Goetheallee,11.10.2022,"manuelle Zählung",1300
07360060,Gönnsdorfer Straße (SW),13.09.2012,"manuelle Zählung",3700
For a 2025 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2025? Return only the station ID as a JSON string.
Correct answer: "05004010"
ModelAnswer given
Gemma 4"05004010"✓ correct
Llama 3.3"05004010"✓ correct
Qwen · off"26200035"✗ wrong
Qwen · on"05004010"✓ correct
test dresden-annual-max-047
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
07008030,Fidelio-F.-Finke-Straße,22.07.2009,"manuelle Zählung",800
14010030,Friedrichstraße,17.09.2019,"manuelle Zählung",4100
11037080,Zellescher Weg,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",17700
10005130,Dohnaer Straße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",26900
14040010,Flügelweg,29.09.2015,"manuelle Zählung",23100
02021040,Wächterstraße,26.03.2019,"manuelle Zählung",300
10089010,Moränenende,30.06.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",19000
08021040,Holbeinstraße,13.09.2016,"manuelle Zählung",3000
11021020,Ackermannstraße,29.05.2024,"manuelle Zählung",5800
08038030,Elsasser Straße,20.06.2012,"manuelle Zählung",3700
09008040,Wallotstraße,07.07.2020,"manuelle Zählung",2000
26300170,BAB A17,31.12.2019,"Hilfswert",46800
12083020,Coschützer Straße,13.08.2013,"manuelle Zählung",8500
05001060,Hansastraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",22100
14209070,Coventrystraße,10.10.2019,"manuelle Zählung",30600
03056010,Aachener Straße,28.05.2024,"manuelle Zählung",3699
01025030,Spitzhausstraße,29.09.2015,"manuelle Zählung",1900
14505010,Am Berg,25.10.2005,"manuelle Zählung",1000
10153045,Langer Weg,04.02.2026,"manuelle Zählung",17500
For a 2025 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2025? Return only the station ID as a JSON string.
Correct answer: "10005130"
ModelAnswer given
Gemma 4"10005130"✓ correct
Llama 3.3{"station_id": "10005130"}✓ correct
Qwen · off"10005130"✓ correct
Qwen · on"10005130"✓ correct
test dresden-annual-max-048
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
14156020,Gompitzer Straße,07.06.2006,"manuelle Zählung",1900
14053020,Rudolf-Renner-Straße,31.05.2016,"manuelle Zählung",8400
10100060,Straße des 17.Juni,31.08.2017,"manuelle Zählung",13200
06539020,Moritzstraße,08.02.2011,"manuelle Zählung",499
08017150,Dürerstraße,25.04.2023,"manuelle Zählung",2499
08011055,Goetheallee,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15600
26100110,BAB A4,31.12.2019,"Hilfswert",108800
26100003,BAB A4,31.12.2019,"Hilfswert",99500
08025020,Borsbergstraße,09.09.2025,"manuelle Zählung",11800
11057020,Südhöhe,06.09.2022,"manuelle Zählung",7600
14136015,Grillparzerstraße,06.07.2021,"manuelle Zählung",2500
07128020,Orangeriestraße,06.09.2022,"manuelle Zählung",7000
09055020,Zwinglistraße,29.05.2024,"manuelle Zählung",8600
08011050,Goetheallee,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15600
10103040,Reisstraße,26.03.2019,"manuelle Zählung",1000
12002090,Tharandter Straße,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",13900
00085010,Lingnerplatz,29.10.2024,"manuelle Zählung",4100
07005085,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
26100001,BAB A4,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",90300
For a 2022 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2022? Return only the station ID as a JSON string.
Correct answer: "26100001"
ModelAnswer given
Gemma 4"26100001"✓ correct
Llama 3.3{"station_id": "26100001"}✓ correct
Qwen · off{"station_id": "26100001"}✓ correct
Qwen · on"26100001"✓ correct
test dresden-annual-max-049
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
26100070,BAB A4,31.12.2019,"Hilfswert",108800
26100100,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",101000
26300010,BAB A17,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",54000
08075030,Huttenstraße,08.06.2023,"manuelle Zählung",3600
08018030,Fiedlerstraße,17.01.2019,"manuelle Zählung",1900
00195020,Postplatz,06.09.2022,"manuelle Zählung",2500
00085010,Lingnerplatz,29.10.2024,"manuelle Zählung",4100
08025050,Borsbergstraße,07.06.2023,"manuelle Zählung",14400
26100095,BAB A4,31.12.2019,"Hilfswert",108800
08033180,Augsburger Straße,16.10.2007,"manuelle Zählung",1400
08023030,Striesener Straße,31.12.2023,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
08027020,Wehlener Straße,18.09.2018,"manuelle Zählung",11000
07137080,Lohmener Straße,06.09.2022,"manuelle Zählung",6300
08083030,Tittmannstraße,08.06.2023,"manuelle Zählung",2500
10285030,Erich-Kästner-Straße,20.03.2025,"manuelle Zählung",8800
26100150,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",65600
10100030,Straße des 17.Juni,26.03.2019,"manuelle Zählung",15200
08017100,Dürerstraße,15.09.2016,"manuelle Zählung",4500
06128010,Ullersdorfer Platz,28.05.2024,"manuelle Zählung",5100
For a 2023 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2023? Return only the station ID as a JSON string.
Correct answer: "26100100"
ModelAnswer given
Gemma 4"26100150"✗ wrong
Llama 3.3"26100100"✓ correct
Qwen · off"26100100"✓ correct
Qwen · on"26100100"✓ correct
test dresden-annual-max-050
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
06018040,Radeberger Straße,26.10.2016,"manuelle Zählung",6400
00034010,Wigardstraße,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",16800
08030060,Wormser Straße,08.06.2023,"manuelle Zählung",6000
06029070,Bischofsweg,18.04.2024,"manuelle Zählung",6300
10294010,Otto-Dix-Ring,20.09.2022,"manuelle Zählung",1000
00083020,Pirnaischer Platz,20.09.2022,"manuelle Zählung",35300
09175070,Meußlitzer Straße,07.07.2020,"manuelle Zählung",9100
01002050,Washingtonstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",32000
05035140,Stauffenbergallee,31.12.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",14500
12087040,Kohlenstraße,06.09.2022,"manuelle Zählung",7400
09175120,Meußlitzer Straße,08.06.2009,"manuelle Zählung",3300
07351070,Weißiger Landstraße,11.10.2022,"manuelle Zählung",4000
10169050,Ernst-Toller-Straße,19.09.2019,"manuelle Zählung",700
26200040,BAB A13,31.12.2019,"Hilfswert",45300
08027040,Wehlener Straße,18.09.2018,"manuelle Zählung",11000
For a 2025 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2025? Return only the station ID as a JSON string.
Correct answer: "01002050"
ModelAnswer given
Gemma 4"01002050"✓ correct
Llama 3.3{"station_id": "01002050"}✓ correct
Qwen · off{"station_id": "01002050"}✓ correct
Qwen · on"01002050"✓ correct
test dresden-annual-max-051
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
04061030,Moritzburger Landstraße,22.08.2024,"manuelle Zählung",16100
11112050,Spitzwegstraße,27.04.2023,"manuelle Zählung",9500
08011055,Goetheallee,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",15600
00133017,Schweriner Straße,18.09.2018,"manuelle Zählung",900
26100070,BAB A4,31.12.2019,"Hilfswert",108800
09056010,Rothermundtstraße,28.09.2015,"manuelle Zählung",1800
07005087,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
10026030,Altstrehlen,07.06.2023,"manuelle Zählung",11300
06002040,Königsbrücker Landstraße,28.05.2024,"manuelle Zählung",10500
03014045,Bürgerstraße,22.09.2015,"manuelle Zählung",5700
00041030,Köpckestraße,03.09.2025,"manuelle Zählung",16600
07005060,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
14025050,Waltherstraße,10.09.2024,"manuelle Zählung",8500
00002010,Marienbrücke,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",34800
08023040,Striesener Straße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
14141040,Steinbacher Straße,21.09.2021,"manuelle Zählung",3900
12044070,Bienertstraße,07.06.2023,"manuelle Zählung",300
07005085,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
For a 2022 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2022? Return only the station ID as a JSON string.
Correct answer: "08011055"
ModelAnswer given
Gemma 4"08011055"✓ correct
Llama 3.3{"station_id": "08011055"}✓ correct
Qwen · off"00002010"✗ wrong
Qwen · on"08011055"✓ correct
test dresden-annual-max-052
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
08138040,Ludwig-Hartmann-Straße,18.09.2018,"manuelle Zählung",2700
07074020,Rochwitzer Straße,14.09.2023,"manuelle Zählung",2300
07350010,Pappritzer Straße (SW),06.09.2022,"manuelle Zählung",3800
07360020,Gönnsdorfer Straße (SW),13.09.2012,"manuelle Zählung",3700
00004080,Ammonstraße,14.09.2023,"manuelle Zählung",1999
06053045,Bautzner Landstraße,31.12.2025,"Hilfswert",17400
14039020,Emerich-Ambros-Ufer,31.12.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",4599
06053300,Bautzner Landstraße,15.06.2017,"manuelle Zählung",22000
06053180,Bautzner Landstraße,28.05.2024,"manuelle Zählung",22100
00018025,Albertstraße,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",3500
05163015,Grenzstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",6500
11043030,Räcknitzhöhe,07.06.2023,"manuelle Zählung",3900
05224035,Zur Wetterwarte,09.06.2015,"manuelle Zählung",3700
06052240,Bautzner Straße,31.12.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",19600
07128040,Orangeriestraße,06.09.2022,"manuelle Zählung",7000
05135010,Gertrud-Caspari-Straße,28.05.2024,"manuelle Zählung",1900
10002005,Richard-Strauss-Platz,31.12.2025,"Hilfswert",10800
07005240,Pillnitzer Landstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",6900
07151010,August-Böckstiegel-Straße,29.03.2022,"manuelle Zählung",40
For a 2025 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2025? Return only the station ID as a JSON string.
Correct answer: "06052240"
ModelAnswer given
Gemma 4"06052240"✓ correct
Llama 3.3{"station_id": "06052240"}✓ correct
Qwen · off"06052240"✓ correct
Qwen · on"06052240"✓ correct
test dresden-annual-max-053
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
14014020,Schäferstraße,10.09.2024,"manuelle Zählung",10100
05221070,Flughafenstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",11200
11070090,Boderitzer Straße,26.10.2017,"manuelle Zählung",3200
07001095,Grundstraße,19.09.2018,"manuelle Zählung",11600
14044010,Wernerstraße,06.09.2022,"manuelle Zählung",9100
14044080,Wernerstraße,10.09.2024,"manuelle Zählung",5800
08017040,Dürerstraße,15.08.2011,"manuelle Zählung",4900
12067050,Karlsruher Straße,29.05.2024,"manuelle Zählung",9600
05065030,Ludwig-Kossuth-Straße,21.09.2015,"manuelle Zählung",9100
14433020,Oskar-Maune-Straße,23.03.2010,"manuelle Zählung",2200
00148030,Ostra-Allee,24.05.2007,"manuelle Zählung",4400
00016025,Glacisstraße,31.12.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",7300
00009010,Güntzstraße,08.06.2023,"manuelle Zählung",16500
09054020,Pirnaer Landstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",15600
03001130,Leipziger Straße,30.06.2025,"Hilfswert",19600
For a 2025 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2025? Return only the station ID as a JSON string.
Correct answer: "09054020"
ModelAnswer given
Gemma 4"09054020"✓ correct
Llama 3.3"09054020"✓ correct
Qwen · off{"station_id": "09054020"}✓ correct
Qwen · on"09054020"✓ correct
test dresden-annual-max-054
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
26300150,BAB A17,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",42500
08023050,Striesener Straße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
14029090,Fröbelstraße,22.06.2016,"manuelle Zählung",3299
10220080,Liebstädter Straße,27.10.2016,"manuelle Zählung",2500
03037040,Trachenberger Straße,10.09.2024,"manuelle Zählung",4200
26200030,BAB A13,31.12.2019,"Hilfswert",45300
10153040,Langer Weg,04.02.2026,"manuelle Zählung",17500
10005140,Dohnaer Straße,04.07.2013,"manuelle Zählung",35700
12055070,Nöthnitzer Straße,07.06.2023,"manuelle Zählung",6200
09123070,Österreicher Straße,15.05.2014,"manuelle Zählung",14000
26200035,BAB A13,31.12.2022,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",41900
12022050,Kaitzer Straße,30.05.2024,"manuelle Zählung",400
13029020,Altfrankener Straße,30.09.2015,"manuelle Zählung",2500
09022140,Hepkestraße,26.04.2023,"manuelle Zählung",4200
06005010,Kamenzer Straße,09.11.2023,"manuelle Zählung",1399
26300030,BAB A17,31.12.2019,"Hilfswert",56500
01003020,Werftstraße,31.12.2003,"manuelle Zählung",4900
07005085,Pillnitzer Landstraße,31.12.2022,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",8400
For a 2022 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2022? Return only the station ID as a JSON string.
Correct answer: "26300150"
ModelAnswer given
Gemma 4"26300150"✓ correct
Llama 3.3{"station_id": "26300150"}✓ correct
Qwen · off"26300150"✓ correct
Qwen · on"26300150"✓ correct
test dresden-annual-max-055
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
12178020,Löbtauer Brücke,30.06.2024,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",12499
10057020,Karcherallee,28.05.2024,"manuelle Zählung",22400
02017030,Bunsenstraße,13.10.2009,"manuelle Zählung",3500
26300120,BAB A17,31.12.2019,"Hilfswert",46800
05012040,Dammweg,14.09.2023,"manuelle Zählung",500
06069075,Körnerweg,08.09.2020,"manuelle Zählung",-2
09018110,Kipsdorfer Straße,29.05.2024,"manuelle Zählung",2300
26160061,BAB AD Dresden-Nord,31.12.2019,"Hilfswert",19999
14041065,Lübecker Straße,26.03.2019,"manuelle Zählung",3800
06059030,Carusufer,31.12.2024,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",3500
14088090,Warthaer Straße,27.10.2016,"manuelle Zählung",1100
06053210,Bautzner Landstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",14100
14039210,Emerich-Ambros-Ufer,30.06.2024,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",3299
10028150,Reicker Straße,25.04.2023,"manuelle Zählung",12700
14087070,Am Lehmberg,12.03.2025,"manuelle Zählung",4500
For a 2024 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2024? Return only the station ID as a JSON string.
Correct answer: "12178020"
ModelAnswer given
Gemma 4"12178020"✓ correct
Llama 3.3"12178020"✓ correct
Qwen · off{"station_id": "12178020"}✓ correct
Qwen · on"12178020"✓ correct
test dresden-annual-max-056
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
06504020,Beethovenstraße (LB),30.08.2017,"manuelle Zählung",5500
07500040,Radeberger Landstraße (SW),15.04.2025,"manuelle Zählung",9200
12083020,Coschützer Straße,13.08.2013,"manuelle Zählung",8500
26100100,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",101000
14004250,Meißner Landstraße,19.10.2016,"manuelle Zählung",19800
10042040,Mockritzer Straße,27.04.2023,"manuelle Zählung",200
08023030,Striesener Straße,31.12.2023,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
26100150,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",65600
07152060,Söbrigener Straße,29.03.2022,"manuelle Zählung",900
12022120,Kaitzer Straße,07.06.2023,"manuelle Zählung",600
07120120,Dresdner Straße,06.09.2022,"manuelle Zählung",900
26100040,BAB A4,31.12.2019,"Hilfswert",108800
26100080,BAB A4,31.12.2019,"Hilfswert",108800
06567080,Dresdner Straße (LB),29.05.2013,"manuelle Zählung",6900
13001130,Kesselsdorfer Straße,10.09.2024,"manuelle Zählung",8400
26300010,BAB A17,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",54000
07053030,Neukircher Straße,15.07.2013,"manuelle Zählung",900
For a 2023 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2023? Return only the station ID as a JSON string.
Correct answer: "26100100"
ModelAnswer given
Gemma 4"26100100"✓ correct
Llama 3.3{"station_id": "26100100"}✓ correct
Qwen · off{"station_id": "26100100"}✓ correct
Qwen · on"26100100"✓ correct
test dresden-annual-max-057
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
14067020,Braunsdorfer Straße,31.12.2004,"manuelle Zählung",1400
08023030,Striesener Straße,31.12.2023,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",10400
08026130,Schandauer Straße,13.09.2023,"manuelle Zählung",6500
26100150,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",65600
09175020,Meußlitzer Straße,07.07.2020,"manuelle Zählung",8900
09022030,Hepkestraße,12.09.2024,"manuelle Zählung",700
09084010,Altenberger Straße,08.09.2016,"manuelle Zählung",14700
14101040,Merbitzer Straße,21.09.2021,"manuelle Zählung",2100
26100010,BAB A4,31.12.2019,"Hilfswert",108800
09032060,Müller-Berset-Straße,29.05.2024,"manuelle Zählung",1600
26100100,BAB A4,31.12.2023,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",101000
26100110,BAB A4,31.12.2019,"Hilfswert",108800
09046020,Schlüterstraße,15.08.2017,"manuelle Zählung",9100
12001090,Freiberger Straße,16.09.2010,"manuelle Zählung",3800
For a 2023 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2023? Return only the station ID as a JSON string.
Correct answer: "26100100"
ModelAnswer given
Gemma 4"26100100"✓ correct
Llama 3.3{"station_id": "26100100"}✓ correct
Qwen · off{"station_id": "26100100"}✓ correct
Qwen · on"26100100"✓ correct
test dresden-annual-max-058
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
03014030,Bürgerstraße,15.06.2017,"manuelle Zählung",7000
13001070,Kesselsdorfer Straße,29.05.2024,"manuelle Zählung",12700
26200040,BAB A13,31.12.2019,"Hilfswert",45300
26100110,BAB A4,31.12.2019,"Hilfswert",108800
08042020,Wintergartenstraße,29.05.2024,"manuelle Zählung",2100
10114030,Mügelner Straße,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",7000
11025010,Strehlener Straße,19.09.2018,"manuelle Zählung",8700
00126035,Rosenstraße,17.09.2019,"manuelle Zählung",5800
08017050,Dürerstraße,15.09.2016,"manuelle Zählung",4500
10069030,Dobritzer Straße,20.09.2022,"manuelle Zählung",7300
26180010,BAB AD Dresden-West,31.12.2019,"Hilfswert",11999
13073160,Saalhausener Straße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",4100
05035070,Stauffenbergallee,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",30700
00002010,Marienbrücke,30.06.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",34800
For a 2025 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2025? Return only the station ID as a JSON string.
Correct answer: "00002010"
ModelAnswer given
Gemma 4"00002010"✓ correct
Llama 3.3"00002010"✓ correct
Qwen · off{"station_id": "00002010"}✓ correct
Qwen · on"00002010"✓ correct
test dresden-annual-max-059
AgiMoBench data analysis. Source: City of Dresden traffic counts (Verkehrsmengen, Kfz/Tag). Use only the records below. Records mix counting methods: annual means from permanent counters (Jahresmittelwert), single-day manual counts (manuelle Zählung) and auxiliary estimates (Hilfswert), from different dates. Values of different methods are not comparable.
station_id,street,date,method,motor_vehicles_per_day
10117020,Morgenleite,02.03.2011,"manuelle Zählung",400
08104070,Tolkewitzer Straße,06.09.2022,"manuelle Zählung",9900
06080050,Schillerstraße,31.12.2025,"Traffic Eye Universal (Infrarotdetektor), Jahresmittelwert",4000
14209010,Coventrystraße,30.06.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",17200
06002200,Königsbrücker Landstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",11400
07059010,Quohrener Straße,28.05.2024,"manuelle Zählung",7100
06042020,Charlottenstraße,19.05.2014,"manuelle Zählung",12100
07005125,Pillnitzer Landstraße,20.08.2025,"manuelle Zählung",8500
13001290,Kesselsdorfer Straße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",5600
13001120,Kesselsdorfer Straße,10.09.2024,"manuelle Zählung",9300
08104110,Tolkewitzer Straße,06.09.2022,"manuelle Zählung",7700
26300120,BAB A17,31.12.2019,"Hilfswert",46800
06136020,Ullersdorfer Straße,28.05.2024,"manuelle Zählung",5100
09033010,Bertolt-Brecht-Allee,26.04.2023,"manuelle Zählung",6400
14101110,Merbitzer Straße,12.10.2011,"manuelle Zählung",2600
06053230,Bautzner Landstraße,31.12.2025,"Pegelzählstelle (Induktionsschleifen), Jahresmittelwert",14100
10004050,Teplitzer Straße,31.12.2025,"Hilfswert",25800
00137010,Schützengasse,20.09.2023,"manuelle Zählung",600
09120080,Leubener Straße,08.10.2019,"manuelle Zählung",9100
07480020,Pirnaer Straße,12.03.2012,"manuelle Zählung",4400
For a 2025 traffic-state briefing, which station has the highest annual mean daily volume among the annual-mean (Jahresmittelwert) records dated in 2025? Return only the station ID as a JSON string.
Correct answer: "14209010"
ModelAnswer given
Gemma 4"14209010"✓ correct
Llama 3.3{"station_id": "14209010"}✓ correct
Qwen · off"14209010"✓ correct
Qwen · on"14209010"✓ correct