Skip to content
0:00 / 0:00

#bahnmining#deutschebahn#datamining

BahnMining - Pünktlichkeit ist eine Zier (David Kriesel)

media.ccc.de

274K subscribers • 56 videos on Hallway • Conference channel

YouTube
  • Recommended by 2 people: 2 on Hacker News.
  • Presented by David Kriesel

Intermediate. Assumes working knowledge.

3.3M views6 years ago2 recommendations

Databases and dataTools and practiceData engineering and warehousesData visualization

David Kriesel presents a data-mining analysis of a year's worth of scraped Deutsche Bahn train delay data, exposing how official statistics hide cancellations.

media.ccc.de/v/36c3-10652-bahnmining_-_punktlichkeit_ist_ein… Seit Anfang 2019 hat David jeden einzelnen Halt jeder einzelnen Zugfahrt auf jedem einzelnen Fernbahnhof in ganz Deutschland systematisch gespeichert. Inklusive Verspätungen und allem drum und dran. Und die werden wir in einem bunten Vortrag erforschen und endlich mal wieder ein bisschen Spaß mit Daten haben. Rechtlicher Hinweis: Es liegt eine schriftliche Genehmigung der Bahn vor, von ihr abgerufene Rohdaten aggregieren und für Vorträge nutzen zu dürfen. Inhaltliche Absprachen oder gar Auflagen existieren nicht. Die Bahn gibt ihre Verspätungen in "Prozent pünktlicher Züge pro Monat" an. Das ist so radikal zusammengefasst, dass man daraus natürlich nichts interessantes lesen kann. Jetzt stellt euch mal vor, man könnte da mal ein bisschen genauer reingucken. Stellt sich raus: Das geht! Davids Datensatz umfasst knapp 25 Millionen Halte - mehr als 50.000 pro Tag. Wir haben die Rohdaten und sind in unserer Betrachtung völlig frei. Der Vortrag hat wieder mehrere rote Fäden. 1) Wir vermessen ein fast komplettes Fernverkehrsjahr der deutschen Bahn. Hier etwas Erwartungsmanagement: Sinn ist keinesfalls Bahn-Bashing oder Sensationsheischerei - wer einen Hassvortrag gegen die Bahn erwartet, ist in dieser Veranstaltung falsch. Wir werden die Daten aber nutzen, um die Bahn einmal ein bisschen kennenzulernen. Die Bahn ist eine riesige Maschine mit Millionen beweglicher Teile. Wie viele Zugfahrten gibt es überhaupt? Was sind die größten Bahnhöfe? Wir werden natürlich auch die unerfreulichen Themen ansprechen, für die sich im Moment viele interessieren: Ist das Problem mit den Zugverspätungen wirklich so schlimm, wie alle sagen? Gibt es Orte und Zeiten, an denen es besonders hapert? Und wo fallen Züge einfach aus? 2) Es gibt wieder mehrere Blicke über den Tellerrand, wie bei Davids vorherigen Vorträgen auch. Ihr werdet wieder ganz automatisch und nebenher einen allgemeinverständlichen Einblick in die heutige Datenauswerterei bekommen. (Eine verbreitete Verschwörungstheorie sagt, euch zur Auswertung öffentlicher Daten zu inspirieren, wäre sogar der Hauptzweck von Davids Vorträgen. :-) )Die Welt braucht Leute mit Ratio, die Analyse wichtiger als Kreischerei finden. Und darum beschreibt David auch, wie man so ein durchaus aufwändiges Hobbyprojekt technisch angeht, Anfängerfehler vermeidet, und verantwortungsvoll handelt. David Kriesel fahrplan.events.ccc.de/congress/2019/Fahrplan/events/10652.h… #36C3

Why it's here

2 people recommend this, 1 disputes it

What people say. Recommended as an entertaining and eye-opening data-backed analysis of train delays and statistical manipulation.

martin_aon Hacker News • Recommends

On “I Walked Across Luxembourg – A Hike from the West to the East of the Grand Duchy”

I think they want to get rid of the trains going to Interlaken directly. At least that's what I read in the SZ 0. If you haven't seen it, there's the great talk from David Kriesel on the 36C3 1 about how Deutsche Bahn is... "doing statistics" to hide their delays. It's well worth the hour! 0: link 1: link to this video

luckylionon Hacker News • Recommends

On “German rail operator says train disruption caused by sabotage”

That's why you should hire the PR companies they're using, not the train companies themselves. Partially joking, I think the image stems from the past, but the system degrades when it's not maintained appropriately. There was an entertaining talk at a CCC event a few years back which looked at DB reliability and accuracy (in German): link to this video

zwnowon Hacker News • Disputes

On “Digital ID – The New Chains of Capitalist Surveillance”

8 years, wow. Try 30 and actually growing up in this country. School is letting people down, rent prices are exploding. Public transportation is a complete joke ( link to this video ) Sorry, but with how rich Germany is I can and should expect more from this country.

martin_aon Hacker News • Mentions

On “I Walked Across Luxembourg – A Hike from the West to the East of the Grand Duchy”

This kind of hits the core. As the DB (Deutsche Bahn) is a private company now (although they are 100% owned by the state), they have to make a profit. How do you make a profit? Either raise prices or lower costs. Doing both is the best and that's what they do. Raising prices is easy, it just gets more and more expensive, even the "cheap" Deutschlandticket is too expensive, experts say it should probably be around 29 Euro/month to make a real change. How do you save costs? You do only the bare minimum of maintenance, don't invest in building more tracks and instead reduce tracks and track switches. That's what they've done the last 20 years or so. 0 This leads to ICEs being stuck behind sl…

josefxon Hacker News • Mentions

On “Germany's terrible trains are no joke for a nation built on efficiency”

> Here are the official statistics: link ... A few years ago David Kriesel did some independent data mining on the reported delays. One point that came up is that official statistics do not even cover train stops that where cancelled and I think it was also mentioned that cancelling stops was one of the ways used to make up for lost time if needed to avoid knock-on effects. German presentation: link to this video

spfluegeron Hacker News • Mentions

On “Germany's train service is one of Europe's worst. How did it get so bad?”

Quite some years ago there was some data backed evidence of this I would say. link Here is the link to his talk directly link to this video Its true that the network is quite dense and used by also cargo trains, but there is no denying that things got worse and worse. I constantly experience delay to do some stuff not working. I forgot even the minute threshold when a train is still punctual according to DB. I believe it's 10min by now, which can be deadly if you need to switch trains :)

mimischion Hacker News • Mentions

On “Bet on German Train Delays”

For context, David Kriesel gave the infamous talk called “BahnMining” at 36C3 highlighting this. IIUC it’s only available in German: link to this video