Treinverkeer rondom Utrecht en Gouda plat

[Hageneis]

Als vervangend treinververvoer? Doet me denken aan een NS-campagne voor treinen naar Schiphol: een plan V met vleugels.

[isadora]

En ook de alternatieve reisoptie tussen Amsterdam en Brabant/Limburg via de IC Direct is even niet mogelijk, vanwege een defecte trein... :')

Komt Maastricht Airport ook weer eens aan een paar klanten.

Wordt er dan nog gevlogen tussen Mt en Shl?

Ook al niet?

[robert55]

Vorige week donderdag was ik even bang dat het NOB het stokje had overgenomen: voor het opstarten van de back-up vanat de rampenzender moet zijn had men 70 minuten nodig [en was daar nog best wel trots op ook]. Maar gelukkig hebben ProRail en NS zich herpakt en liggen weer onbedreigd op kop, of staart. Het opstarten van de back-up voorziening [die er naar vorige 'incidenten' na politiek aandringen wel is gekomen] zou naar ik lees 3 uur kosten. Maar dat was niet eens nodig, want de reset [waarom moet ik aan control-alt-delete denken] was binnen een half uur volbracht, alleen had men kennelijk geen vertrouwen in de stabiliteit van het systeem en werden er in eerste instantie alleen 'testtreinen' gereden.

Inmiddels zijn we na de avondspits en rijden nog steeds niet alle treinen, waaronder één hele lijn die niet eens in Utrecht komt.

Als het nou de eerste keer was dat Utrecht plat ging door een storing aan de bediening, maar dat is het niet.
Als het nou de eerste keer was dat herstel van de dienstregeling tot minstens de opkomst van de volgende ploeg, maar dat is het niet, zelfs niet dit jaar.

[Anne]

Als vervangend treinververvoer? Doet me denken aan een NS-campagne voor treinen naar Schiphol: een plan V met vleugels.

Dat was DEZE

[Vinny]

Het scenario "Utrecht plat" moet gewoon als standaard feature in de bijsturing worden ingebouwd. Een eventueel alternatief is het totaal bevriezen van de treindienst in heel Nederland totdat de storing verholpen is en dan t=t(0)+S doorvoeren. Kortom als het treinverkeer om 08.32 stil komt te liggen en de storing is om 9.48 verholpen dan geldt de rest van de dag dat 9.48 als 8.32 geldt. Niet fraai, maar beter een vertraagde trein dan geen trein.

[Somoht]

Wordt het niet een tijd voor.

FORMAT C:
FORMAT D:\BACKUP

nieuwe ict-ers aanstellen in de zaak opnieuw programmeren

Het kan ook zo zijn dat NS en ProRail zich ook laten trakteren door Ordina(ir), Sogeti of welk ander corrupt, megalomaan IT-bedrijf.

Zelf werkzaam als autodidactische softwareontwikkelaar, maar misschien moet ik me bij mijn leest (lees: ontwikkelomgeving) houden.

Bij NS is het aanbesteed en gegund aan KPN.

Volgens mij doet KPN bij NS vooral de kantoorautomatisering en hosting van websites enzo. Geloof dat InfoPlus een CGI feestje is. Verder draait er nog genoeg legacy meuk als OpenVMS bij ProRail

[Hageneis]

Als vervangend treinververvoer? Doet me denken aan een NS-campagne voor treinen naar Schiphol: een plan V met vleugels.

Dat was DEZE

Die bedoelde ik inderdaad.

[isadora]

Ach, laten we het eens een software-fout noemen.
Zou zo'n backup-systeem wel eens getest worden?

http://www.treinreiziger.nl/actueel/bin ... cht-146769

[BR628]

Het scenario "Utrecht plat" moet gewoon als standaard feature in de bijsturing worden ingebouwd. Een eventueel alternatief is het totaal bevriezen van de treindienst in heel Nederland totdat de storing verholpen is en dan t=t(0)+S doorvoeren. Kortom als het treinverkeer om 08.32 stil komt te liggen en de storing is om 9.48 verholpen dan geldt de rest van de dag dat 9.48 als 8.32 geldt. Niet fraai, maar beter een vertraagde trein dan geen trein.

Idee is goed maar gaat in de praktijk niet werken. CAO zegt gewoon max 9 uur werken (ga even uit van CAO OV). Als een dienst al 8,5 uur lang is kan ie niet langer dan een half uur uitlopen.

[deadlock]

Kan wel, dan breken we gewoon de CAO open.

[Thom91]

ProRail heeft inhoudelijk gereageerd, bron is mij onbekend:

Reizigers hebben op maandag 2 februari flinke last gehad van een storing bij de verkeersleidingspost van Utrecht Centraal. ProRail en NS betreuren de overlast ten zeerste. ProRail biedt treinreizigers, vervoerders en verladers excuses aan voor de storing van afgelopen maandag. We beseffen hoe vervelend de vertragingen zijn voor reizigers en hoe zeer wij een beroep doen op de flexibiliteit van vervoerders en hun medewerkers.

Vanwege de storing konden de seinen en wissels van verkeersleidingsgebied Utrecht niet bediend worden. Onze verkeersleiders konden hierdoor het treinverkeer niet in goede banen leiden en daardoor was er tot ongeveer 13:00 geen treinverkeer van en naar Utrecht mogelijk. Daarna werd de treindienst gefaseerd opgestart en om 21.00 reden treinen weer volgens het spoorboekje.

Vannacht hebben we de systemen extra gecontroleerd. Om er zo zeker van te zijn dat de verkeersleidingsystemen, die wissels en seinen aansturen vanuit de verkeersleidingspost Utrecht, goed werkten. De geconstateerde schade is vannacht direct gerepareerd.

Wat ging er mis?

Weekendwerkzaamheden op zondag 1 februari

De computersystemen en netwerken voor de treinbesturing rond Utrecht bevinden zich in een zwaar beveiligde omgeving van British Telecom (BT) in Nieuwegein, een zogenaamd rekencentrum. De voorzieningen in dit rekencentrum zijn allen dubbel uitgevoerd zoals voeding en airconditioning en voldoen aan de hoogst mogelijke internationaal vereiste standaard (Tier 3) .

BT wil de stroomvoorziening van dit regelcentrum uitbreiden. Om deze uitbreiding mogelijk te maken moet BT aanpassingen uitvoeren aan de huidige drie stroomvoorzieningskanalen. In goed overleg met ProRail werd er afgelopen weekend door BT in het rekencentrum gewerkt aan één van de drie huidige stroomvoorzieningskanalen.

ProRail heeft in samenwerking met BT vooraf risicomaatregelen genomen. De aanpassing aan het ene stroomvoorzieningskanaal is afgelopen zondag zonder problemen verlopen. BT en ProRail werden zondag echter wel geconfronteerd met een kortstondige uitval van de systemen. Deze systemen zijn verbonden aan één van de twee stroomvoorzieningskanalen, waar niet aan is gewerkt. De systemen functioneerden na de kortstondige uitval weer normaal. ProRail is de enige gebruiker van het stroomvoedingskanaal waar de kortstondige uitval plaatsvond. Daarom hebben andere gebruikers van het BT rekencentrum geen hinder ondervonden.

Maandagochtend 2 februari

Op maandagochtend 2 februari viel rond 08.00 uur onverwacht één van de computersystemen van verkeersleidingpost Utrecht uit. Dit betrof een computer die verbonden was met het systeem dat zondag kortstondig is uitgevallen. Het systeem schakelde vervolgens over naar het back-upsysteem, die het werk over nam.

Door de overschakeling naar de back-up ontstond, naar nu blijkt een te zware belasting op het systeem waar de data van het treinverkeersysteem wordt opgeslagen: de dataserver (Storage Area Network). Hierdoor werd het systeem traag. Er trad een onwerkbare situatie op voor onze treinverkeersleiders. De treinverkeersleiders konden de seinen en wissels buiten niet goed bedienen. Er is toen besloten om een aantal werkplekken van treindienstleiders uit te schakelen. Hierdoor kreeg het totale systeem ‘lucht’ en kon de treindienst rond 12:30 uur beperkt worden opgestart.

Onderzoek en voorlopige conclusie

Uiteraard willen wij graag begrijpen hoe deze storing heeft kunnen plaatsvinden. Daarom laten we door een onafhankelijke partij onderzoek doen naar deze storing. Om te leren van deze storing en in de toekomst deze te kunnen voorkomen. De eerste conclusie is dat het totale systeem inclusief de redundantie (de back-up systemen) in het weekend een 'tik&' hebben gekregen vanwege de kortstondige uitval die zeer waarschijnlijk ontstond door een verstoring in de stroomvoorziening. Onderzoek moet dat nog bevestigen.

Wat we nu weten is dat daarbij defecten zijn veroorzaakt in de hardware van zowel de dataserver (Storage Area Network) als de redundante computers. Wat we nog niet begrijpen is: wat er met de derde stroomtoevoer in het weekend is gebeurd? En hoe dat tot verschillende defecten in het systeem heeft kunnen leiden? Wat we wel weten, is dat onze redundante systemen hebben gewerkt. Vanaf 8.15 uur is met de redundante systemen gewerkt op de verkeersleidingpost Utrecht. Alleen werkten deze systemen door de defecten vertraagd. Pas toen we werkplekken hebben uitgezet en het systeem lucht hebben gegeven, kon de treindienst opgestart worden.

Onze systemen

ProRail heeft sinds 2007 al haar verkeersleidingsystemen vernieuwd. Er is meer dan 100 miljoen euro geïnvesteerd in het verbeteren van de verkeersleidingsystemen, zoals dubbele computersystemen en -netwerken en upgraden van rekencentra. Deze investeringen hebben geleid tot een reductie van meer dan 80% ICT gerelateerde storingen in de treindienst: 380 in 2007 tegen 50 in 2014. Deze storingen varieren van een kapot computerscherm op de post met één vertraagde trein tot gevolg tot een grote storing in de systemen met veel hinder voor reizigers, zoals gisteren.

Na de brand in de Utrechtse verkeersleidingpost in 2011 is een uitwijkmogelijkheid bij grote calamiteiten voor verkeersleidingposten gerealiseerd. In geval van grote calamiteiten, zoals het afbranden van een verkeersleidingpost kan deze uitwijk het werk binnen vier uur overnemen. Deze uitwijk staat in het Operationeel Controlecentrum Rail (OCCR). Hier is een uitwijk computercentrum en uitwijk seinzaal ingericht.

Zijn storingen te voorkomen?

We leven in een maatschappij waarin de afhankelijkheid van ICT steeds groter wordt. Storingen grijpen in op het dagelijks leven van grote groepen mensen. Dat geldt ook voor het treinverkeer. Mede dankzij de hoge automatiseringsgraad kunnen we in Nederland een treinsysteem exploiteren met een hoge benutting, hoge punctualiteit tegen relatief lage kosten. Echter de kwetsbaarheid als gevolg van ICT storingen neemt toe.

ProRail heeft fors geïnvesteerd in het reductie van kwetsbaarheid middels dubbele uitvoering, uitwijkmogelijkheden van posten en het gebruik van state-of-the-art datacenters. Tegelijkertijd beschouwt ProRail elke storing als één teveel en spant zich tot het uiterste in om storingen voor te zijn en snel op te lossen.

[Suus]

Bron onbekend? :? Dit staat gewoon op hun weblog: http://www.prorail.nl/nieuws/excuses-voor-storing

[Thom91]

Waar ik het vandaan kopieer stond dat erbij, maar dan dus idd de ProRail blog.

[Daniel]

De video doet het niet meer trouwens.

[Thom91]

Was ook nauwelijks interessant om naar te luisteren. Man van in de 50 die nogal sloom vertelde hoe het zat.

[ODRAIL]

Die video was vanavond ook op het 20:00 uur journaal te zien.

[Wubbo]

De man die daar aan het woord was is Wim Knopperts, directeur Operatie van ProRail. Uiteindelijk dus de verantwoordelijke, als je het zo wil zien. Wel netjes dat hij zelf het woord doet (gisteren zag ik hem ook al in het nieuws) en het niet overlaat aan een woordvoerder.

[Suus]

https://www.prorail.nl/vervoerders/over ... ie-prorail

Zijn ze aan het reorganiseren trouwens, dat twee van de drie directeuren ad interim zijn (de president-directeur wordt binnenkort al vervangen uiteraard)?

[Thom91]

Een zinkend schip verlaten eah..