Dalla baia alle colline: la San Francisco Municipal Transportation Agency (SFMTA) si affida all'elaborazione dati unificata con Talend Real-Time Big Data e GeoSpatial Integration for Talend per gestire i propri dati di mobilità. In tandem, accelerano i processi per altri servizi sempre forniti dalla stessa SFMTA. Circa 800.000 persone vivono a San Francisco e quasi 9,5 milioni di persone vivono nella Bay Area, sulla costa occidentale degli Stati Uniti. Ogni giorno, centinaia di migliaia di residenti e pendolari che arrivano in città dai quartieri circostanti utilizzano il sistema di trasporto pubblico e i servizi della San Francisco Municipal Transportation Agency (SFMTA). Tuttavia, i cantieri e le interruzioni sono all'ordine del giorno. Per superare questi ostacoli, SFMTA deve poter continuare a erogare servizi funzionali grazie a un complesso sistema di gestione dei dati.
Tutti i dati disponibili fluiscono insieme in un cosiddetto data lake. Ciò include i dati dei singoli eventi (incidenti, accesso ai singoli mezzi di trasporto o cantieri temporanei), ma anche dati specifici come località delle singole fermate, fermate dell'autobus temporaneamente chiuse e persino l'ubicazione dei cordoli che limitano l'accessibilità delle fermate. Sono inclusi anche i dati sul comportamento di passeggeri e residenti. L'intera gestione dei dati è gestita dal software Talend Real-Time Big Data della società Disy.
“Utilizzando GeoSpatial Integration for Talend di Disy, siamo in grado di gestire tutti i dati, inclusi i dati spaziali, in un'unica piattaforma, Talend. Otteniamo un processamento dei dati molto più veloce, raggiungendo un livello di qualità più elevato" dice Cheong-Tseng Eng, Data Services Manager presso SFMTA.
Geodati e operazioni integrate
Grazie al plug-in Spatial ETL GeoSpatial Integration for Talend, sviluppato da Disy, i dati geospaziali sono perfettamente integrati in Talend, consentendo l'elaborazione uniforme di tutti i dati, inclusi i dati geospaziali, all'interno di un'unica piattaforma. Per capire la dimensione del sistema, circa 21.000 viaggi al giorno vengono effettuati solo con gli e-scooter, e vengono registrati 700.000 imbarchi al giorno.
Il plug-in fornisce operazioni geografiche pronte per l'uso, che vengono trasferite al processing di ETL tramite drag and drop e utilizzate all'interno del flusso di lavoro. Direttamente nel processo di integrazione e trasformazione, è possibile calcolare superfici o lunghezze, intersecare geometrie e creare buffer, perimetri specifici o riquadri di delimitazione. La validità delle geometrie viene rapidamente verificata e la distanza tra di esse viene misurata. L'elaborazione e la modellazione dei dati avvengono all'interno di un'unica piattaforma di gestione. La qualità dei dati è così estremamente elevata.
Qualità elevata dei dati sulla mobilità
In questo modo, le informazioni su percorsi di viaggio, disponibilità e modelli di utilizzo vengono generate ed elaborate in modo efficiente. Strumenti o database geografici aggiuntivi non sono più necessari per il calcolo e l'elaborazione poiché l'elaborazione spaziale dei dati viene eseguita direttamente nel processo. Wassilios Kazakos, Responsabile del marketing e dello sviluppo aziendale, si dimostra entusiasta dell'uso vantaggioso del software Disy presso la San Francisco Transportation Agency: "Con il plug-in, SFMTA è in grado di fornire ai propri clienti una qualità molto elevata e controllabile dei dati della loro mobilità, con processi molto più veloci ed efficienti. GeoSpatial Integration for Talend, insieme al software Talend, è quindi perfetto per tutte le aziende che elaborano e utilizzano dati geospaziali e basati sulla localizzazione, sulle rotte, sui percorsi di traffico...".
Risparmio di tempo grazie all'integrazione diretta delle fonti di dati geografici
Il plug-in Disy per la piattaforma Talend è ideale perché fornisce opzioni di integrazione diretta per sorgenti di dati geografici comuni. Molte fonti di dati e database sono direttamente supportati, come PostGIS, Oracle Locator and Spatial, SpatiaLite, ArcGIS Server, Shapefile e GeoJSON. Ciò è particolarmente importante per lo sviluppo di processi ETL / ELT e soluzioni di data warehouse, ma anche per l'integrazione di streaming di big data o per l’elaborazione dati nel cloud.
Previsto ampliamento all'elaborazione dati in tempo reale
SFMTA, con Talend e GeoSpatial Integration for Talend, elabora attualmente i dati in base alla Mobility Data Specification (MDS) per e-scooter, biciclette e ciclomotori e genera o elabora informazioni su percorsi di viaggio, disponibilità e modelli di utilizzo. I dati finali sono resi disponibili ad altre applicazioni tramite due interfacce. La quantità di dati da elaborare è enorme: vengono effettuate circa 100.000 transazioni al giorno. L'SFMTA prevede che in futuro il numero di transazioni salirà a 200.000 al giorno e quindi per il futuro è previsto l'utilizzo dei dati in modalità real-time. A seconda del servizio, i tempi di risposta richiesti vanno da meno di un secondo a 30 secondi. Con GeoSpatial Integration for Talend, la San Francisco Transportation Agency è ben preparata per questo.
Scarica gratuitamente GeoSpatial Integration for Talend
Il plug-in Geospatial Integration for Talend per Talend Open Studio può essere scaricato gratuitamente dal sito web di Disy (www.disy.net/spatial-etl). Per i clienti Talend che necessitano di supporto professionale, una versione commerciale è disponibile come abbonamento o bundle con una delle piattaforme Talend.
Copia qui lo "short link" a questo articolo
www.geoforall.it/{sh404sef_shurl}
