Elaborazione a cura del progetto Dreams4cars.

Innovazione

L’auto che impara a guidare sognando

Intervista a Mauro Da Lio, Principal Investigator del progetto europeo Dreams4Cars

30 luglio 2020
Versione stampabile
di Marinella Daidone
Lavora presso l'Ufficio Web, social media e produzione video dell'Università di Trento.

La fantascienza ci ha abituati a robot che imparano da soli, tanto da riuscire a superare le capacità dell’essere umano. Oggi questi scenari di un lontano futuro sembrano avvicinarsi alla realtà. Nel Dipartimento di Ingegneria Industriale (DII) del nostro Ateneo è stato sviluppato un progetto di veicolo a guida autonoma con caratteristiche molto particolari. La ricerca ha avuto risonanza anche sui media nazionali, ne hanno parlato fra gli altri Repubblica e Corriere della Sera.

Mauro Da Lio, professore ordinario del DII, è il Principal Investigator del progetto.

Professor Da Lio, quali sono le caratteristiche del prototipo di auto a guida autonoma che avete realizzato e a cosa vi siete ispirati?

Questo prototipo è il risultato di una serie di progetti di ricerca europei, tra cui l’ultimo che ho coordinato che si chiama Dreams4Cars. Abbiamo sviluppato un sistema cognitivo artificiale in modo che un robot, in questo caso un veicolo, sia in grado di imparare dalla sua stessa esperienza, rielaborandola. 

Come per gli esseri umani, anche per i robot i sistemi di apprendimento possono essere di diversa natura.

Un modo diretto per imparare a fare scelte convenienti è quello “per tentativi”, ossia provare ad agire per poi vedere gli effetti delle azioni. Se i tentativi hanno successo si rafforza la convinzione che quella strategia sia corretta.

C’è però un altro modo, più riflessivo, che ci è stato ispirato da alcuni processi che si suppone avvengano durante il sonno. Pensiamo a un bambino che impara ad andare in bicicletta. All’inizio si regge in equilibrio solo perché il papà o la mamma lo sorreggono; non sa controllare la bicicletta, però raccoglie informazioni che formano un modello della dinamica della bicicletta e di notte riesce a “sognare”, cioè a rielaborare il modello che si è costruito. Il bambino il giorno dopo riesce a stare in equilibrio e, raccogliendo altre informazioni, il giorno successivo sarà capace di fare anche le curve.

Noi abbiamo scelto questa strada: non si va avanti per tentativi, ma si manipola un modello che prima si è costruito. Il motivo di adottare questa modalità è che agire nel mondo reale potrebbe essere estremamente pericoloso: pensiamo ad esempio alla difficoltà di gestire una situazione come l’incrocio con un pedone provando diverse strategie. C’è un’esigenza che è quella di poter pianificare azioni in un ambiente sicuro e poterne prevedere le conseguenze senza doverle sperimentare nella realtà.

Come funziona questo meccanismo di apprendimento?

Il veicolo, mentre opera nel mondo reale, raccoglie informazioni relativamente alle azioni comandate e alle conseguenze che ne derivano (l’auto inizialmente verrà guidata da un essere umano e solo dopo si passa alla guida autonoma). Con le informazioni così raccolte il robot costruisce un modello predittivo del mondo (in questo caso inizialmente della dinamica del veicolo) e, una volta che si dispone di questo modello, il veicolo potrà imparare a sviluppare delle strategie per agire nel mondo e/o delle strategie di controllo. Questo avviene quando l’auto è ferma, l’equivalente dello stato del sogno o del sonno (sonno/sogno dipende da quale livello di controllo stiamo considerando).

Non si procede quindi per tentativi: una volta che si dispone di un modello predittivo ci sono sistemi molto efficienti per invertirlo, cioè per sintetizzare strategie che conseguono obiettivi specifici (modelli inversi). Il vantaggio è che si giunge direttamente alla strategia di azione, senza ad esempio dover sognare 500 volte come affrontare un pedone sulla strada. Si riesce per esempio ad invertire il modello dinamico dell’automobile e questo è molto più efficiente rispetto a un semplice approccio di controllo a tentativi.

Noi abbiamo ricercato questo meccanismo di apprendimento in due fasi e lo abbiamo applicato alla guida autonoma, che ha una serie di problematiche relative alla sicurezza e all’efficienza.

Abbiamo dimostrato questa tecnologia al livello 6 della scala di maturità tecnologica o TRL (Technology Readiness Level) in un prototipo di laboratorio perfettamente funzionante. Quello che manca sono le fasi di ingegnerizzazione, industrializzazione e commercializzazione, ossia le fasi che vanno da 7 a 9, dove 9 è il livello massimo e si ha quando il prodotto è sul mercato.

Lei ha coordinato il progetto Dreams4Cars che ha visto UniTrento come capolista. Qual è l’apporto specifico dato al progetto dal gruppo di lavoro dell’Università di Trento?

Il progetto, che si è appena concluso, è stato finanziato dall’Unione europea nell’ambito del programma Horizon 2020. È stato portato avanti da 7 partner con competenze differenti, tra cui: il Centro Ricerche Fiat di Torino, come costruttore di veicoli; un centro di ricerca tedesco sull’intelligenza artificiale il DFKI (Deutsches Forschungszentrum für Künstliche Intelligenz); due gruppi di ricerca inglesi di cui uno della Middlesex University London più esperto sugli aspetti di logica e l’altro della University of Sheffield più specializzato nelle neuroscienze; un partner di supporto HC (Heich Consult) per tutte le attività di project management e dissemination. Infine, per avere un’ispirazione dalla biologia, abbiamo coinvolto un gruppo di ricerca svedese della University of Skövde che si occupa di aspetti cognitivi. Questo gruppo fa parte della scuola che vede il pensiero e il sogno come simulazione di percezioni e azioni e ha sviluppato una teoria della simulazione e della cognizione che ha contribuito all’impostazione ispirata biologicamente per l’implementazione robotica del veicolo.

Il contributo di Trento è stato centrale: non solo in quanto coordinatori, ma anche perché l’agente di guida e l’impostazione generale venivano da progetti precedenti, sviluppati nell’ambito dei sistemi intelligenti di guida. Il software e la maggior parte dell’architettura dell’agente sono stati di fatto sviluppati a Trento.

Ora c’è una chance ulteriore. Il cervello artificiale di Dreams4Cars è stato ammesso al programma europeo IP Booster. Ce ne può parlare?

IP Booster è un programma europeo che fornisce in questo caso gratuitamente consulenza professionale e specializzata sulla proprietà intellettuale per sviluppare le migliori strategie di valorizzazione delle tecnologie. Nel presentare la candidatura siamo stati assistiti dalla Divisione Supporto Ricerca scientifica e Trasferimento tecnologico dell’Ateneo e dalla Fondazione HIT - Hub Innovazione Trentino.

I servizi avanzati per l’analisi della proprietà intellettuale offerti dalla Commissione europea tramite il progetto IP Booster sono finalizzati all’esplorazione del mercato potenziale per il software e i metodi dell'agente che imita il comportamento umano e alla valutazione del panorama competitivo.

In pratica abbiamo l’opportunità di far valutare gratuitamente da una società specializzata sia il posizionamento della tecnologia nel mercato, sia in che momento e con quali azioni preparatorie questa tecnologia possa dare origine a ulteriori passi verso lo sfruttamento industriale per attuare i livelli 7, 8 e 9 del TRL.

È pensabile il trasferimento di questa invenzione nel mercato automotive?

Non è facile ma è questo lo scopo. Il potenziale mercato dei veicoli a guida autonoma si evolve in modo estremamente rapido e con un gran numero di iniziative; la guida autonoma in sé è molto complessa e non è pensabile che una singola unità di ricerca o un’università o una start up – ce ne sono molte ad esempio nella Silicon Valley – possa mettere sul mercato un veicolo a guida autonoma dalla A alla Z.
L’entità dell’investimento è infatti enorme, si parla di miliardi di euro, perché si devono mettere sul mercato veicoli capaci di guidare miliardi di chilometri in perfetta sicurezza e occorre dimostrare che sono in grado di farlo. Google, per esempio, ha iniziato a sviluppare le auto a guida autonoma nel 2009 e ancora non sono una realtà.

Quello che invece si può fare, ed è stato lo scopo di Dreams4Cars, è introdurre metodi innovativi per lo sviluppo della guida autonoma e in prospettiva di altre applicazioni cognitivo-robotiche.

Nell’ambito del progetto c’è stata infatti una grossa attività per la valorizzazione dei risultati (exploitation plan), anche perché la Commissione europea desidera fortemente che le attività di ricerca abbiano una prospettiva a breve, medio o lungo termine di impatto industriale ed economico, oltre che scientifico. 

Allo stato attuale abbiamo una serie di risultati che stiamo pubblicando un po’ alla volta, anche dopo la fine del progetto. L’attività di pubblicazione è un’attività in cui si svela una parte dei risultati, ma si cerca anche di mantenere un controllo sulla proprietà intellettuale, necessario nel momento in cui queste scoperte da scientifiche dovessero diventare industriali. In questo siamo assistiti dalla nostra Divisione Supporto Ricerca scientifica e Trasferimento tecnologico. 

Quindi non stiamo sviluppando un’intera auto a guida autonoma. Il nostro è un lavoro di ricerca che consiste sostanzialmente nel fornire strumenti per aumentare il livello di autonomia dei veicoli, cioè nella capacità di sviluppare sistemi di guida autonoma più sicuri e ad un costo inferiore in termini di investimenti e di risorse umane necessarie. I risultati che abbiamo ottenuto ci sembrano molto incoraggianti.


The car that learns to drive while sleeping
An interview with Mauro Da Lio, Principal Investigator of the European project Dreams4Cars

by Marinella Daidone

Science fiction used to be about robots learning on their own and exceeding human abilities. Well, today this far future scenario is becoming a reality. A project for a particular automated guided vehicle was developed at the Department of Industrial Engineering (DII) of our University. The research attracted a lot of attention, including from national media outlets like Repubblica and Corriere della Sera.
Mauro Da Lio, professor at DII, is the Principal Investigator of the project.

Professor Da Lio, what are the features of the prototype of the self-driving vehicle that you developed and what inspired you?
This prototype is the result of a series of European research projects, including the last one, of which I was the coordinator, named Dreams4Cars. We developed an artificial cognitive system so that a robot, in this case a vehicle, can learn from its experience, by processing it. 

Robots may have different learning mechanisms, as it occurs in humans.

A quick way to learn to make the right choice is to proceed by trial and error, that is to try something and see if it works. If the attempt is successful, you become convinced that the strategy you chose is the right one.

But there is another way, a more reflective one, which takes inspiration from processes that take place while we are sleeping. Let's think of a child who is learning to ride a bike. At first, he is balanced because his parents are helping him; he has no control over the bicycle, but he is collecting information that will make up a model of bike dynamics and at night he will be able to "dream" about it, processing the model that he created. The day after, the child will learn to balance the bike and, collecting some more information, he will then learn to steer.

We have chosen this strategy: no trial and error, we adjust a model that we have created. The reason why we made this choice is that the trial and error mode can be very dangerous in the real world: how could you try different strategies at a crossroad with pedestrians? We needed to be able to plan actions in a safe environment and to predict possible outcomes without having to do it in the real world.

How does this learning mechanism work?

The vehicle collects information on the commands it received and their consequences while operating in the real world (the car is driven by a human pilot at first and then goes into automated mode). The robot uses this information to build a predictive model of the world (in this case, of the vehicle's dynamics), and once such model is available, the vehicle will learn to develop strategies to move around in the real world and/or other control mechanisms. This happens when the car is not moving, which corresponds to the sleeping or dreaming phase (sleeping or dreaming are different levels of control).
This is not a trial and error progression: once you have a predictive model there are many ways to turn it the other way around, i.e. to find strategies that aim at precise goals (inverted models). The advantage of this solution is that it directly offers an action strategy and, for example, there is no need to make 500 dreams of how to behave with pedestrians on the road. You can invert the dynamic model of the car for example and this is way more efficient than a trial and error process.

We have researched into this two-step learning mechanism and we applied it to autonomous driving, which poses problems in terms of safety and efficiency.

This technology reached level 6 on the TRL scale, the Technology Readiness Level, in a perfectly functioning prototype in a laboratory setting. The remaining phases, from 7 to 9, where 9 is the maximum level where a product is put on the market, require engineering, industrialization and commercial application.

You coordinated the Dreams4Cars project in which UniTrento was the leading institution. How has the research group of the University of Trento contributed to the project specifically?

This project, which has just come to an end, was funded by the European Union through Horizon 2020. It involved 7 partners with different tasks, among which were: Centro Ricerche Fiat in Torino, as a car manufacturer; DFKI - Deutsches Forschungszentrum für Künstliche Intelligenz, a German research centre focused on artificial intelligence; two English research groups, one centred on logics, at the Middlesex University London, while the other is specialized in neuroscience at the University of Sheffield; and one support partner, HC - Heich Consult, for project management and dissemination activities.

Finally, we also included a Swedish research group from the University of Skövde to consider cognitive aspects. This group, in particular, sees thinking and dreaming as a simulation of perceptions and actions, and developed a simulation theory of cognition that contributed to the biology-inspired methodology adopted for the robotic implementation of the vehicle.

The University of Trento played a key role: not only as coordinator but also because the driving agent and the main outlines of the project were derived from earlier projects that were developed in the area of autonomous driving systems. The software and most of the architecture of the driving agent were developed in Trento.

Now there is a chance to take the project one step further. The artificial brain of Dreams4Cars was included in the European project IP Booster. Can you tell us something about this?

IP Booster is a European programme that provides free professional advice on intellectual property matters to develop the best strategies to realise value from research results. The research team was supported in the application process by the Research support and technology transfer division of the University of Trento and by HIT - Hub Innovazione Trentino.

The advanced services for intellectual property strategy offered by the European Commission through IP Booster aim to explore the potential market for the software that mimics human behaviour and to assess the competition.

Basically, we have the opportunity to have our possible positioning on the market evaluated for free by a specialized company; they will also evaluate the right time and preparatory actions that are required to make the most of the economic exploitation of this technology to implement levels 7, 8 and 9 of the TRL.

Is it possible that this technology will be implemented in the automotive industry?

It is not easy but that is our goal. The potential market of self-driving vehicles is evolving very rapidly and through a variety of projects; autonomous drive per se is very complex and it is highly unlikely that a single research unit or a university or a start-up – there are many of these in the Silicon Valley for example – can put on the market a complete self-driving car, from A to Z.

That would require huge investments, billions of euro, because only perfectly safe vehicles that can run for billions of kilometres can be put on the market, and producers must demonstrate that they can do it. Google, for example, started to develop a self-driving car in 2009 and they are still working on it.
What we can do instead, and that is the goal of Dreams4Cars, is to adopt innovative methods to develop autonomous drive and, in the future, other cognitive robotic applications.

A considerable part of the project is focused on activities aimed at exploiting the results (exploitation plan), among other things because the European Commission wants research to have an industrial, economic and scientific impact at short, medium and long term. 

At the moment we have many research findings that we are releasing little by little, and this will continue even when the project will be over. Through publication we partially reveal our research findings, but we are also trying to maintain intellectual property rights, which are essential when these scientific discoveries are implemented in the industrial phase. The Research support and technology transfer division is helping us in this sense. 

So, we are not developing a full self-driving car. What we do is research work: in short, we provide tools to increase the level of autonomy of vehicles, that is the ability to develop safer self-driving systems at a lower cost in terms of necessary investments and human resources. The results we have achieved are very promising.

[Traduzione Paola Bonadiman]