Google entrenó sus vehículos autónomos con algoritmos evolutivos

Waymo ha anunciado una asociación con DeepMind en el área de entrenamiento de algoritmos de redes neuronales para vehículos no tripulados. Ahora, para parte de los algoritmos, Waymo utiliza la técnica desarrollada en DeepMind, en la que los parámetros de aprendizaje se seleccionan en paralelo en una variedad de modelos que utilizan un método similar al desarrollo evolutivo de los organismos vivos, según recoge el autor original de este artículo Victor Roman en N+1 y comparte Paula Dumas para Periodista Digital

En el corazón del sistema de control de un vehículo no tripulado están los algoritmos de redes neuronales, cuya efectividad depende de la cantidad y calidad de los datos de entrenamiento. Es por esto que los principales desarrolladores, como Waymo, están probándolos, conduciendo millones de kilómetros en carreteras reales y miles de millones de kilómetros en simulaciones.




Sin embargo, los datos en sí son solo una parte de las condiciones necesarias para crear un automóvil que sea más seguro en las carreteras que las personas. Igualmente importante es el diseño de ciertos modelos de redes neuronales, así como la forma en que están entrenados.

Tipos de parámetros
Hay dos tipos de parámetros en los algoritmos de redes neuronales. Un tipo son los parámetros directos de la red neuronal, que cambian durante el entrenamiento, por ejemplo, el peso de las neuronas. Otro tipo es hiperparametros. Ellos son responsables de exactamente cómo se lleva a cabo el aprendizaje. Por ejemplo, uno de los hiperparámetros clave es la velocidad de aprendizaje, es decir, la rapidez con que la red neuronal ajusta sus parámetros durante el entrenamiento.

Al mismo tiempo, la velocidad de aprendizaje debe mantenerse en un nivel equilibrado, ya que una velocidad de aprendizaje demasiado baja llevará mucho tiempo y recursos de computación, y parámetros demasiado altos pueden cambiar drásticamente y, finalmente, no alcanzar un valor óptimo.

Por lo general, el proceso de selección de hiperparámetros es semiautomático. Durante este, muchos modelos de redes neuronales se entrenan en paralelo y los hiperparámetros para cada uno de ellos se eligen al azar, después de lo cual los modelos mejor entrenados “ganan”. En 2017, los expertos de DeepMind (que, como Waymo son parte de Google) ofrecieron un método de entrenamiento significativamente mejorado, que ahora se usa para entrenar algoritmos de vehículos autónomos.

Imitando la evolución real
El método puede ser representado como una evolución. Inicialmente, los modelos comienzan el aprendizaje paralelo con un conjunto aleatorio de hiperparámetros. Después de poco tiempo, los peores modelos de la "población" son reemplazados por una nueva generación: copias de los mejores modelos con hiperparámetros de entrenamiento ligeramente modificados. En este caso, las copias heredan completamente el estado del modelo principal, por lo que no tienen que volver a entrenarse "desde cero" y gastar recursos en él.

Dado que algunos hiperparámetros pueden no proporcionar un buen resultado final rápidamente, los investigadores implementaron una partición de toda la "población" en "subpoblaciones" aisladas, compitiendo solo entre ellos al igual que la evolución real tiene lugar en las islas. Además, durante cada segmento de entrenamiento, los modelos no están entrenados en aislamiento completo, sino que pueden "asomarse" a los hiper-parámetros de modelos más exitosos.

Waymo probó el método de entrenamiento en un algoritmo que resalta áreas con peatones, ciclistas y motociclistas. El algoritmo entrenado por este método finalmente tuvo una tasa de falsos positivos un 24% más baja, en la cual se reconoce el objetivo donde realmente no existe. En este caso, la capacitación tomó la mitad de los recursos computacionales.

A principios de año, el Departamento de Vehículos Motorizados del Estado de California publicó estadísticas anuales sobre la frecuencia de las intervenciones de los ingenieros de pruebas en vehículos no tripulados cuando se probaron en las calles. El líder en este indicador, como en el año pasado, fue exactamente Waymo. Sus autos pasan una media de casi 18 mil kilómetros sin necesidad de intervención.