Un trabajo publicado recientemente en Computer Networks por Álvaro López Raventós y Boris Bellalta, presenta un estudio sobre la aplicación de técnicas de aprendizaje autónomo para optimizar la configuración de redes WiFi formadas por múltiples puntos de acceso. Los autores son miembros del grupo de investigación Wireless Networking del Departamento de Tecnologías de la Información y las Comunicaciones (DTIC) de la UPF.

Más concretamente, el estudio se realiza para dos procesos diferentes que se ejecutan simultáneamente en la red: el de selección de canal por parte de los puntos de acceso, i el de asociación entre usuarios y puntos de acceso. Uno de los puntos relevantes del estudio de situaciones no estacionarias con el objetivo de entender cómo estas técnicas de aprendizaje autónomo responden a los cambios.

Uno de los puntos relevantes del estudio de situaciones no estacionarias con el objetivo de entender cómo estas técnicas de aprendizaje autónomo responden a los cambios

"Mediante técnicas de Reinforcement Learning, una de las múltiples ramas que tiene el Machine Learning, dotamos tanto a los puntos de acceso como a los usuarios con las herramientas necesarias para hacer un aprendizaje autónomo, el cual se basa en aprender de manera secuencial cuál de las posibles acciones devuelve el mejor resultado", explican López y Bellalta. "Con este fin, utilizamos un algoritmo llamado Thompson Sampling que realiza una exploración inteligente de las diferentes acciones posibles hasta encontrar aquella que da un mejor resultado", añaden.

El artículo presenta un marco complejo donde se definen dos tipos de "jugadores" (puntos de acceso y usuarios), los cuales, dentro de un mismo entorno, interactúan entre ellos por el mismo conjunto de recursos. Como se explica en este trabajo, este tipo de entornos se pueden considerar como "adversarios", ya que las acciones tomadas por un jugador están influenciadas por las acciones que otros jugadores han tomado con anterioridad.

En cuanto a los puntos de acceso, cada acción corresponde a un canal frecuencial. Mientras que para los usuarios cada acción corresponderá a un punto de acceso donde asociarse. Consecuentemente, el objetivo de los puntos de acceso será encontrar el canal más vacío, mientras que para los usuarios su objetivo será encontrar aquel punto de acceso que esté más libre.

Las técnicas de aprendizaje autónomo pueden repercutir en cambiar como hemos hecho las cosas hasta ahora

Por último, los autores exponen los resultados obtenidos para diferentes escenarios, considerando tanto entornos estacionarios como no estacionarios, y por diferentes requerimientos de la red (incremento del tráfico, número de puntos de acceso, número de usuarios). "Como hemos podido observar, los resultados cuando aplicamos los mecanismos de aprendizaje autónomo mejoran significativamente en referencia a los obtenidos cuando aplicábamos una preconfiguración estándar, pero sobre todo muestran la capacidad de adaptación de la red a situaciones complejas", resaltan López y Bellalta.

Un aspecto que los autores destacan es que con el uso de estos mecanismos de aprendizaje autónomo se puede conseguir el mismo nivel de prestaciones de la red con muchos menos recursos de los que serían necesarios de otro modo. Esto tiene repercusiones obviamente en el coste y mantenimiento de la red, y es un nuevo ejemplo tangible donde se muestra cómo el uso de técnicas de aprendizaje autónomo pueden repercutir en cambiar como hemos hecho las cosas hasta ahora.

Artículo de referencia:

Álvaro López Raventós, Boris Bellalta (2020), "Concurrent Decentralized Channel Allocation and Access Point Selection using Multi-Armed Bandits in multi BSS WLANs", Computer Networks, publicado en edición avanzada 24 de junio https://doi.org/10.1016/j.comnet.2020.107381