Dispositivo permite procesar gráficos masivos en computadora personal

El análisis de gráficos es útil para una amplia gama de aplicaciones, por lo que investigadores del Instituto Tecnológico de Massachusetts (MIT) crearon un dispositivo que usa almacenamiento flash barato para procesar gráficos masivos a través de una computadora personal.

El almacenamiento flash suele ser mucho más lento que una memoria de acceso aleatorio dinámico (DRAM) al procesar los datos del gráfico, por lo que los especialistas desarrollaron un aparato que consiste en un conjunto de chips flash y un acelerador de cómputo que ayuda a que el flash logre un rendimiento similar al de DRAM.

El dispositivo es un algoritmo novedoso que ordena todas las solicitudes de acceso para datos de gráficos en un orden secuencial, al que flash puede acceder rápida y fácilmente; también combina algunas solicitudes para reducir la sobrecarga, el tiempo de cálculo combinado, la memoria, el ancho de banda y otros recursos informáticos de clasificación.

Los investigadores utilizaron el dispositivo contra varios sistemas tradicionales de alto rendimiento que procesan varios gráficos grandes, incluido el masivo Web Data Commons Hyperlink Graph, que tiene tres mil 500 millones de nodos y 128 mil millones de líneas de conexión.

Para procesar ese gráfico, los sistemas tradicionales requerían un servidor que costaba miles de dólares y contenía 128 gigabytes de DRAM, por lo que los especialistas lograron el mismo rendimiento al conectar dos de sus dispositivos (un total de 1 gigabyte de DRAM y 1 terabyte de flash) en una computadora de escritorio.

Además, al combinar varios dispositivos, podrían procesar gráficos masivos, hasta cuatro mil millones de nodos y 128 mil millones de líneas de conexión, que ningún otro sistema podría manejar en el servidor de 128 gigabytes, informó en un comunicado el MIT.

El primer autor del estudio, Sang-Woo Jun, comentó que lo importante es que se puede mantener el rendimiento con máquinas mucho más pequeñas, más frescas, como en el caso de la temperatura y el consumo de energía.

El dispositivo podría usarse para reducir los costos y la energía asociados con el análisis de gráficos, e incluso mejorar el rendimiento, en una amplia gama de aplicaciones.

Los sistemas tradicionales almacenan todos los datos de gráficos en DRAM, lo que los hace rápidos en el procesamiento de los datos, pero también caros y hambrientos de poder.

Algunos sistemas descargan algo de almacenamiento de datos a la memoria flash, que es más barato pero más lento y menos eficiente, por lo que todavía requieren cantidades sustanciales de DRAM.

Por lo que el dispositivo de los investigadores funciona con lo que llaman un algoritmo de "sort-reduce", que resuelve un problema importante con el uso de la memoria flash como principal fuente de almacenamiento: los desechos.

Dicho algoritmo toma todas las solicitudes de acceso directo y las ordena en orden secuencial mediante identificadores, que muestran el destino de la solicitud, como agrupar todas las actualizaciones para el nodo A, todas para el nodo B, y así sucesivamente.

De esta manera, flash puede acceder a trozos del tamaño de kilobytes de miles de solicitudes a la vez, lo que lo hace mucho más eficiente y reduce la información total que se necesitaba actualizar en un 90 por ciento.

Sin embargo, el algoritmo de sort-reduce requiere una gran cantidad de cálculos para una computadora host, por lo que los investigadores implementaron un acelerador personalizado en el dispositivo.

El acelerador actúa como un punto medio entre el host y los chips flash, ejecutando todos los cálculos para el algoritmo, esto descarga tanta potencia al acelerador que el host puede ser una PC o computadora portátil de baja potencia que maneja los datos clasificados y ejecuta otras tareas menores.

La profesora de informática de la Universidad de Texas, Keshav Pingali, destacó que el trabajo del MIT muestra una nueva forma de realizar análisis en gráficos muy grandes.

“Su trabajo explota la memoria flash para almacenar los gráficos y las 'matrices de compuertas programables en campo' (circuitos integrados personalizados) de una manera ingeniosa para realizar tanto el análisis como la que se requiere el procesamiento de datos para usar la memoria flash de manera efectiva”.

La investigadora añadió que a la larga, lo anterior puede llevar a que los sistemas puedan procesar grandes cantidades de datos de manera eficiente en computadoras portátiles o de escritorio, lo que revolucionará la forma en que hacemos el procesamiento de grandes volúmenes de datos.