Après les six premiers mois d'existence du blog Cyberland, j'ai l'honneur et le plaisir d’accueillir son premier rédacteur invité, Monsieur Jean Paul Baquiast pour une réflexion sur les supports de stockage Big Data et les mémoires flash.

On peut retrouver Jean-Paul Baquiast

Sur le site Automates Intelligents :

http://www.automatesintelligents.com/

Sur le site Admiroutes :

http://www.admiroutes.asso.fr/

Remplacer les disques dans les serveurs de Big data par des mémoires flash
Jean-Paul Baquiast 19/02/2014

Nous avions précédemment montré comment la substitution de mémoires dites flash aux mémoires traditionnelles dans les différents matériels portables avait considérablement accru leurs capacités de stockage, leur fiabilité, leur portabilité, tout en réduisant leurs coûts.(cf notre article« La spintronique dans tous ses états ».). Par ailleurs les temps d'accès sont considérablement réduits et le contenu des mémoires ne s'efface pas quand l'appareil est éteint.

Les mémoires flash exploitent des propriétés quantiques de la matière, comme l'indique l'article. Mais pourquoi n'ont-elles pas été utilisées plus tôt pour la mémorisation des énormes quantités de données dans les grands Data Center, notamment ceux de la NSA ou de Google? Outre leurs coûts en matériel, la complexité croissante des logiciels permettant de les exploiter rapidement, ces centres consomment des quantités considérables d'électricité et d'eau. Si bien que les Démocrates de l'Utah ont menacé de couper l'eau au centre de la NSA à Bluffdale, pour la forcer à limiter ses intrusions dans les fichiers privés. C'est que manquaient encore des idées ingénieuses pour les exploiter à grande échelle.

Ceci ne devrait plus être le cas. Des chercheurs du MIT viennent de présenter àl'International Symposium on Field-Programmable Gate Arrays à Monterey, Californie, de nouveaux procédés de stockage utilisant des mémoires flash, afin de gérer les Big data. Les données peuvent être accédées au hasard (sans programmation préalable) avec des temps de réponse réduits de mille fois, par rapport aux temps actuels de 12 millisecondes déjà obtenus sur les disques durs traditionnels. De plus les contenus ne sont pas volatils.

BlueDBM top level system diagram: multiple storage nodes are connected using high speed serial links, forming an inter-controller network (credit: Sang-Woo Jun et al.)

La solution proposée, nommée Blue Database Machine (Blue DBM), connecte un certain nombre de mémoires flash à un field-programmable gate array (FPGA), autrement dit un circuit logique programmable, ou réseau logique programmable, Il s'agit d'un circuit intégré logique qui peut être reprogrammé après sa fabrication. Ces FGPA sont intégrés à des puces FGPA afin de créer des noeuds-relais individuels afin d'accomplir des opérations sans déplacer les données. Ces puces elles-mêmes peuvent être connectées à un réseau de haute performance permettant les calculs en série. Il en résulte que les informations individuelles présentes dans chacun de ces noeuds peuvent être accédées avec un temps de réponse de quelques nanosecondes.

Enfin, avec de multiples noeuds, il est possible d'obtenir la même largeur de bande et les mêmes performances que celles fournies par des centres de données classiques bien plus coûteux. Les chercheurs construisent actuellement un réseau prototype de 16 nœuds, chaque noeud pouvant traiter 3 gigabits par seconde, avec une capacité de 16 à 32 terabits. Des applications pour la gestion des Big data sont par ailleurs en cours de réalisation. Quelle que soit l'importance des bases, les temps de réponse devraient être si courts que le système global paraîtra réagir en temps réels. Des chercheurs de l'université de Washington sont même allés jusqu'à envisager une « gestion des particules de l'univers » afin notamment se simuler leurs interactions à l'échelle cosmologique.

Ce pas en avant considérable, s'il se confirme, montre que les différents progrès techniques repoussent de plus en plus les limites fixées par l'historique Loi de Moore. Les applications scientifiques civiles seront très nombreuses,dès lors que de vastes bases de données doivent être manipulées. Citons en particulier la réalisation d'un cerveau artificiel, le grand enjeu des prochaines années. Il montre aussi, hélas pour l'Europe, que les capacités d'innovation du complexe scientifico-industriel américain (pour ne pas parler de militaro-scientifico-industriel), ne cessent de se développer, quelle que soit la crise économique subie par les Etats-Unis.

Comme on le devine, les services qui tels la NSA ou la CIA exploitent les grands Data Centers, associés à des géants américains du web tels que Google ou Facebook, se verront considérablement encouragés à continuer. Menacer de leur couper le compteur d'eau ne pourra plus leur faire peur.

Référence
http://web.mit.edu/newsoffice/2014/storage-system-for-big-data-dramatically-speeds-access-to-information-0131.html