Datacenter

Fil des billets

OVH transforme une usine Rio Tinto Alcan en Salle Serveur #Quebec #OVH #Beauharnois

L'entreprise OVH, transforme l'ancienne usine Rio Tinto Alcan de Beauharnois au Quebec en Salle Serveur, la plus grande salle serveur au monde.

360 000 Serveurs

  • 3 alimentations électriques.. dont une basée sur de l'hydroélectricité à proximité
Mais Tiens ! Ne serait-ce pas déjà quelquechose d'écrit ?

Faisons un saut dans le passé :

google master plan, Maurienne Valley Need YOU

23 Décembre 2005, un groupe de "geeks" Mauriennais, propos à Google, de s'installer a la place de l'usine Rio Tinto Alcan de Saint Jean de Maurienne.

Voilà un exemple de piste industrielle pour une réindustrialisation d'un site

OVH nous démontre par un exemple concrêt, qu'il est possible de transformer une usine en salle serveur

C'est un élément positif pour une transition numérique de l'emploi en Maurienne.

Mais pour pouvoir réaliser cela il faut :

  • Un débit abordable
  • Un coût d'accès abordable aux infrastructures optiques
Quelques images de l'usine transformée :

Facebook construit un datacenter en Suède à Luleå,, Analyse

L'info est tombée aujourd'hui : Facebook to build massive Arctic data centre in Sweden

Facebook a donc choisi la ville de Luleå en suède dans l'objectif premier de faire du Freecooling.

et pour consommer 120 Megawatts

C'est à dire de baisser au maximum son PUE et ne consommer que le strict minimum d'énergie pour refroidir les serveurs.

Second choix : Réduire sa facture d'électricité via la consommation d'hydroélectricité locale et pouvoir aussi faire de la communication sur une consommation d'énergie renouvelable.

subventions de l'état :

Le gouvernement suédois semble avoir offrert une aide de 100 Millions de dollars à Facebook : source

Car cela va créer 300 emplois locaux..

L'article est intéressant car il précise que c'est la plus grosse entreprise depuis l'aciérie Saab

Electricité :

Essayons de faire un petit topo de la production et de la consommation d'électricité dans la zone :

  • De la production éolienne
  • De l'hydroélectricité

Et des consommateurs :

  • Une aciérie electro-intensive.. tiens ça me rappelle Saint Jean de Maurienne The Dalles où Google s'est installé pour cause de proximité de barrage.

Le producteur local semble être : Luleå Energi ait divers projets de production d'énergie renouvelable.

Exemple de production, voici parc éolien devant l'aciérie Ssab

Ils précisent que cette ferme devrait produire 40 Gw/h soit un cinquième de la production de la ville de Luleå.

Dans cette infographie, Facebook résume le coté énergétique de son nouveau datacenter :

  • Freecooling
  • Utilisation de l'énergie hydroélectrique à 100% j'espère qu'ils n'auront jamais de maintenance à faire dans la centrale..
  • La température moyenne annuelle est de 1.3 °
  • L'industrie électro-intensive a crée les conditions pour l'installation d'un datacenter, ça me rappelle notre proposition de 2005
  • La Suède a très peu d'activité sismique.. les serveurs ne seront pas secoués, le barrage ne cassera pas.
  • Dernier point sur le GDP (Gross domestic product ?) et la production de Co2, facebook considère que la Suède est un bon élève.

La suède est politiquement, socialement stable depuis très longtemps..

Bref, tout ça pour dire que la suède est en endroit agréable où il est rentable d'investir dans un datacenter avec des coûts de fonctionnement prévisibles.

Communication Facebook

Comme à chaque fois..Facebook a commencé à faire de la communication autour de leur datacenter, voici les images du directeur du site :

Tom Furlong

Il semble que ce soit une grande nouvelle pour les élus locaux, il suffit de voir cet article : facebook's first european data centre in lulea, sweden

Elus locaux, le mode d'emploi pour attirer les entreprises

En 2005, nous avions proposé à Google de venir s'installer à la place de l'usine Rio Tinto Alcan

En 2011 quand je vois ce site internet : The Node Pole

Je me rends compte que nous n'étions absolument pas à coté de la plaque.. mais plutôt en avance de quelques années..

The Node Pole c'est quoi ?

C'est un organisme qui est là pour promouvoir le territoire :

  • Tarifs d'électricités les plus bas d'europe
  • Redondance du réseau électrique
  • 100 % d'énergie hydroélectrique locale
  • Air frais toute l'année (Freecooling)
  • Stabilité géographique et politique

La suède placée numéro un sur :

  • Préparation à l'utilisation des NTIC
  • Qualité du débit internet (Fibre optique de partout)
  • Nombre d'ordinateurs par habitants

Fibre optique :

  • 150 000 Km de réseaux

Electricité :

  • Développement important du réseau
  • Aucune panne importante depuis 1979

Quel est le message ?

Voici exactement ce qu'il faut faire pour attirer des entreprises du secteur web en recherche de datacenter.

Il faut communiquer simplement, rapidement.. sur les valeurs "industrielles" d'un territoire.

C'est une leçon de politique locale et d'attractivité d'un territoire, a quand la même chose en Maurienne ?

Conclusion :

Facebook est un industriel qui doit réduire le plus possible ses coûts de fonctionnement, surtout maintenant qu'il va approcher le milliard d'utilisateurs.

Sur la consommation électrique elle reste relativement énorme : 120 Megawatts

Pour faire quoi ?

Collecter des données privées et les commercialiser...

Espérons que ce qu'il reste de l'union européenne aille mettre son nez dans ce datacenter.. Le tribunal de Luleå va aussi recruter pas mal de monde..

Vidéos : Mise en route d'un supercalculateur en Suisse ( Swiss National Supercomputing Centre (CSCS))


[1]

Vidéos

Série de vidéos qui montrent l'assemblage du datacenter :

Mai 2009 :

Nouveau batiment :

Grue télescopique capable de soulever 1200 tonnes

La construction du nouveau bâtiment a nécessité de soulever des poutres de 50 tonnes qui font 35 mètres de long, c'est qu'on peut voir dans la vidéo ci-dessus

Quelques images ici : http://goo.gl/u5f2d

Notes

[1] source

10 pétaoctets chez Backblaze


[1]

Backblaze c'est quoi ?

C'est un service de sauvegarde en ligne

  • Logiciel installé sur le poste windows/mac
  • Sauvegarde en permanence
  • Snapshots sur les datas avec une fenêtre de plusieurs semaines

Comment ils stockent ces données ?

Via ce qu'ils appellent des "Pods" :

La documentation pour en construire un dans son garage et monter une start-up

(faut-il avoir du débit..)

Combien de données chez backblaze ?

Pas beaucoup finalement face aux géants (google & co)

Seulement 10 Peta octets (10 000 teraoctets) ou 10 000 disques dur

Voilà ce que ça donne :

  • 137 serveurs
  • 17 baies

Consommation électrique doit être assez ridicule.. face à la quantité de stockages.. par contre on ne parlera pas des problèmes qui pourraient arriver en cas de coupure élec.. ou pire.

Intéressant ce graph, car on voit comment backblaze a évolué au fil du temps :

  • Disques d'un 1To puis 1.5 To, puis 2 To

Tous ces disques sont low cost

Voir l'article sur le blog de backblaze

Besoin de débit

Mais il y'a un hic, surtout quand on fait des photos en RAW..

Il vous faut du débit en émission ! et non pas 1 Mb/s (ADSL 2+)

Parce qu'avec 1 Mb/s cela va vous coûter pas mal d'argent en électricité pour uploader vos xxx Go de photos :)

Notes

[1] Source

Tera 100, le datacenter du CEA

Quelques notes en rapport à TERA 100, qui est le cluster du CEA déstiné à effectuer les simulations d'essais nucléaire de la France.

  • 7 Megawatt de consommation élec
  • Puissance maxi : 10 Mw
  • puissance de calcul : 1,25 Petaflops
  • 17.480 processeurs
  • 140 000 cores intel (xeon 7500)
  • 300 To de mémoire vive
  • Système de fichier LUSTRE (Contributeur principal : Bull)
  • 20 Peta-octets d'espace disque
  • 220 armoires
  • 4300 Machines
  • 500 Gb/s vers le système de fichiers Lustre
  • 80 kilomètres de câbles
  • 25 kilomètres de câbles d'alimentation
  • Système de cooling par eau glacée
  • Volume sonore dans la salle : entre 77 et 93 décibels
  • Utilisation massive de logiciels libre : Linux, Open MPI, Lustre, Nagios

Cooling :

Le cooling est dans le sous plancher :

Deux circuits: Eau froide, eau chaude. L'échange se fait via des radiateurs et des ventilateurs qui récupèrent la chaleur des serveurs et récupèrent les calories.

Serveurs :

  • 32 cores par machine (32*4300 machines)

Réseau :

  • 51 Tb/s de bande passante

Schéma du backbone :

En vrac :

  • Le CEA envisage un cluster Exaflop d'ici 2019, un milliard de milliard de calculs par seconde
  • Le CEA étudie aussi la possibilité d'utiliser des GPU [1] Comme celui des chinois (actuellement N°1 au TOP500.org)

Ressources :

Notes

[1] https://computing.llnl.gov/linux/slurm/slurm_ug_2010/01-mh-cea.pdf

Datacenter Yahoo (suite)

Quelques informations supplémentaires sur le Datacenter Yahoo

Comme on peut voir sur le billet de Yahoo il s'agit d'une ventilation naturelle, ou un effet "poulailler industriel"

Ventilation naturelle, par effet de "poulailler industriel" :)

Voici la documentation sur la ventilation d'un poulallier industriel :

http://www.itavi.asso.fr/elevage/ba...

Il s'agit de l'effet de cheminée

L'effet de cheminée est la tendance d'un fluide qu'en s'échauffant s'éleve, en raison de la diminution de sa densité. On utilise ce phénomène thermique naturel pour évacuer la surchauffe de l'intérieur d'une construction en facilitant la sortie de l'air tiède ou chaud à travers des ouvrants en partie haute. Ce tirage thermique peut induire une dépression intérieure susceptible d'aspirer l'air plus frais du dehors à travers des ouvrants en partie basse.

Utilisation d'eau industrielle

La proximité des chutes du Niagara aide beaucoup à apporter de l'eau froide et sans doute un air plus humide dans la zone. Donc des possibilités d'évaporation et donc de refroidissement de l'air.

Présence d'eau à proximité

On voit bien sur la photo :

La présence d'un marais, est-ce pour bénéficier de la fraîcheur ?

Vu de l'intérieur du datacenter

Sur les photos flickr du Gouverneur qui est venu inaugurer le bâtiment, on voit très bien quelques détails :

  • Un toit sans isolation, voit directement la tôle

A ce propos.. une remarque sur l'albédo du bâtiment : Il est blanc il reflette donc bien la lumière et évitera une surchauffe de la structure.

  • Une seconde structure a l'intérieur, sans doute les allées chaudes avec les baies. C'est une sorte de seconde peau au bâtiment. C'est là dedans que se passe les échanges thermiques :


** Allées chaudes : l'air chaud se barre par en haut
** Air frais aspiré par le bas

Sur la vue :

On voit très bien au fond les ventilateurs, qui vont apporter l'air frais (freecooling)

  • Finitions du bâtiment..

Je voudrai pas faire le méticuleux.. mais c'est un peu fini a l'arrache : Sur cette photo on voit très bien la mousse expansée qui dépasse des poutres métalliques :)

Sur la même photo on voit bien le contour des bâtiments, avec un son en goudron.. albédo assez mauvais.. cela va faire un peu un capteur solaire..

On voit encore sur la photo, sur l'un des bâtiments qu'il y'a un paratonnerre.

Baies

Les baies semblent être faites sur mesure car elles sont directement raccordées a l'allée chaude. C'est sans doute du low cost.

Alimentation électriques

Je compte 16 baies et 32 arrivées pour PDU ,ce qui fait 2 alimentations par baie

C'est quoi ces serveurs ?

A mon avis il s'agit de serveurs de stockages, on voit bien plein de machines assez hautes 4U avec plein de disques et sans doute les têtes de disques sur le dessus, 5 à 6 serveurs.

Combien de stockage ?

10 serveurs de 12 disques, sans doute des 2 To sata
120 disques par baie
8 baies 
960 * 2 To : 1920 To soit 2 Peta

Ca pourrait être un stockage de fichiers pour un HDFS Hadoop.

Datacenter Google : Nouvelle photo

Nouvelle photo d'un datacenter Google :

Voir la photo

Merci à Robert Viseur qui a trouvé le lien

Vu du ciel :

C'est le Datacenter de pryor oklahoma, avec la recette habituelle :

  • De l'eau a coté
  • Un barrage pour de l'élec low cost
  • Des câbles optiques (sans doute dans l'eau du ruisseau)

NB : Dans la zone, il semble aussi qu'il y'ait des datacenter de poulets

Etude sur le Datacenter Google de Mons (Numéro 1)

Il y'a peu, J'ai découvert le blog de Robert Viseur

Et nous avons une passion en commun, les datacenter google :)

Entrons dans le vif du sujet :

A partir de ce billet là : http://www.robertviseur.be/news-200... et de celui-ci http://www.robertviseur.be/news-200..., on peut donc facilement trouver l'emplacement exact du datacenter Google de Mons.

C'est donc ici :


Agrandir le plan

Si on se fie a l'echelle, la parcelle fait :

Si on se fie à cette image, l'orientation du datacenter est coté "terre". Coté canal, c'est la station de pompage de l'eau.

Ensuite, passons aux mesures des salles, toujours grâce à la même carte et google maps, j'ai supperposé les images. Voilà ce que ça donne :

L'éstimation sur la largeur de la salle du bas :

  • Largeur : environ 28 mètres
  • Longueur : environ 155 mètres

Soit une surface d'environ 4200 mètres carré

Google fait du standard ?

Le datcenter de The Dalles [1] semble faire ces dimensions sur la largeur, voir la photo http://www.flickr.com/photos/roofto...

Et une autre remarque : Il y'a toujours deux salles séparées, voir la photo de the Dalles, je pense qu'ils ont toujours en tête.. d'avoir tout en double pour une meilleure redondance.

Autre remarque qui me viens a l'ésprit : beaucoup moins de tour de refroidissement à The Dalles qu'a Mons. Différents types de datacenter ? Pas sur.. A mon avis un problème de propagation de la vitesse de la lumière et de densité d'utilisateurs. The Dalles, c'est perdu au coeur des USA, Mons c'est au coeur de l'europe.. et donc ça réponds à plein de monde. Je vous dis ça, parce que cette problématique est souvent évoqué sur les mailing liste d'OVH et leurs problématiques de latence réseau.

Revenons à notre sujet, les dimenssions d'après la photo : http://www.robertviseur.be/news-pic... et la photo http://www.robertviseur.be/news-pic..... allez on se dit : 5 mètres de hauteur

Soit environ 21 000 mètres cubes

Mais est-ce vraiment utile de connaître le volume du bâtiment ? Car Google fait du free-cooling [2]

Bon maintenant, les questions intéressantes et compliquées :

Dans 4200 mètres carrés (fois 2)

Combien est-ce que l'on mets de :

  • serveurs
  • de coeurs de processeurs
  • de disques dur ou SSD
  • de switchs
  • d'onduleurs

La suite dans un prochain billet :)

Notes

[1] Ville Jumelée avec Saint Jean de Maurienne ? :)

[2] http://www.google.com/corporate/green/datacenters/step2.html