Aller au contenu | Aller au menu | Aller à la recherche

Tag - datacenter

Fil des billets - Fil des commentaires

lundi 26 avril 2010

Twitter et ses problèmes exponentiels

Par Alexandre Modesto le lundi 26 avril 2010, 09:48 - réseau

Je vous laisse regarder ces slides, avec les différentes technologies que twitter utilise. C'est très intéressant notamment sur les outils utilisés.

Chirp 2010: Scaling Twitter
View more presentations from John Adams.

Les problèmes de Twitter sont sans doute semblables à ceux de Google dans la période 1998/2001.

Quelques notes en rapport aux slides :

  • 1358 % d'évolution sur le trafic du site twitter
  • Slide 9 : de 600 à 1000 Twitts par seconde soit 55 Millions par jour

Je vous laisse juste comparer aux SMS chez les opérateurs et je vous laisse immaginer combien d'argent il se sont mis dans les poches.. parce que là nous avons une énorme différence avec les SMS. Tous les messages sur twitter sont indexés dans une base de données et les utilisateurs recherchent dedans.

Pour rappel : Twitter est un service gratuit

Comment twitter fait pour avoir un service toujours aussi performant ?

Très simplement via ce qu'ils appellent "science" et la communauté du logiciel libre est un élément majeur de leur réussite, via des logiciels tels que :

  • rrdtool
  • ganglia
  • Linux
  • Ruby
  • Ha-Proxy
  • Mysql
  • Ruby

Une fois ce mélange de diverses briques assemblées cela donne un service.

Les équipes techniques de twitter feront ensuite des mesures en permance sur tous les éléments de l'infrastructure :

  • Latence http
  • Expérience utilisateur (lent, rapide.. délais..)
  • Latence réseau
  • Charge de l'infrastructure

Tout cela permets à twitter de faire du "capacity planning", pour faire simple :

De prévoir l'ajout de serveur et donc :

  • D'espace physique
  • De puissance électrique
  • D'argent (pour financer le fonctionnement de l'ensemble)

C'est pour ça que Twitter prévois de basculer dans leur propre datacenter, afin de pouvoir grossir encore un plus vite. Nous sommes dans une logique Google/Yahoo/Amazon.

Les étapes futures de twitter seront d'augmenter la disponibilité par la création de plusieurs autres datacenter à travers le monde, pour réduire la latence vers les utilisateurs. Notamment à cause de la latence physique des réseaux fibre optique, la lumière ne va qu'a 300 000 Km/s et cela induit de la latence. Par exemple : USA <> France, c'est 100 à 200 ms impossible à réduire.

Twitter deploiera ensuite un CDN afin de réduire encore la latence vers les utilisateurs.

C'est le cas de Facebook/Google.

aucun rétrolien

lundi 8 juin 2009

Fermeture d'une usine d'aluminium

Par Alexandre Modesto le lundi 8 juin 2009, 13:25 - Saint Jean de Maurienne

Je vous invite à regarder cette vidéo :

http://videos.oregonlive.com/oregon...

Et cet article :

http://www.oregonlive.com/business/...

Extraits :

"Little did I know, 50 years later, I'd be the one tearing it down," says May, who spent his career here, mostly as environmental manager.

During boom times, this expanse of long, skinny buildings almost a million square feet hummed 24 hours a day, seven days a week, run by 500 workers who bought houses, raised children, shopped at the local hardware store and ate at local restaurants.

The most visible symbol of change, a 3-year-old Google data center, gleams in the background of the aluminum plant.

Golden Northwest Aluminum closed the smelter in 2000, crippled by rising power costs, and began demolition in 2007. All that's left is a few mounds of rebar and steel, waiting to be hauled. Resident cats outnumber May and his crew. And this time, everybody knows aluminum jobs won't return.

And, within a few months, the old aluminum property can be marketed to industrial companies. At 240 acres, it will be one of Oregon's largest available sites.

The Dalles has always been a crossroads.

But upheaval has dogged The Dalles. When the aluminum plant closed for two years in the mid-1980s, storefronts emptied and for-sale signs sprouted. Dan Durow, the community development director, calls that era "the economic hell." When the smelter got going again, so did The Dalles -- until aluminum died for good.

During past recessions, aluminum workers without high school diplomas lost $50,000-a-year jobs, says employment specialist Eric Proffitt, who grew up in The Dalles. Some were former classmates, with no way to replace their income.

"There is no aluminum industry to go back to," Proffitt says. "So where else can I transfer my skills?"

When Google discovered The Dalles several years ago drawn by reliable power and fiber connectivity, available land and a cooperative community people were quick to paint the company as savior or villain.

Hiring locally is a priority, says data center manager Dave Karlson, former technology director for the local education service district.

aucun rétrolien

mercredi 22 avril 2009

Datacenter Google : Nouvelle photo

Par Alexandre Modesto le mercredi 22 avril 2009, 10:14 - Datacenter

Nouvelle photo d'un datacenter Google :

Voir la photo

Merci à Robert Viseur qui a trouvé le lien

Vu du ciel :

C'est le Datacenter de pryor oklahoma, avec la recette habituelle :

  • De l'eau a coté
  • Un barrage pour de l'élec low cost
  • Des câbles optiques (sans doute dans l'eau du ruisseau)

NB : Dans la zone, il semble aussi qu'il y'ait des datacenter de poulets

un commentaire aucun rétrolien

mercredi 8 avril 2009

Visite vidéo d'un datacenter Google (haute qualité)

Par Alexandre Modesto le mercredi 8 avril 2009, 12:45 - google

Voici la vidéo haute qualité, sur la visite d'un Datacenter Google :


Google container data center tour

aucun rétrolien

dimanche 15 mars 2009

Etude sur le Datacenter Google de Mons (Numéro 1)

Par Alexandre Modesto le dimanche 15 mars 2009, 22:34 - Datacenter

Il y'a peu, J'ai découvert le blog de Robert Viseur

Et nous avons une passion en commun, les datacenter google :)

Entrons dans le vif du sujet :

A partir de ce billet là : http://www.robertviseur.be/news-200... et de celui-ci http://www.robertviseur.be/news-200..., on peut donc facilement trouver l'emplacement exact du datacenter Google de Mons.

C'est donc ici :


Agrandir le plan

Si on se fie a l'echelle, la parcelle fait :

Si on se fie à cette image, l'orientation du datacenter est coté "terre". Coté canal, c'est la station de pompage de l'eau.

Ensuite, passons aux mesures des salles, toujours grâce à la même carte et google maps, j'ai supperposé les images. Voilà ce que ça donne :

L'éstimation sur la largeur de la salle du bas :

  • Largeur : environ 28 mètres
  • Longueur : environ 155 mètres

Soit une surface d'environ 4200 mètres carré

Google fait du standard ?

Le datcenter de The Dalles [1] semble faire ces dimensions sur la largeur, voir la photo http://www.flickr.com/photos/roofto...

Et une autre remarque : Il y'a toujours deux salles séparées, voir la photo de the Dalles, je pense qu'ils ont toujours en tête.. d'avoir tout en double pour une meilleure redondance.

Autre remarque qui me viens a l'ésprit : beaucoup moins de tour de refroidissement à The Dalles qu'a Mons. Différents types de datacenter ? Pas sur.. A mon avis un problème de propagation de la vitesse de la lumière et de densité d'utilisateurs. The Dalles, c'est perdu au coeur des USA, Mons c'est au coeur de l'europe.. et donc ça réponds à plein de monde. Je vous dis ça, parce que cette problématique est souvent évoqué sur les mailing liste d'OVH et leurs problématiques de latence réseau.

Revenons à notre sujet, les dimenssions d'après la photo : http://www.robertviseur.be/news-pic... et la photo http://www.robertviseur.be/news-pic..... allez on se dit : 5 mètres de hauteur

Soit environ 21 000 mètres cubes

Mais est-ce vraiment utile de connaître le volume du bâtiment ? Car Google fait du free-cooling [2]

Bon maintenant, les questions intéressantes et compliquées :

Dans 4200 mètres carrés (fois 2)

Combien est-ce que l'on mets de :

  • serveurs
  • de coeurs de processeurs
  • de disques dur ou SSD
  • de switchs
  • d'onduleurs

La suite dans un prochain billet :)

Notes

[1] Ville Jumelée avec Saint Jean de Maurienne ? :)

[2] http://www.google.com/corporate/green/datacenters/step2.html

2 commentaires aucun rétrolien