Mot-clé - photos

Fil des billets

Facebook et le stockage des photos


[1]


Facebook et le stockage des photos...

Je suis tombé sur ces slides :

Quelques chiffres :

  • 65 Milliards de photos
  • 260 Milliards images (icones, vignettes & co)
  • 20 Petaoctets de stockage : 20 000 disques dur de 1To
  • 1 Milliard de photos envoyées par semaine soit 60 Tera octets
  • 'Serveurs web qui distribuent' : 1 Million d'images par seconde... (Merci Varnish)

Soit environ : 3.1536 × 10^13 photos distribuées par an... (sans compter le facteur d'augmentation..)

Utilisation d'un CDN :

Facebook utilise Akamai en tant que CDN, le pourcentage de HIT (fichiers en cache dans le CDN est uniquement de 80%) c'est à dire que Facebook prends : 200 000 requêtes par seconde pour distribuer des images.

Vous allez me dire que c'est énorme.. mais à vrai dire tout ça pourrait tenir sur uniquement un seul serveur Varnish !

Quand on voit le dernier record sur un seul serveur :

La distribution des images Facebook.. pourraient potentiellement tenir sur une seule machine.. :) Mais ce n'est pas le cas, parce qu'il faut distribuer ce contenu à travers des millions de connexion TCP et garantir une haute dispo, palier aux probs matériel etc... c'est sans doute une grosse population de serveurs varnish qui distribuent le contenu ! :)

On apprends aussi qu'il y'a beaucoup d'accès à du contenu ancien (anciennes photos etc..) les gens qui utilisent facebook crawlent toutes les photos..

Mise à la poubelle de NFS

Pour distribuer ces photos, facebook utilise des serveurs web qui eux même vont chercher le contenu à travers le réseau sur des serveurs de stockage. Avant Facebook utilisait NFS, mais clairement ce système de fichier réseau n'est pas fait pour faire beaucoup d'entrées/sorties par seconde.

Surtout quand on voit la configuration des machines ..

  • 12 disques 1 To en raid-6 (on peut tolérer deux pannes de disque)

Il s'agit des configuration des nouvelles, mais les anciennes devaient ressembler à ça..

Les limitations de NFS sont :

  • Trop peu d'I/O par seconde
  • Les metadata du système de fichier XFS trop sollicitées pour arriver à tenir la charge

Mise en place de Haystack :

  • Serveurs avec des blocs de 10 To dans un système de fichiers XFS (Matériel : 12 disques 1 To Raid-6)
  • Système de fichiers organisé comme un log, dans lequel on ne fait qu'ajouter des objets
  • 100 conteneurs haystack par par machine, chacun faisant 100 Go
  • Ce système de fichier "log" a aussi un système de metadonnées rapide (pour s'y retrouver)

Serveur web haute vitesse : Haystack Store : photo server

Pour distribuer les photos aux internautes il faut un serveur web, il s'agit de :

Haystack photo server

  • Récupère les requêtes HTTP et les transforment en opérations haystack, le fichier qu'on veut doit être codé dans la requête
  • Toutes les photos stockées sur le serveur sont stockées dans un index (sans doute en mémoire) 32 octets par photo contre 600 pour un inode classique)
  • 5 Go d'index pour 10 To d'images

Quelles sont les opérations qu'on peut faire avec ce système de fichiers ?

  • Lire
  • Modifier
  • Effacer
  • Compacter

Comprendre les urls d'images facebook :

Les slides nous disent :

URL generation

– http://<CDN>/<Cache>/<Node>/<Logical volume id, Image id

https://s-hphotos-ash1.fbcdn.net/hs786.ash1/167687_183899201643803_100000711748307_485916_2381629_n.jpg

Décomposons l'url :

CDN :

s-hphotos-ash1.fbcdn.net

Il s'agit d'une ip aux USA DC cote EST sans doute :)

hs786.ash1

de la machine de cache N° 786 ? sur le node ash1 ?

KISS (Keep It Simple)

Garder les choses simples, c'est la logique.. qui permets d'aller vite !

  • Les lectures aléatoires sont optimisées pour faire 1 entrée sortie par objet
  • On utilise du matos pas cher (Disques 1To/rack 2U) : moins de 2000 € (achetés par 10 000)
  • 8500 lignes de code c++
  • Boulot de deux ingénieurs pendant 4 mois (single point of failure)

Evolutions futures :

  • se passer de cartes 3ware-like (raid 6 logiciel)
  • se séparer de Akamai (CDN) la facture doit faire mal..(et on dirait qu'en 2011 c'est fait)
  • Avoir l'index sur des SSD (Flash)

Questions ouvertes :

On dirait bien que OVH est très largement en avance avec l'utilisation de ZFS sur ses stockages hydrides SSD / disques dur

Conclusion :

C'est tout simplement monstrueux !

Là où certaines entreprises utiliseraient des baies de disques avec Fiber Channel et autres matos coûteux, lourds etc...

Facebook utilise du logiciel libre (linux) ses propres systèmes (non ouverts) pour faire du stockage et la conclusion est simple : Cela fonctionne, c'est terriblement efficace.

Mais la vraie efficacité des images Facebook est liée à l'utilisation de Varnish, qui élimine le frein aux I/O que sont les disques dur en utilisant un bloc de mémoire virtuelle pour stocker les objets.

Bonus : Evolution du code source de Varnish :

Voici une petite vidéo qui montre l'évolution du code source de Varnish :

Notes

[1] source

La nature se fait remarquer en Maurienne, Séisme.. Crues torrentielles !

La nature fait parler d'elle ces dernières 72 heures !

Tout d'abord je lance un appel à témoins : Vous avez des vidéos, des photos, je suis intéressé pour faire un documentaire sur le sujet. Envoyez moi tout à contact@maurienne.tv

Crue torrentielle du ruisseau de Saint Julien Montdenis (Le Saint Julien) 28 Juin 2010



Amas de boue d'une hauteur de 2 mètres, très rapidement passée sous les différents ponts de Saint Julien, de la nationale, de l'autouroute.

Beaucoup de témoins à cet évenement, qui ont vus :

  • De la fumée dégagée par le torrent et les matériaux
  • Beaucoup de rochers de grosse taille
  • Beaucoup de bruit, beaucoup de témoins se sont déplacés pour voir ce qui se passait

30 Juin : Crue torrentielle du torrent du Claret, Commune de Saint Julien Montdenis

La pluie tape très fort sur le sommet de la croix des têtes, il s'agit d'un sac d'eau qui est en train de tomber sur la montagne.

J'arrive sur le pont du Claret, beaucoup de témoins sont là pour attendre que la vague arrive, mais il n'en sera rien, ce sera juste une petite crue sans beaucoup de matériaux.

  • Très fluide, faible densitée
  • Peu de gros blocs, la crue de la dernière fois a déjà pas mal nettoyé
  • Longue durée, beaucoup d'eau
  • Une seule des combes donne, il s'agit de la plus haute.

Quelques photos :

La cascade de la Croix des Têtes :

Les torrents qui se sont crée sur la roche au niveau de la Croix des Têtes, c'est très souvent un signe que le torrent va grossir ! Au passage, il y'a des radiers qui ont été construit dans cette zone. On peut trouver l'information dans le livre Paul Mougin.

30 Juin 2010 : Torrent le Saint Julien

Coup de téléphone du "service de surveillance" me disant :

"Alex, tu as 5 minutes pour arriver au pont du torent de Saint Julien"

J'arrive pile a temps sur le pont et je vois la vague de boue et d'eau arriver, c'est vraiment très impressionnan? Là encore il sagit d'une eau très fluide avec beaucoup de matériaux.

Beaucoup de témoins sont là, ils ont déjà vue la crue précédente et ils trouvent celle là très importante, mais "sans plus".

C'est un moment passionnant, parce que le pont deviens un lieu d'échange entre toutes les générations et c'est là que j'ai appris pas mal de choses.

Mais j'ai surtout une envie, c'est celle de faire un film documentaire sur ces crues et sur les témoignages !

Et soudainement l'info arrive ! Il faut aller à Saint Martin, le Torrent a débordé sur la Nationale et sur les différents ponts.

Photographies :

Vue sur le torrent et ses multiples radier, on comprends pourquoi ils ont été construit, ils protègent le village.. Et on s'immagine si ce flot venait à traverser le village..

30 Juin 2010 : Torrent de Saint Martin de la Porte

J'arrive sur place et je vois.. une scène qui m'a rappelé les années 80 ou j'avais vu le torrent du Claret à Saint Julien, il s'agit d'une coulée de boue.. on pourrait comparer ça à de la lave volcanique !

Je récupère mes infos auprès du Maire de la Commune :

  • C'est assez "courant" comme coulée, tout va très vite sur cette partie parce qu'il n'y a pas de radiers.
  • Les pompiers, la gendarmerie et la DDE sont sur la nationale pour débarrasser la boue qui a débordé..

Je n'ose pas immaginer la surprise des automobilistes qui ont vu tomber de la boue du pont.. !

Les photographies arrivent... et Peut être une vidéo .. qui sait ?

Photographies :

La déco du pont a été refaite :

Les deux bosses, c'est la crue d'avant.. :)

Vu de l'autre coté :

Le SIRTOMM ferait mieux de virer les poubelles.. la prochaine fois ils vont les retrouver dans l'Arc..

Edit :

Vidéo :

N'hésitez pas à passer la vidéo en 720p ou en 1080p

Fête de la musique 2010 à Saint Jean de Maurienne

Quelques photographies de la fête de la Musique à Saint Jean de Maurienne.

Félicitations à la personne de l'animation qui a mis en lumière le Cloître !

Quelques photographies de la fête de la Musique à Saint Jean de Maurienne.

Félicitations à la personne de l'animation qui a mis en lumière le Cloître !

Petit ..Buzz du dimanche soir..(mis à jour)

Bientôt.. sur vos écrans.. Les images de Xavier Spertini

J'ai eu l'honneur de voir en avant première les images de Bonneval sur Arc la nuit.. C'est tout simplement magique !

Allez.. juste un tout petit aperçu.. :)

Edit : Le buzz est lancé !!! http://epitre.net/Pitre/post/2009/0...

A voir absolument : http://www.xavierspertini.com/immer...

Visite de la centrale Solaire de Saint Martin la porte (zone d'activité des Oeillettes)

Au mois de novembre 2008, a l'occasion de la fête de la science nous avons visité la Scierie située dans la zone des Oeillettes sur la commune de Saint Martin la Porte

Premier regret : Je ne trouve quasiment aucune information sur le web, aucune explication.. rien !

Rapide historique : Ce projet a été initié par la communauté de communes Maurienne Galibier, avec le soutient du Syndicat de pays de Maurienne. 2.5 Millions d'euros d'investissement. Actuellement, c'est l'entreprise MAURIENNE SCIAGE GROUPE MALLARINI qui occupe la scierie.

Le batîment étant bien exposé au soleil et ayant une grande surface, il a donc été équipé de panneaux photovoltaïques intégrés au toit.

Les panneaux, sont directement collés aux plaques qui forment le toit :

L'étanchéité est garantie pour 25 ans (durée à confirmer)

Visite du site, par Adrien SAVOYE (président de la communauté de communes Maurienne Galibier)

Fonctionnement très simple :

L'énergie récupérée par les panneaux solaires est récupérée par de gros onduleurs (une dizaine, si je me souviens bien) puis injectée dans le réseau EDF :

Le poste de transformation :

La puissance maximale produite par les panneaux est de 150 Kw (chiffre à confirmer..)

Si vous avez des documents numériques sur l'installation, je suis preneur.. contactez moi

Vol en avion dans les Alpes : De la Maurienne au Mont-Blanc

Mon premier vol en petit avion :)

Petite tournée dans les Alpes, de la Maurienne au Mont-Blanc

Pas grand chose à ajouter, je vous invite simplement à regarder les 225 photos dans un diaporama :

Une petite mosaïque de ce qu'on voit du ciel :

Dans les choses qui seront faites :

  • Localisation de chacune des photos
  • Description de chacune des photos

Faites de la photo à la fête de la musique à Saint Jean de Maurienne - MAJ 2

Les photos de la

sont là ! :)

Allez voir ma galerie photo : Faites de la photo a la fête de la musique de Saint Jean de Maurienne - Diaporama

Voir les travaux des autres photographes de la soirée :

Ma sélection de photos :

Moi en train de prendre des photos, par Cath :

Chez Patrick :

Chez Aurélien :

Chez Cath :

- page 1 de 2