Utilisation de Grafana chez Wikipedia

Mesure de latence de l'api :

https://grafana.wikimedia.org/dashb...

logins, mot de passe, abuse :

https://grafana.wikimedia.org/dashb...

les stats de mediawiki :

https://grafana.wikimedia.org/dashb...

ssl, spdy, version TLS

https://grafana.wikimedia.org/dashb...

des stats elk.. complexes !

https://grafana.wikimedia.org/dashb...

Utilisation d'etherpad :

https://grafana.wikimedia.org/dashb...

des stats kafka :

https://grafana.wikimedia.org/dashb...

Encore plus précises : https://grafana.wikimedia.org/dashb...

Performance des utilisateurs :

https://grafana.wikimedia.org/dashb...

Varnish

wow !

https://grafana.wikimedia.org/dashb... Une manière intéressant de voir les erreurs varnish :

https://grafana.wikimedia.org/dashb...

Sans doute le plus joli graph :

https://grafana.wikimedia.org/dashb...

Remonter le temps avec l'IGN, quelques exemples

Saint Julien Montdenis, zone babylone :

1.jpg

Superposition :

compare.jpg

Villargondran / Le Bochet

Un ouvrage disparu, un petit tunnel ?

2.jpg

Une chapelle qui n'est plus référencée

chapelle.jpg

Saint Julien de Maurienne, Montdenis :

montdenis.jpg

Saint Jean de Maurienne

Voie ferrée ?

stjean.jpg

Avant les Karellis :

karellis.jpg

Quand la Maurienne n'était pas en France.. :)

maurienne.jpg

Tunnel du Fréjus historique

frejus.jpg

Sur la nouvelle carte IGN, seul le tunnel actuel

frejus1.jpg

Chenalisation du Torrent de Saint Julien de Maurienne

Voici un document intéressant, avec deux photos du RTM :

http://www.regione.piemonte.it/dife...

Le cône de déjection en 1898 avant.jpg

Le cône de déjection en 1911 apres.jpg

Zoomons un peu sur les détails :

Cheminée de ventilation du tunnel de la Voie Ferrée :

tunnel.jpg Voici la cheminée de nos jours

cheminee.jpg

tunnel-sncf-sous-voie-ferree3.jpg

Un article d'époque sur les travaux qui ont permis de dévier le torrent :

tunnel-sncf-sous-voie-ferree1.jpg

tunnel-sncf-sous-voie-ferree2.jpg

Pour en savoir plus sur les torrents du coin, je vous invite à écouter la conférence :

Le Claret, mémoire de paysages :

http://maurienne.tv/index.php?pages...

Concert Fils & TOV à Saint Julien Montdenis - 9 Avril 2016

Grosse news !!! :D

Posté par Fils & Tov sur samedi 26 mars 2016

Quelques notes et recherches sur haproxy et les reverse proxy

Utilisation de backends dynamiques :

Selon la version de l'api dans les headers :

of/etc/haproxy/api.map
  1. X-API value | HAProxy backend
v1.0 be_alpha
v1.1 be_bravo

Un backend différent est choisi

https://www.tekovic.com/dynamic-hap...

Mise à jour de haproxy avec ansible :

Zero downtime upgrade with Ansible and HAProxy

Fabio :

Une alternative à HAproxy : https://github.com/eBay/fabio par Ebay

C'est du go

Récupération des logs haproxy dans ELK :

http://logz.io/blog/monitor-haproxy...

  • on peut aussi le faire avec filebeat si fichier de log haproxy.log
HAproxy: mapping process to CPU core for maximum performance

http://blog.onefellow.com/post/8247...

On peut partager le boulot,dans l'exemple :

  • 3 coeurs font du HTTPS
  • 1 coeur faire du HTTP
Tuning de kernel pour haproxy

http://blog.snapt.net/2012/02/28/si...

Exemple de configuration de la vraie vie : Stackoverflow :

https://gist.github.com/GABeech/eb8...

Le loadbalancer sauce google : Maglev :

https://cloudplatform.googleblog.co...

Sa force, c'est qu'il est multi-serveurs, via ECMP

Nginx supporte le proxy UDP ? !

https://www.nginx.com/blog/announci... via https://twitter.com/jbfavre

Quelques notes sur airbnb

https://github.com/joliva/startup-e...

Quelques stats : airbnb.jpg

La stack (date non déterminée)

airbnb1.jpg

http://cdn.oreillystatic.com/en/ass...

Dashboards & metrics :

  • latence base de données
  • latence ruby
  • Memcache

etc..

Leur approche : airbnb2.jpg

Les logs sont envoyés dans elk airbnb3.jpg

Mesure des métriques applicatives, exemple calendar :

airbnb4.jpg

postmortem

  • pour chaque prob
  • stats
  • documentation

Infrastructure données :

https://medium.com/airbnb-engineeri...

Utilisation de :

pour causer avec Mysql http://www.lemondeinformatique.fr/a...

Langage similaire à SQL https://fr.wikipedia.org/wiki/Apach...

"langage de requête compatible ANSI SQL."

http://www.developpez.com/actu/6393...

Pour administrer toutes ces instances Amazon, utilisation de l'orchestrateur : mesos http://mesos.apache.org/

Détection automatisée des fraudes : https://medium.com/airbnb-engineeri...

Airflow : L'outil de gestion de projet d'airbnb :

https://medium.com/airbnb-engineeri...

Le guide de code Ruby : http://airbnb.io/projects/ruby/

En vrac :

Kafka quelques stats : http://fr.slideshare.net/alexismido...

kafka.jpg

Technos utilisées en 2015 airbnb6.jpg

infra en 2013 ! https://aws.amazon.com/fr/solutions...

Quelques slides Elasticsearch

Et si on regardait quelques slides de la conf ElasticSearch

Conf ici : https://www.elastic.co/elasticon/co...

Slides :

  • Elasticsearch 5
  • Lucene 6
  • Choix des couleurs dans les dashboards
  • Url customisables
  • possibilité d'exporter toute la conf kibana
  • Kibana status page : est-ce que tout est bien connecté à elk ?
  • Possible aussi via l'API status

Plugins Kibana

  • Ecrit en go
  • léger
  • Pas de dépendances

Plusieurs modules :

  • Collecte de logs
  • Collecte de paquets (une sortie de sflow)
  • Collecte de metrics (façon collectd)

Packetbeat :

  • Copy le trafic au niveau "hardware"
  • Passif
  • Aucun impact de latence
  • Ne peut pas impacter les applis

Usages possibles :

  • Sécurité : détection d'intrusions
  • Debug réseau
  • Debug d'applications
  • Analyse de performances

installer packetbeat

wget https://download.elastic.co/beats/packetbeat/packetbeat_1.1.2_amd64.deb
dpkg -i packetbeat_1.1.2_amd64.deb
vi /etc/packetbeat/packetbeat.yml

RTFM : http://elasticsearch.qiniudn.com/gu...

Exemple de la vraie vie :

exemple.jpg

Tout une communauté : nagioscheckbeat

https://github.com/PhaedrusTheGreek...
  • Faire fonctionner des plugins nagios et envoyer tout ça dans elk

FactBeat https://github.com/jarpy/factbeat

  • Récupère des Facts (Puppet) et envoie ça dans elk

Redisbeat

https://github.com/chrsblck/redisbe...

  • Monitoring de redis

Pingbeat

https://github.com/joshuar/pingbeat

  • le tueur de smokeping ?
  • Auto-complétion grâce à lucene

Nouveautés dans logstash :

  • reload rapide de la config (pas 2 minutes)
  • monitoring de la santé de logstatsh
  • configuration centralisée
  • A venir : cluster, haute dispo..etc..

J'ai pas fini de tout regarder.. wow !

L'éco-système elasticsearch semble vraiment vaste

Quelques notes sur StackOverflow 2016 & update Dotnet

update dotnet

http://www.ageofascent.com/asp-net-...

  • 1.15 Million represents a 2300% gain from ASP.NET 4.6!
  • Bear in mind ASP.NET Core beta8 was already 800% faster than ASP.NET 4.6,
stackoverflow 2016

https://nickcraver.com/blog/2016/02...

  • performance is still a feature.
  • redondance à tous les étages
  • Tous les serveurs raccordés via 2 x 10 gb/s
  • Tous les serveurs avec deux alims séparées et deux sources séparées
  • Tous les services sont doublés dans un second datacenter
  • haproxy 1.5
  • haproxy 1.7 soon avec http2 pour avoir http/2
  • 64 Go de ram pour mieux gérer les sessions TLS

Client Redis Dotnet :

Voir : https://github.com/StackExchange/St...

metrics

Collecte de metrics dans http://opentsdb.net/ photo : http://imgur.com/a/X1HoY#7

http://bosun.org/quickstart

hardware

Serveur de logs haproxy pour debug rapide :

un cluster ELK

http://imgur.com/a/X1HoY#192

- page 1 de 265