Revue d'Elasticsearch (ELK) & Autres éléments intéressants

Metrics d'un système de tickets (GLPI)

Balancer des journaux windows dans ELK :

Slides

http://fr.slideshare.net/TomasSirny...

  • Avoir plusieurs clusters
  • Utiliser des SSD
  • Ne pas utiliser de stockage réseau

http://fr.slideshare.net/tomerlevy9...

continuous delivery

http://fr.slideshare.net/SkeltonTha...

  • Contrôle de version
  • GIT
  • Agrégation de logs
    • ELK
    • Logstash
    • Kibana
Monitorer plein de choses

http://fr.slideshare.net/felixtrepa...

Spark

http://fr.slideshare.net/aseigneuri...

  • Scalable dès que beaucoup de data

http://fr.slideshare.net/alexlefur/...

  • Rapide quand les données sont en mémoire
Latence mondiale / dev d'un jeu qui gère ces problématiques avec AWS

http://fr.slideshare.net/nateware/g...

  • Tout ça géré uniquement avec des services AWS
  • 0 downtime
SPARK

http://fr.slideshare.net/anskarl/in...

  • Système informatique distribué
  • Facile à utiliser
  • API de haut niveau

C'est un système "en mémoire"

  • 10X plus rapide que hadoop dans le cas de données sur disque
  • 100X dans le cas de données en mémoire
  • C'est le système opensource le plus rapide pour trier 100 Tb de données
  • 4.7 Tb/ min

Qui utilise Spark ? et pour quoi ?

  • Les scientifiques
    • stats
    • analyse de modèles
  • Les ingés informatiques
    • Traitement de données
    • hautement performant, facile à monitorer

RDD : Resilient Distributed Dataset

  • Résilient : Si perdu en mémoire, peut être recrée
  • Distribué en mémoire à travers le cluster
  • Dataset : les données arrivent de fichiers où sont crées par programmation

A suivre...

Canal de Curbans

Un canal similaire à celui de Saint-Julien-Montdenis :

Fun facts *

  • Fibre Optique Orange Noyée dans le béton au fond du canal :)

Docker, quelques notes suite

On continue sur docker :


** Ecrit en GO
** Utilise les conteneurs LXC du noyau linux
** C'est un système d'isolation des processus

Plus d'infos sur LXC ; http://artisan.karma-lab.net/conten...

  • Boot rapide des images
  • Combien de conteners par machine ? Tout dépends de la charge..
  • Docker élimine la couche virtualisation et multiplicité des systèmes d'exploitations installés, données rendondantes etc..
    • Tout est sur une unique machine
Control Group & Namespace


Ce sont les fonctionnalités pour limiter CPU / RAM / I/O disk

AUFS

Défintion ici : http://www.admin-linux.fr/?p=9308

' "AuFS, pour Another Union File System (un autre système de fichier d’union), est un système de fichier implémenté sur la base d’UnionFS (Union File System) permettant de rendre accessible au travers d’un montage la superposition, l’union, de plusieurs répertoires." '

Se connecter à un contener :
docker run -i -t debian bash
apt-get update
apt-get install memcached
Créer une image à partir d'un fichier Dockerfile

Le contenu

# Memcache 
FROM debian
MAINTAINER Alex
 
RUN apt-get update 
RUN apt-get install -y memcached

ENTRYPOINT "memcached" 
USER daemon
EXPOSE 11211du fichier :

Créer l'image :

docker build -t=alex .
docker run -p 11211:11211 -d alex memcached
f06ab90c6724aa7782c0c209697642398fde9688812199f8eb7a7348c6d6fc1e

tester

telnet localhost 11211
stats
quit

arrêter l'image :

docker stop f06ab90c6724aa7782c0c209697642398fde9688812199f8eb7a7348c6d6fc1e

Voir les processus en activité dans l'image :

docker top f06ab90c6724aa7782c0c209697642398fde9688812199f8eb7a7348c6d6fc1e

Docker & Wordpress quelques notes

Quelques notes très en vrac

sur une Wheezy :

/etc/apt/sources.list
deb http://http.debian.net/debian wheezy-backports main
apt-get update
apt-get install -t wheezy-backports linux-image-amd64
reboot
curl -sSL https://get.docker.com/ | sh
docker pull wordpress
docker pull mysql

Suite !

Voir les images en cours sur le système :

docker images
REPOSITORY          TAG                 IMAGE ID            CREATED             VIRTUAL SIZE
wordpress           latest              98e085faf073        46 hours ago        470 MB
mysql               latest              0beee7f478c8        2 days ago          282.8 MB

Lancer un mysql :

docker run --name mysql-test -e MYSQL_ROOT_PASSWORD=pass -d mysql

voir ce qui fonctionne :

docker ps
CONTAINER ID        IMAGE               COMMAND                CREATED             STATUS              PORTS               NAMES
696a558f6aa9        mysql:latest        "/entrypoint.sh mysq   15 seconds ago      Up 14 seconds       3306/tcp            mysql-test
docker run name wordpress-test link mysql-test:mysql -e WORDPRESS_DB_PASSWORD=pass -d wordpress

Chose étrange : rien n'écoute sur les ports 3306 / 80

Est-ce lié à l'interface docker0 ? Solution très simple :

docker run name wordpress-test3 link mysql-test:mysql -e WORDPRESS_DB_PASSWORD=pass -p 80:80 -d wordpress

Il faut rajouter :

-p 80:80

ensuite on voit donc le port ouvert via un docker ps

518da54833e9        wordpress:latest    "/entrypoint.sh apac   About a minute ago   Up About a minute   0.0.0.0:80->80/tcp   wordpress-test3

et pour tester

links http://localhost
Les bons points :
  • La base de donnée wordpress est automatiquement configurée
  • Y a plus qu'a configurer user/pass du blog wordpress
Informations sur le docker
docker inspect wordpress-test4

Pas mal d'infos intéressantes

- page 1 de 264