Linux

icone
Linux

Tuning performances sshfs

Submitted by-badmin- onmer 28/03/2018 - 10:12

Récemment j'ai du copier quelques teraoctets entre deux postes ne supportant pas le protocole rsync.

Parmi les solutions possibles, il y a NFS ou ISCSI, qu'il faut mettre en place du côté server et client, ce qui n'est pas forcément possible sans installer des paquets.

Je me suis donc tourné vers sshfs, permettant via FUSE, de monter un système de fichiers distant directement via ssh.

Le problème, c'est que sur un réseau 1000Mbits, j'obtenais des performances de l'ordre de 200Mbits/s, et une utilisation CPU de ssh assez élevée.

Quick and dirty bash performance profiler

Submitted by-badmin- onjeu 04/05/2017 - 10:19

I recently got some comments on osync about performance issues with large filesets (600k files).
[Edit] Probem actually raised with rsync < 3.1.2 when transferring xattrs.[/Edit]
Before going insane with a debugger and some pretty hard tools, I decided to write a very small performance profiler function.

My scripts often use forks in order to keep control over the execution time, and that's where I hook the performance profiler (which actually is a big term just for something to log cpu & memory usage).

Accelerer une reconstruction ZFS

Submitted by-badmin- onlun 21/11/2016 - 11:25

ZFS c'est beau, ZFS c'est bien... J'utilise beaucoup ZFS sur des serveurs de stockage longue durée.

Mais ZFS n'est pas encore parfaitement au point sur les systèmes Linux par rapport aux Solaris / BSD.

Du coup ce système de fichiers peut être horriblement lent lors d'une reconstruction de pool de stockage. Pourquoi ?

Tout d'abord, il faut vérifier la longueur de la file d'attente disques lors d'une reconstruction (lancée depuis quelques minutes au moins). Un moyen simple reste iostat.

Un peu de cryptage avec GPG

Submitted by-badmin- onmar 11/10/2016 - 08:52

Ayant eu récemment besoin d'une solution de cryptage de fichiers rapide et répandue, je me suis intéressé à GPG (Gnu Privacy Guard), qui est un dérivé open source de PGP, dont je me suis servi pour l'implémentation de sauvegardes cryptées sur mon script obackup.

Facile d'utilisation, je propose de revenir ici sur son utilisation.

Lets go full parallel with bash

Submitted by-badmin- ondim 11/09/2016 - 17:59

It's sunday, it's a nice day to go for a walk, but well... "Computers".

Let's assume the following problem:

You have a folder containing 100 files, let's name it /path. Each file has to be given as argument to a command line program we'll simply call "tool". The tool can be anything, an image converter, a cryptographic program, whatever.

The simplest instruction I can come up with is

for i in /path/*; do tool $i; done

Comment surprendre un sysadmin

Submitted by-badmin- onmar 12/04/2016 - 12:20

Cela doit faire près de 10 ans que j'utilise des environnements unix, et presque autant de temps pour le travail, mais voilà, quelques fois, le monde du libre arrive encore à surprendre :)

Taper un "ls" trop vite et l'on obtient "sl", ce qui sur la plupart des distributions ne fait rien si le package sl n'est pas installé.
Seulement voilà, je travaillais sur cygwin ce matin, et voilà qu'en tapant sl, une locomotive à vapeur en ascii art traverse mon terminal.

Deboggage de scripts Shell

Submitted by-badmin- onjeu 18/02/2016 - 16:25

J'écris beaucoup de petits scripts en bash. C'est pratique, cest beau (enfin il y a des limites..).

Parmi les choses qui me dérangent, le plus, c'est un oubli d'un simple ou double quote, qui se résume souvent par une erreur environ 1000 lignes plus loin dans le script. Autant dire que le déboggage devient vite rigolo.

Voici quelques méthodes que j'emploie pour trouver la source du problème:

Abandon de Windows 10 au profit de Fedora 23

Submitted by-badmin- onmar 09/02/2016 - 01:33

J'aime Windows ! J'aime Linux ! J'aime même BSD !

Mes PC personnels ont toujours tourné sous Windows, et ce depuis Windows 2.03 (oui !). J'ai eu testé plusieurs fois des distributions linux de bureau (Redhat 7.2, Mandrake 10, Fedora 7), mais je suis toujours revenu sous Windows, laissant linux là ou est sa meilleure place, en tant que serveur.