PROJET AUTOBLOG


Korben

Site original : Korben

⇐ retour index

Nettoyer et organiser des données en vrac

lundi 24 novembre 2014 à 09:24

Il m'est arrivé à plusieurs reprises de devoir nettoyer des données, les organiser, et rendre tout ceci un peu moins bordélique et surtout intégrable dans des bases pour être utilisée par un moteur de recherche. En général, ça se passe à grand coup de rechercher / remplacer, d'expressions régulières et parfois de macro ou de code.

Bref, c'est chiant.

Puis ce matin, je découvre un projet open source sous licence BSD et initié par Google en 2011 qui s'appelle OpenRefine et dont le but est justement de permettre à tout un chacun de faire ce genre de nettoyage beaucoup plus rapidement.

Pour résumer, OpenRefine est un "structurateur de données en bordel". J'ai regardé les vidéos d'explication et j'ai trouvé ça vraiment sympa. Pour ceux qui se demandent si Google récupère les données, rassurez-vous... L'outil se lance sur votre ordinateur et fonctionne uniquement en local (Windows, OSX, Linux).

Bref, je me note ça pour la prochaine fois que j'aurai des gros fichiers de data à réorganiser.

Plus d'infos ici

Cet article merveilleux et sans aucun égal intitulé : Nettoyer et organiser des données en vrac ; a été publié sur Korben, le seul site qui t'aime plus fort que tes parents.

CotEditor – Un éditeur de texte à la Notepad++ pour OSX

vendredi 21 novembre 2014 à 17:00

Sous OSX, il y a un éditeur par défaut qui s'appelle TextEdit. Mais bon, il est plus que basique et se rapproche un peu de Notepad sous Windows en terme de fonctionnalités.

Sous Windows, les gens le remplacent assez facilement par des trucs comme Notepad++. Mais sous OSX, si on veut un bon éditeur, il faut se tourner vers des Coda et Textmate qui sont quand même plus des outils de dev que de véritables blocs-notes évolués.

M'enfin peu importe puisque ce vide est maintenant comblé grâce à CotEditor. Cet outil gratuit et libre (licence GPL) est très léger, se lance en un clin d'oeil et propose des petites fonctionnalités pas dégeus comme la coloration syntaxique des principaux langages (PHP, Python, Ruby, Markdown, HTML...etc.), des fonctionnalités de recherche/remplacement évoluées (supporte des expressions régulières), la possibilité de splitter un document pour avoir sous les yeux différentes parties de ce même doc, et un gestion parfaite de l'encodage des caractères.

tools 650x592 CotEditor   Un éditeur de texte à la Notepad++ pour OSX

Autrement, CotEditor est ultra personnalisable. Vous pouvez paramétrer votre propre coloration syntaxique (s'il manque un langage supporté), déclencher des templates lorsque vous glissez déposer un document dans la fenêtre...

preferences 650x565 CotEditor   Un éditeur de texte à la Notepad++ pour OSX

...mais aussi mettre au point de véritables scripts (macros) en Python, Perl, Ruby, PHP, Shell Unix, Applescript et même JavaScript sous Yosemite pour manipuler ou modifier votre contenu. On peut imaginer ouvrir un log Apache avec CotEditor, et lancer une macro qui le transformera en rapport lisible facilement (ou en page HTML..etc.).

À vous de voir, la seule limite, c'est votre imagination !

CotEditor est téléchargeable ici.

Cet article merveilleux et sans aucun égal intitulé : CotEditor – Un éditeur de texte à la Notepad++ pour OSX ; a été publié sur Korben, le seul site qui t'aime plus fort que tes parents.

Astral – Organisez vos découvertes GitHub

vendredi 21 novembre 2014 à 16:26

Si vous passez beaucoup de temps sur Github à sélectionner des projets sympas, voici une petite app en ligne qui va vous intéresser. En effet, lorsqu'on se rend sur un projet Github, on peut cliquer sur le bouton "Star" pour dire qu'on l'aime bien, un peu comme un like Facebook ou un +1 Google.

star Astral   Organisez vos découvertes GitHub

Seulement, ensuite c'est un peu perdu dans la nature. Et c'est là qu'intervient Astral.

Astral est une app en ligne qui va lister de manière agréable tous les projets Github que vous avez mis en favori, avec la possibilité d'ajouter des tags sur ces projets, de visualiser le Readme de chacun d'entre eux et surtout de faire des recherches sur tout ça.

astralapp Astral   Organisez vos découvertes GitHub

L'intérêt, c'est que bien taggé, il vous sera facile de remettre la main sur un projet Github croisé lors de l'une de vos séances de surf.

Bref, pratique pour ceux qui aiment conserver dans un coin ce genre de chose

Cet article merveilleux et sans aucun égal intitulé : Astral – Organisez vos découvertes GitHub ; a été publié sur Korben, le seul site qui t'aime plus fort que tes parents.

Syncthing devient Pulse et compte bien détrôner Bittorrent Sync

vendredi 21 novembre 2014 à 11:10

Au moment où Bittorrent annonce une offre payante à 39,99 € par an qui permettra de synchroniser sur vos propres espaces de stockages (pas de cloud ici) un très grand nombre de machines et une très grande quantité de données, voici un petit nouveau qui fait la même chose. Normal, car c'est tout simplement le successeur officiel de Syncthing dont je vous avais déjà causé.

Son nom : Pulse.

Cet outil dispo sous Windows, Mac, Linux, BSD et Solaris utilise le protocole Block Exchange qui permet de synchroniser des répertoires entre plusieurs machines, le tout de manière sécurisée (clés RSA + utilisation de TLS ).

Vous définissez les répertoires, puis vous configurez les machines en indiquant aux unes et aux autres, les clés d'identifications. Et contrairement à BtSync qui permet de se connecter à tout et n'importe quoi du moment qu'on obtient (ou devine) la clé, Pulse demande de choisir lors de la config, les machines que vous souhaitez autoriser.

pulse2 650x493 Syncthing devient Pulse et compte bien détrôner Bittorrent Sync

BtSync est un logiciel fermé et Pulse / Syncthing est distribué sous licence GPLv3. D'ailleurs les sources sont disponibles ici.

Pour ne rien gâcher à l'affaire, il est totalement portable. Vous pouvez donc vous balader avec sur une clé USB et synchroniser vos fichiers, peu importe votre localisation.

Pulse est encore jeune, mais très prometteur, car il reprend les grands principes de Bittorrent Sync, sans ses défauts (fermeture des sources et synchro openbar).

Il ne manque que des versions officielles pour le NAS (version non officielle ici) et les applications mobiles qui vont bien... (Android non officielle ici) Mais tout ceci devrait arriver bientôt, car les gens d'Ind.ie qui sont derrière cet outil ont lancé une campagne de financement participatif pour booster leurs différents projets.

A tester donc ! (Et à soutenir si ça vous plait)

Cet article merveilleux et sans aucun égal intitulé : Syncthing devient Pulse et compte bien détrôner Bittorrent Sync ; a été publié sur Korben, le seul site qui t'aime plus fort que tes parents.

Extraire plusieurs zip en ligne de commande ? Caution: filename not matched

vendredi 21 novembre 2014 à 09:42

Voici une petite astuce à la con que je me note là pour plus tard, quand je serai vieux et que je l'aurai oublié.

J'ai eu besoin aujourd'hui de dézipper un grand nombre de fichiers .zip via mon terminal. Pour cela, j'ai naïvement tapé la commande :

unzip *.zip

Mais tout ce que j'ai obtenu c'est une longue liste d'erreur

Même souci sous OSX et apparemment Linux.

Après réflexion, il s'avère que la commande unzip lancée comme ceci ouvre tout simplement le premier zip trouvé et recherche à l'intérieur les autres zip.

Pas du tout ce que je veux faire. Finalement, j'ai trouvé...

Il suffit d'échapper le caractère * avec un antislash. Du coup pour dézipper tous mes fichiers, je n'ai eu qu'à taper :

unzip \*.zip

Et le tour est joué...

Vous pouvez aussi utiliser des guillements :

unzip "*.zip"

Cet article merveilleux et sans aucun égal intitulé : Extraire plusieurs zip en ligne de commande ? Caution: filename not matched ; a été publié sur Korben, le seul site qui t'aime plus fort que tes parents.