Affichage des articles dont le libellé est data mining. Afficher tous les articles
Affichage des articles dont le libellé est data mining. Afficher tous les articles

17/05/2009

Twitter StreamGraphs : representation de mots-cles sur timeline graphique


Oui, c'est la énième application Twitter, mais chacun de ces petits gadgets contribue à l'édifice. Encore faut-il se rappeler de leur existence, noms et qualités.
Nous voici devant StreamGraphs, qui affiche sur les 1000 derniers tweets, d'un côté à partir d'un mot-clé donné, les mots-clés qui lui sont associés ; ou bien simplement les mots-clés d'un utilisateur donné.
Il faudra dans ce dernier cas faire précéder le TwitterUser recherché du caractère @ comme à l'accoutumée dans Twitter.
Le design est signé Lee Byron, lequel semble être également le designer de FriendWheel, au vu des ses autres travaux.
Cette application affiche donc l'activité d'un @twitteruser sur une timeline graduée ; et la fréquence d'utilisation d'un tag sur une timeline qui peut se réduire à quelques heures selon sa célébrité.
Sous le diagramme, sont affichés in extenso les derniers tweets correspondants à l'entité recherchée.
Enfin le service est 'réentrant', ce qui veut dire qu'à partir d'un mot-clé ou d'un @twitteruser, on peut recliquer sur un tag associé, inscrit dans le diagramme ou un autre user sous le graphe pour relancer le traitement à l'infini.
Exemple de recherche sur le mot-clé 'hadopi' : où l'on peut voir que l'intensité du débat fond littéralement à l'arrivée du week-end ;-).
 
Le chiffre de 332, non surligné, indique (je suppose) le pic principal en nombre de tweets sur la période affichée. Les intervalles (cerclé d'orange) sont d'un peu moins de 3 heures. Le trait noir indiqué d'une flèche permet en le faisant glisser, de modifier l'échelle de l'axe des y (vertical). L'échelle de temps ne peut pas être modifiée. Cerclé de jaune, un tag associé, qui, cliqué, vient remplacer le terme recherché pour commencer une nouvelle recherche. Astuce livrée par Neoformix, le concepteur : on peut restreindre la recherche en tapant plusieurs mots-clés dans le champ, séparés par une virgule ou un +, le résultat est équivalent.
Second exemple, recherche sur 'eurovision', où on peut voir que la timeline s'étale sur à peine quelques heures car la limite de 1000 tweets est rapidement atteinte :
Neoformix est un grand spécialiste de la représentation des données (data vizualisation) et doté d'un sens artistique certain.

03/05/2009

Api ebay regex yahoo pipes et bibliophilie sont dans un bateau

Des objets de collection aux voitures, vous pouvez acheter et vendre toutes sortes d'objets sur eBay 
Petit exercice de style pour extraire d'ebay-France les livres anciens antérieurs à 1800. Pour cela, j'ai utilisé un Yahoo Pipe appelé Ebay Search que j'ai modifié car il s'intéressait aux disques sur ebay US. Dans l'extrait ci-dessous j'ai surligné les champs modifiés :
La version originale comprenait un filtrage sur un mot contenu dans le titre, en saisie facultative.
Il a fallu ensuite rajouter autre un filtre permettant d'éviter les ouvrages postérieurs à 1799 et le tour était joué.
J'ai bien sur laissé ce Yahoo Pipe en libre copie à cette adresse.
Enfin, on peut diffuser le résultat entre autres sur une page personnalisée Google, sous l'appellation badge  (google gadget) comme illustré ci-dessous :

06/04/2009

Seismes et recuperation des donnees


Le grave séisme qui s'est produit ce matin à 03h30 heure locale dans les Abruzzes italiennes m'amène à effectuer une investigation des outils informatiques destinés à synthétiser ce type de données et accessibles au grand public.
Par exemple, le BRGM : Bureau de Recherches Géologiques et Minières, à travers son site spécialisé SisFrance fournit des tableaux et des cartes dont les représentations sont
privées et gratuites effectuées exclusivement dans un cercle de famille.
Dans le cas de données tabulaires, après avoir sélectionné un département, on peut donc construire une liaison vers un document Excel, par exemple :


L'image ci-dessus est extraite d'Excel 2007 mais la fonction existait déjà dans la version précédente. Comme on peut le voir, dans le menu Données, cliquer sur à partir du Site Web, ensuite coller l'adresse de la page dans laquelle se trouvent les données. Excel détectera les tableaux et les marquera d'une flèche sur laquelle il faudra cliquer pour effectuer la sélection, puis importer. Le lien est conservé dans le document et un clic sur Actualiser tout le remet à jour (peut être reglé par le bouton Propriétés de la fenêtre Importer).
Les Yahoo Pipes peuvent également réceptionner ces données comme le montre l'image ci-dessous :
Cependant la mise en forme finale de ces données est nettement plus ardue, mais plus grande est la récompense, car le flux final peut être converti en RSS ; en PHP ; JSON ; et bien d'autres formats.

Un petit avantage d'Excel sur les Yahoo Pipes, est que le corporatif tableur sait parfaitement lire une page php et en extraire les données tabulaires voulues, alors que les Pipes non, mais ils font tant d'autres choses !

Dans un autre registre, et plus facilement accessible, penser au site américain de recensement des séismes : USGS qui fournit gratuitement sur sa page de téléchargement plusieurs fichiers de type kmz, lisibles par Google Earth et listant par exemple les secousses mondiales des 7 derniers jours triées par profondeur de l'épicentre, ou bien plus historique, la description du tremblement de terre de San-Francisco en 1906.

17/02/2009

Extensions Firefox orientees gestion du savoir

Bookmarks et gmail

  1. Delicious Firefox Add-On: pour synchroniser tous les bookmarks contenus dans Firefox avec ceux d'un compte Delicious.
  2. Foxmarks Bookmark Synchronizer: pour ne plus perdre un seul bookmark. Foxmarks sauvegarde tous les bookmarks à chaque modification. Visualisation et restauration à partir du site.
  3. Gmail Manager: gérer plusieurs comptes gmail et recevoir des notifications.
  4. OpenBook 2.0.1.1: personnaliser le menu de gestion des bookmarks.
  5. Smart Bookmarks Bar 1.4.2: Barre de gestion des bookmarks. N'affiche que l'icône, un survol affiche le nom.
  6. Speed Dial 0.7.2.11: Affichage et accès aux bookmarks par des images réduites (thumbnails).
  7. StumbleUpon 3.28: détermine progressivement vos centres d'intérêt et émet des suggestions.
  8. Taboo 0.5.9: Permet de stocker une page et les informations de session qui vont avec pour y revenir plus tard. Prend une photo de la page et mémorise le contenu d'un formulaire.
  1. aideRSS: Utilise PostRank™ pour attribuer un rank au billet lu dans Google Reader. Sélections et tris possibles. Compatible avec Firefox 2, 3 et Greasemonkey.
  2. eReader 0.4: Lire des eBooks dans Firefox, ajuster taille et largeur de texte.
  3. Morning Coffee 1.32: gère le suivi de sites comportant des mises à jour intenses comme les journaux.
  4. NewsFox 1.0.4.1: Regroupement de flux Rss et lecture off-line.
  5. Read it Later: sauvegarde une page à lire plus tard.
  6. Screengrab: sauvegarde une page sous forme d'image.
  7. Pearl Crescent Page Saver: sauvegarde une page entière ou partielle et gère le contenu Flash.
  8. Wizz RSS News Reader 3.0.0.3: Lecteur de flux rss et atom. Riche en fonctionnalités et implémenté régulièrement.

Dictionnaires et traductions

  1. DictionarySearch 3.0.0: sélection du terme à traduire ; clic-droit ; traduire et un nouvel onglet s'ouvre avec le résultat.
  2. Dictionary Switcher 1.0: règle automatiquement le dictionnaire de langue de Firefox en fonction du site visité ou de la langue utilisée au claver.
  3. FastDic 0.2.7: traduction presqu'automatique du terme sélectionné.
  4. gTranslate 0.5.1: sélection et clic droit sur le terme à traduire. Utilise les dictionnaires Google.
  5. Hyperwords 5.0.2: accès à des dictionnaires ; traductions ; recherches ; conversions ; envoi d'email ; et d'autres fonctions pour le terme sélectionné.
  6. Moji 0.9.6: Une side-bar pour des dictionnaires japonais et chinois (kanji).
Recherche et rédaction

  1. CiteGenie: pour juristes américains qui doivent extraire une citation d'un texte légal dans les règles de l'art. Gère les bases Westlaw, Lexis et d'autres sites juridiques.
  2. ClearForest Gnosis 1.0.2+: Détecte les noms de personnes, d'entreprises, de lieux et propose les recherches de précisions dans une liste de moteurs. Vérifier la liste des sites gérés par défaut. Accepte les wild cards. Peut se lancer manuellement sur un site non répertorié. Commentaires : ai testé bakchich.info : lexpress.fr ; mediapart.fr : aucun ne fonctionne. Feedback souhaité.
  3. Copy Plain Text 0.3.3: copie le texte sélectionné sans la mise en forme.
  4. Copy Link Text (CoLT): peut effectuer une copie d'un lien avec son texte. Dans Firefox 3 cela fonctionne nativement en glisser-déplacer même d'un onglet à l'autre.
  5. Google Notebook: prise et gestion de notes pendant la navigation. Mini version disponible..
  6. list.it: système de prise de notes rapides développé par le MIT avec synchronisation.
  7. QuickNote 0.6.0.4: prise de notes avec lien basique vers le client email.
  8. Resurrect Pages 2.0.3: quand une page ou un lien est devenu indisponible, recherche dans les caches Google ; Yahoo ; Internet Archive ; MSN et quelques autres.
  9. Ubiquity: ajoute une ligne de commande à Firefox avec de nombreuses options. Déjà traité ici : Ubiquity : plugin firefox tentaculaire. Inky suit le même principe, mais est moins puissant..
  10. Wired Marker: marqueur permanent pour rehausser certains termes d'une page. Le texte marqué est stocké dans un bookmark. S'il existait la même chose vers Delicious, ce serait le pied.
  11. Zotero: Base de données orientée publications déjà traitée ici Zotero : plugin pour rongeurs de bibliothèques.

Recherches

  1. Advanced Dork: 2.3.3.3: sélectionner du texte et rechercher dans Google avec un accès rapide vers des options de recherche avancée.
  2. Breadcrumbs 0.1.5: stocke les pages visitées et les rend disponibles de n'importe où. Retrouver facilement des pages non bookmarkées. Breadcrumbs permet un accès restreint.
  3. Google Toolbar for Firefox: Celle-là on ne la présente plus ;-).
  4. NeedleSearch: bookmarker le résultat des recherches des grands moteurs mais aussi des petits.
  5. NextPlease!: aller vers le lien suivant ou précédent dans les résultats de recherches grâce à des raccourcis clavier.
  6. Who Is This Person? 1.1.1: recherche d'informations sur des noms de personnes contenus dans une page, dans les moteurs et aussi dans les blogs et le web social.
  7. WorldCat: S'il y a une librairie pas loin , cette extension la trouvera. J'habite à Kaboul...

Sécurité

  1. Adblock Plus 1.0.1: Navigation avec un minimum de pub.
  2. Dr. Web Anti-virus Link Checker: vérifier le caractère fiable d'un lien avant de cliquer dessus.
  3. Firefox Environment Backup Extension: sauvegarde l'environnement de Firefox : les extensions, les thèmes, les bookmarks, les cookies ; les mots de passe et plus encore.
  4. FireGPG: crypte ; décrypte ; vérifie la signature de tout texte dans une page web avec GnuPG. De plus il s'ajoute dans Gmail et permet de communiquer crypté sous GPG.
  5. SecurePassword Generator 0.5.4: génère des mots de passe.

Partage

  1. CoComment: permet de suivre les commentaires laissés par vous sur les blogs ou les articles. Alerte lorsqu'il y a des réponses.
  2. Drag & Drop.io 2.0.1: stocke et partage en ligne documents ; photos ; vidéos. Ces documents ne seraient pas référencés par les moteurs. Drop.io a déjà fait l'objet d'un billet ici : drop.io : hebergement de fichiers et anonymat
  3. FireFTP: intègre un client FTP à Firefox.
  4. FireShot 0.65: capture et retouche de pages web.
  5. Fleck - Save the best of the Web 1.2.2: ajoute des notes de type postit aux pages web et permet de les partager. Un petit point jaune illustre la page marquée. Un clic et les outils Fleck apparaissent. Bien sur, l'extension doit être installée aussi chez le 'client'.
Vu sur The .Edu Toolbox
Grâce à Veille software services

Toutes ces extensions ne fonctionnent pas toujours comme prévu, un retour d'information est plus que souhaité :-)

16/10/2008

wectar | moteur de recherche de la relativite



wectar | nectar extracted from the glorious web

Tpl

Ce moteur recherche les sites ayant un rapport avec l'adresse URL fournie par l'utilisateur. Il se sert pour cela des bases et annuaires Dmoz et Del.icio.us. et plus précisément des catégories, sous-catégories et descriptifs irrémédiablement fournis par l'auteur du site de référence , si répértorié dans dmoz ; et des descriptifs contenus dans les bookmarks de del.icio.us. Il faut cependant un minimum de liens pointant vers l'URL de référence, sinon del.icio.us est littéralement insignifiant.
Un outil encore en beta est fourni qui permet une représentation cartographique du site et de ses sites relatifs : il s'agit de la fonction browse related web sites (alpha).

Un clic sur un site satellite et celui-ci se retrouve au centre et la recherche continue...
Enfin on peut faire un glisser-déposer du bookmarklet vers la barre d'outil du navigateur pour un usage instantané du moteur wectar sur la page courante, mais c'est devenu banal.

04/08/2008

StupidFilter :: Main / InstallationInstructions

StupidFilter :: Main / InstallationInstructions

Il s'agit d'un programme open-source qui permet de filtrer les textes stupides. L'oeuvre est pour le moins ambitieuse car comme lu par ailleurs : on est toujours le con de quelqu'un, mais il faudra bien y venir un jour car le taux de pollution textuelle augmente beaucoup plus vite que la pertinence globale des informations recueillies sur le Net.

Maintenant ce qui est moins drôle : cela ne marche qu'en anglais et sous Ubuntu.

J'espère que ce billet fera germer des idées sous le turban de quelques développeurs.

Un salut amical à ces pionniers du pertinent data-mining.

20/06/2008

oursignal.com : le box cloud


Il y avait le nuage de tags, il y a maintenant le nuage de boîtes ou box cloud.

OurSignal pioche dans
Digg, Reddit, Delicious, et Hacker News pour produire sa sélection d'informations.

Ce service utilise la librairie Javascript JQuery.

La taille de la boîte témoigne de la popularité de la nouvelle. La couleur reflète elle, la tendance de ladite popularité : à la hausse lorsqu'elle tire vers le rouge.


06/06/2008

Mapping 3D : bestiario



Un artiste barcelonais a développé plusieurs projets de cartographie de l'information, basés sur Flash. C'est parfois sérieux, parfois farfelu, toujours en 3D, très souvent ergonomique et intuitif. Un exemple à part : le neurozapping permet à partir d'un compte delicious de tisser la toile reliant tous les mots-clés ou tags utilisés sous ce compte. Cela se fait en temps réel et en 3D, mais je conseille d'essayer sur un compte de moins de 50 entrées, sinon prévoir les sandwiches et les boissons.
Après avoir effectué d'autres tests sur neurozapping, je conclue que ce service n'a ni queue ni tête et redonne tout son sens au mot gadget c'est-à-dire aucun. Le look fil de fer est sobre et élégant, l'animation 3D tient le spectateur en haleine, mais que le compte del.icio.us ait 4 entrées ou 500, cela n'en finit jamais et n'aboutit nulle part. Les seuls évènements notables sont des chargements de pages web ou, plus intéressant, si le lien stocké pointe par exemple vers un fichier pdf, celui-ci est téléchargé dans la foulée. Cependant tout se passe dans l'opacité la plus totale, sans que l'utilisateur ne puisse intervenir. Nous saluerons donc uniquement le côté artistique du bidule.

31/03/2008

E-learning : tutoriels multimedia sur logiciels gratuits de data-mining

E-learning : tutoriels multimedia sur logiciels gratuits de data-mining: "e-Learning
Formation outils veille technologique"

Des résumés succincts d'outils de veille, dont voici la liste au 31/03/08 :
- Copernic Desktop : logiciel de recherche web
- FeedReader : agrégateur RSS
- FreeMind : cartographie heuristique (mind map), modélisation et publication en html ou Flash
- JabRef : gestionnaire de bases bibliographiques
- HTTrack : aspirateur de sites
- Agna : analyse de réseaux sociaux
- TextStat : Nombre d'occurences de lettres ; de mots ; de phrases dans un texte, etc..

Tous les didacticiels sont gratuits à l'instar des logiciels et la liste grandira. Attention le lien pour les tutoriels est dans la zone lien. Cliquer sur un nom pour accéder à la page de téléchargement.