Api ebay regex yahoo pipes et bibliophilie sont dans un bateau

 

Petit exercice de style pour extraire d'ebay-France les livres anciens antérieurs à 1800. Pour cela, j'ai utilisé un Yahoo Pipe appelé Ebay Search que j'ai modifié car il s'intéressait aux disques sur ebay US. Dans l'extrait ci-dessous j'ai surligné les champs modifiés :

La version originale comprenait un filtrage sur un mot contenu dans le titre, en saisie facultative.

Il a fallu ensuite rajouter autre un filtre permettant d'éviter les ouvrages postérieurs à 1799 et le tour était joué.

J'ai bien sur laissé ce Yahoo Pipe en libre copie à cette adresse.

Enfin, on peut diffuser le résultat entre autres sur une page personnalisée Google, sous l'appellation badge  (google gadget) comme illustré ci-dessous :

Seismes et recuperation des donnees

Le grave séisme qui s'est produit ce matin à 03h30 heure locale dans les Abruzzes italiennes m'amène à effectuer une investigation des outils informatiques destinés à synthétiser ce type de données et accessibles au grand public.

Par exemple, le BRGM : Bureau de Recherches Géologiques et Minières, à travers son site spécialisé SisFrance fournit des tableaux et des cartes dont les représentations sont

privées et gratuites effectuées exclusivement dans un cercle de famille.

Dans le cas de données tabulaires, après avoir sélectionné un département, on peut donc construire une liaison vers un document Excel, par exemple :

L'image ci-dessus est extraite d'Excel 2007 mais la fonction existait déjà dans la version précédente. Comme on peut le voir, dans le menu Données, cliquer sur à partir du Site Web, ensuite coller l'adresse de la page dans laquelle se trouvent les données. Excel détectera les tableaux et les marquera d'une flèche sur laquelle il faudra cliquer pour effectuer la sélection, puis importer. Le lien est conservé dans le document et un clic sur Actualiser tout le remet à jour (peut être reglé par le bouton Propriétés de la fenêtre Importer).

Les Yahoo Pipes peuvent également réceptionner ces données comme le montre l'image ci-dessous :

Cependant la mise en forme finale de ces données est nettement plus ardue, mais plus grande est la récompense, car le flux final peut être converti en RSS ; en PHP ; JSON ; et bien d'autres formats.

Source du test ci-dessus.

Un petit avantage d'Excel sur les Yahoo Pipes, est que le corporatif tableur sait parfaitement lire une page php et en extraire les données tabulaires voulues, alors que les Pipes non, mais ils font tant d'autres choses !

Dans un autre registre, et plus facilement accessible, penser au site américain de recensement des séismes : USGS qui fournit gratuitement sur sa page de téléchargement plusieurs fichiers de type kmz, lisibles par Google Earth et listant par exemple les secousses mondiales des 7 derniers jours triées par profondeur de l'épicentre, ou bien plus historique, la description du tremblement de terre de San-Francisco en 1906.

Yahoo Pipes Episode IV : Regex

Ajouter une chaîne à la fin d'une autre :
Grâce à la dernière ligne de la fenêtre regex ci-dessus, on remplace tous les caractères de la chaîne item.title, par ces mêmes caractères, suivis de la variable pubDate.


Lien vers le Pipe complet

Yahoo Pipes : Regex : exemple théorique , épisode III

Il s'agit simplement de la traduction de l'exemple dans la
documentation anglaise sur l'utilisation de regex.
Le but de la manœuvre est d'extraire d'un texte
une année sur 4 chiffres. Voici la commande :

^In\s+(\d{4}),.+

Traduction du hiéroglyphe :

^In signifie "tout texte commençant par In
\s signifie tout caractère espace
+ signifie une ou plusieurs occurrences de ce
qui précède donc 1 ou plusieurs blancs
( signifie que ce qui est entre parenthèses sera stocké
pour usage ultérieur
\d{4} signifie exactement 4 chiffres (d pour digits)
, signifie ... une virgule
     . signifie n'importe quel caractère
+ signifie une ou plusieurs occurrences
(donc de n'importe que caractère)

Conclusion :

Nous cherchons 4 chiffres précédés de 1 ou plusieurs espaces,
eux-mêmes précédés de In, ces derniers caractères formant
le début du texte ; les 4 chiffres sont suivis d'une
virgule, puis de n'importe quoi.

Si nous les trouvons, ils seront stockés dans $1
variable 1), un autre parenthésage dans la même
commande donnera $2 etc.

J'ai fabriqué un pipe simple pour illustrer le propos.

Lien vers la documentation originale en anglais: ici

Yahoo Pipes : Regex épisode II

Je viens de parvenir à un résultat 'probant' dans l'utilisation des regex.
En effet, plusieurs fils me parvenaient avec une mauvaise gestion des
accentués. J'ai donc décidé de rechercher tous les caractères
exotiques et de les remplacer par les caractères correspondants sans
accent. Voir l'image ci-contre

Le problème principal venait du fait que seule la première occurrence
du caractère exotique était modifié dans chaque titre. J'ai donc coché
les 4 cases à droite dans la fenêtre regex et cela a réglé le
problème. Je vais maintenant plonger dans la doc des pipes en anglais
pour trouver laquelle des 4 cases est la bonne et à quoi servent les 3
autres.

Pour accéder au pipe lui-même cliquer ici

Yahoo Pipes : un exemple simple

Les Yahoo Pipes permettent d'extraire, de trier, d'analyser, de synthétiser et bien d'autres mauvais traitements encore, la plupart des données issues d'un site web.
Voici un exemple par l'image :



Dans la fenêtre 1, on peut voir une liste de flux RSS : il s'agit des sources de données, de type RSS, listées par la fonction .

La fenêtre 2 permet grâce à ,d'effectuer un filtrage des données issues de la fenêtre précédente et de n'accepter (Permit) que les titres ou descriptions des items Rss, c'est-à-dire des articles, contenant les mots 'Sarkozy', 'Princen', et 'Kerviel'.

La fenêtre 3 permet de supprimer les articles redondants. Il se peut en effet que différentes sources Rss pointent vers un même article, inutile de les lister deux fois.

Quant à la fenêtre 4, obligatoire et gérée automatiquement, elle signale la fin du Yahoo Pipe.

Le résultat est visible ici.

D'autres exemples suivront, au gré de mon auto-formation !



Dans le but de réunir (agréger toujours !) les compétences dans ce domaine, je viens de créer une liste sur les Yahoo Groups bien sûr...