Il peut être utile, dans bien des cas, de surveiller l’activité de notre cher Google (ou de ses amis SERPs divers et variés) sur son(/ses) sites. Pour ce faire je n’ai pas trouvé mieux qu’un outil, fait maison et installé sur la quasi-totalité de mes sites.

Comme je ne suis pas avare de mes idées je vais vous détailler un peu le fonctionnement dudit outil et vous en donner les sources afin que vous puissiez l’installer éventuellement sur votre site.

Se baser sur l’user-agent

Comme souvent quand on cherche à définir un comportement spécifique pour un type de visiteur particulier il suffit de se baser sur le user-agent de celui-ci. Pour rappel le user-agent d’un navigateur (ou d’un bot d’ailleurs) est une chaine de caractères qui identifie l’outil utilisé pour accéder à un site.

En PHP on peut le récupérer simplement avec la variable super globale $_SERVER et plus précisément avec $_SERVER['HTTP_USER_AGENT'].

Par exemple, si vous utilisez Firefox 3.6 sous Windows le user-agent envoyé à tous les sites que vous visitez sera : Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.9.2) Gecko/20100115 Firefox/3.6

A partir de là, et sachant que chaque Crawler (les bots qui visitent inlassablement le net pour indexer le contenu) utilisent des user-agent bien connus il est simple de les surveiller.

Un script à inclure sur toutes les pages

Pour que le script ait un quelconque intérêt il faut bien sûr que vous l’ajoutiez à toutes vos pages. La bonne nouvelle c’est que le script en question n’affiche rien à vos visiteurs et vous permet simplement de remplir un fichier html de votre choix dont vous seul connaitrez l’adresse – si vous êtes aussi parano que moi vous pouvez même le mettre dans un dossier protégé par .htaccess : les connexions de notre script à ce fichier se passant en local rien ne transitera par le protocole HTTP.

L’idéal pour que le script soit utilisé sur toutes vos pages est d’inclure celui-ci directement dans un fichier de config, déjà inclu sur la totalité de vos pages. Pour ma part j’ai choisi le fichier dans lequel je défini les paramètres de mon site et qui comporte entre autre les informations de connexion à la base de données.

Juste au cas où, je vous rappèle la syntaxe à utiliser pour inclure le script :

<?php include « chemin/script.php »; ?>

Et dans le script on met quoi ?

C’est vrai que là à part inclure un fichier vide sur toutes vos pages ça n’a pas grand intérêt comme article…

Le plus simple c’est de regarder l’algo de ce que l’on veut que le script fasse :

- Regarder si le user agent-appartient à une liste de bots « surveillés »
- Si c’est le cas ajouter un marqueur de cette visite dans un fichier
- Pour éviter les mauvaises surprises, limiter la taille de ce fichier à un certain nombre d’enregistrements

Regarder si l’user-agent est intéressant

$bots = array(« crawler », »Googlebot », »Scooter », »Slurp »);

for($i=0, $iMax=count($bots); $i<$iMax; $i++)
{
if(strpos($_SERVER['HTTP_USER_AGENT'],$bots[$i]))
{
//le code ici
}
}

Les bots à surveiller sont simplement dans un array ($bots) sur lequel on va boucler pour vérifier si le user-agent contient la chaine de caractères qui correspond. Si c’est le cas, on va rentrer dans le vif de notre script : l’ajout d’un marqueur de visite dans un fichier.

Créer un marqueur de la visite

Là encore rien de bien compliqué, à ceci près que l’on va en profiter pour vider systématiquement le fichier et en limiter la taille à un certain nombre d’enregistrements. Si vous ne faites pas cela et que le fichier devient trop conséquent il pourrait bloquer le chargement du reste des pages et empêcher aux bots de les visiter… Ce qui est à peu près le contraire de ce que l’on veut faire.

if ($_SERVER['QUERY_STRING'] != «  »)
$url = « http:// » . $_SERVER['SERVER_NAME'] . $_SERVER['PHP_SELF'] . « ? » . $_SERVER['QUERY_STRING']. «  »;
else
$url = « http:// » . $_SERVER['SERVER_NAME'] . $_SERVER['PHP_SELF']. «  »;

$f = fopen(« robots.html », »r+ »);
$prev=file_get_contents(’save.html’);
$prev = explode(‘<br />’, $prev);
$prev = array_splice($prev,0, 15);
$prev = implode(‘<br />’, $prev);

rewind($f);
ftruncate($f, 0);
fwrite($f, ‘[ '.date("d/m/Y H:i").' | '.$_SERVER['REMOTE_ADDR'].’ | ‘.$bot.’ ] : <a href= »‘.$url.’ »>’.$url.’</a><br />’. »\r ».$prev);
fclose($f);

Petite explication rapide avant de vous donner un lien pour télécharger le script : on commence par récupérer l’url complète à laquelle le bot essaye d’accéder. Celle-ci est stockée dans la variable $url et sera réutilisée au moment d’insérer une nouvelle ligne dans le fichier.

On récupère ensuite le contenu du fichier déjà existant sous la forme d’une chaine (file_get_contents) que l’on transforme en tableau (explode). On réduit la taille de ce tableau à 15 enregistrements avec la fonction array_splice et on le retransforme en chaine de caractères avec implode.

Ensuite on vide le fichier en plaçant le pointeur de lecture en début de fichier (fseek) et en vidant tout ce qui suit (ftruncate). Il ne reste plus qu’à ajouter notre nouvelle ligne suivie des 15 anciennes que l’on souhaitait garder et à refermer le fichier (fclose).

N’oubliez pas de donner les droits en écriture à Apache sur le fichier html sous peine de voir le script ne pas fonctionner et une belle erreur s’afficher pour les bots.

Pour tester le script, il vous suffit de changer votre user-agent – soit en utilisant une extension firefox très sympathique : user-agent switcher – soit en modifiant la chaine general.useragent.extra.firefox dans le about:config

Et pour les plus feignants d’entre vous : un petit fichier zip contenant les deux fichiers nécessaires à la mise en place de mouchard : [script].

Pour accéder à des endroits inaccessibles avec les voitures de Google street view, Google a décidé d’utiliser des vélos et des forçats.

Aujourd’hui, Google a posté sur son service d’hébergement de vidéo Youtube une vidéo dudit vélo que je vous livre ici brute de décoffrage :

On peut voir que les jours où les employés de Google avaient la belle vie sont finis, et il est permis de plaindre le pauvre homme qui a déjà l’air d’en baver pour faire le tour de ces dolmens.

Hier à 21h37 (ils travaillent tard les PR chez Google), une annonce que l’on espérait tous a fait son apparition sur le blog officiel de Google : l’annonce d’un OS par Google.

La nouvelle théorie de l'évolution ?

On en sait encore assez peu, mais les informations devraient arriver assez vite et en masse puisque le fameux OS (Google Chrome OS de son petit nom) est attendu pour bientôt avec une  distribution, installé sur des netbooks, prévue pour la deuxième moitié de 2010.

D’un point de vue technique Google va se baser sur un kernel Linux et «repenser ce qu’un OS devrait être» pour améliorer l’expérience utilisateur. Connaissant Google il y a fort à parier qu’ils ne parlent pas juste d’ajouter de l’herbe sur les fenêtres façon Windows Vista…

Le système, bien que se confondant parfois avec Android est basé sur un autre type d’utilisation et d’utilisateur : Google le destine avant tout aux netbooks et plus largement au desktops. Le tout sera open-source et l’on peut donc rapidement espérer des adaptations en tout genre.

Serait-ce (enfin) l’arrivée du cloud computing ?

Dans son communiqué, Google insiste, tout un paragraphe durant, sur la rapidité à se connecter à internet (en quelques secondes, boot compris) et sur une expérience qui prendrait place sur le web. On peut imaginer dès lors une version offline de Google Docs qui se synchroniserait automatiquement à la connexion à Internet comme existe déjà Offline Gmail ainsi que d’autres applications habituellement installées sur le PC et qui vont peu à peu migrer sur le net.

Au sujet du cloud computing je me posais justement des questions il y a peu : sachant que régulièrement les navigateurs plantent, comment s’assurer que son travail est toujours en sécurité ? Les logiciels aussi subissent les joies des bugs, mais le fait d’ajouter un navigateur dans l’équation augmente forcément le risque…

A ce propos Chrome avait annoncé quelque chose d’intelligent : la création d’une task par onglet. Ce qui permet de ne crasher qu’un onglet à la fois dans le cas où le contenu de celui-ci n’est pas «safe». Nous verrons si cette stratégie, intéressante sur le papier, a été mise en place, et surtout étendue au reste des applications que Google semble vouloir créer.

Un impact sur Linux ?

Google est peut-être une des seules sociétés qui peut lutter à armes égales avec le géant de Redmont. C’est donc à la fois une bonne et une mauvaise nouvelle pour Linux, sur lequel est basé ce nouvel OS.

Une bonne nouvelle parce que la part d’utilisateurs risque d’augmenter quelques peu et ainsi pousser les fabricants de matériel à fournir des drivers corrects voire open-source. De même les développeurs vont commencer à envisager de systématiquement porter leurs applications sous Linux ?

Une mauvaise nouvelle parce que le côté confidentiel de Linux était une des raisons qui le rendaient si sûr. Quel intérêt de programmer un virus si il ne peut s’en prendre qu’à 1% de la population ? Sur ce point il faut rester raisonnable : même si Google prend 1% supplémentaire de part de marché (ce qui est énorme) cela n’en devient pas pour autant intéressant de s’y attaquer. Mais je sens la notion de challenge apparaitre…

Encore un problème de sécurité de nos données personnelles

Et enfin, dans un tout autre registre, nombre d’entre nous vont se reposer la même question qu’à chaque sortie d’un produit Google : qu’en est-il de nos informations personnelles ? Est-ce que maintenant que Google va proposer son propre OS il va se permettre d’analyser nos photos de famille pour savoir de quelle couleur nous proposer les jeans dans les publicités ? Est-ce qu’il va scanner le dossier divx pour nos proposer les bons DVD / BR ?

Avouez que c’est quand même peu probable ! Mais seul l’avenir nous le dira…

Un tableur, en temps normal, sert à faire des calculs, des graphs, et plus généralement à résoudre des problèmes mathématiques complexes. On en a tous utilisé un un jour, certains s’en servent même tous les jours…

Google est, entre autres, un moteur de recherche qui indexe et syndique tout un tas d’informations. A quelques rares exceptions près, on l’utilise tous tout les jours !

Il y a déjà un certain temps de cela Google a créé Google Docs, un ersatz de la solution office fournie entre autres par Microsoft ou OpenOffice. Déjà l’idée de conserver ses documents sur Internet et de pouvoir les éditer à tout moment (cloud computing) était séduisante.

Mais visiblement Google a d’autres projets pour Google Docs.

Je ne sais pas exactement quand cela a été intégré, mais je viens de découvrir une fonction géniale (et je pèse mes mots) du tableur de Google Docs, j’ai nommé GoogleLookup.

L’idée est simple : il s’agit de rapprocher l’indexation de Google avec les feuilles de calcul. En clair, en entrant une formule sous la forme =GoogleLookup(« sujet »; »attribut »), Google se charge de faire une recherche et de fournir un résultat numérique !

La documentation officielle de Google est assez légère, mais on peut noter les utilisation suivantes :

• Countries and Territories (like « Burkina Faso »): population, capital, largest city, gdp
• U.S. States (like « Tennessee »): area, governor, nickname, flower
• Rivers (like « Amazon River »): origin, length
• Cities and Towns (like « Chicago »): state, mayor, elevation
• Musicians (like « John Lennon »): date of birth, place of birth, nationality
• Actors (like « Audrey Hepburn »): date of birth, place of birth, nationality
• Politicians (like « Anwar Al-Sadat »): date of birth, place of birth, nationality
• U.S. Presidents (like « Zachary Taylor »): date of birth, place of birth, political party
• Baseball Players (like « Wade Boggs »): games, at bats, earned run average, position
• Chemical Elements (like « Helium »): atomic number, discovered by, atomic weight
• Chemical Compounds (like « Isopropyl Alcohol »): chemical formula, melting point, boiling point
• Stars (like « Betelgeuse »): constellation, distance, mass, temperature
• Planets (like « Saturn »): number of moons, length of day, distance from sun, atmosphere
• Dinosaurs (like « Velociraptor »): height, weight, when it lived
• Ships (like « USS Chesapeake »): length, displacement, complement, commissioned
• Companies (like « Hewlett-Packard »): employees, ceo, ticker

Tout en précisant que l’on peut faire des essais et tester à peu prêt tout ce qui nous passe par la tête.

Le gros problème, à l’heure actuelle, est qu’il faut quand même penser à vérifier les informations données par la fonction. Avec un essai sur la ville dans laquelle je vis (et qui compte plus de 25.000 habitants) Google me retournait un peu plus de 5600 personnes… Mais je suppose que l’algorithme est amené à évoluer comme l’est celui de l’indexation de Google…

Et de plus, en cliquant sur « More options » vous pouvez choisir entre les sources proposées par Google pour choisir la source qui vous semble la plus fiable.

A noter aussi les fonctions GoogleFinance pour suivre la bourse et GoogleTournament pour suivre la league américaine de Softball.

En savoir plus sur GoogleLookup, GoogleFinance ou GoogleTournament…