Evidence que Qwant et DuckDuckGo se fournissent en résultats chez Bing

Nous allons mettre en évidence que Qwant et DuckDuckGo se fournissent en résultats chez Bing.

Pour cela, il suffit de trouver une page web qui retourne le nom (user-agent) du robot utilisé pour parcourir le web et remplir la base de résultats du moteur de recherche.

Le site http://www.useragentstring.com/ est un bon candidat. Le nom du logiciel utilisé pour visiter la page web est directement retourné dans le titre de la page.

Regardons donc comment est référencée cette page sur les principaux moteurs de recherche:

Google utilise Googlebot.

Bing utilise Bingbot.

Qwant utilise Bingbot. Démasqué !

DuckDuckGo utilise aussi Bingbot !

Ceci explique comment ces sociétés peuvent tourner avec peu de moyens. Elles prennent des données sur d’autres moteurs de recherche pour compléter leur résultats.

C’est impossible de se payer une indexation du web aussi rapide et étendue que ce que font Google et dans une moindre mesure Microsoft sans moyens financiers colossaux. Je comprends donc que pour démarrer avec son petit robot et ne pas faire pâle figure, il faut compléter ses résultats.

Donc question indépendance… pour l’instant, on repassera. Coté vie privée, ces 2 « méta-moteurs » indiquent ne pas identifier leurs utilisateurs par des cookies. Ils se financent par l’affichage de publicités non ciblées.

A ce jeu, le logiciel libre searx fait aussi bien pour la vie privée, permet d’avoir les résultats en provenance de Google plutôt que Bing, et en plus sans publicité !

Regardons maintenant d’autres moteurs de recherche qui utilisent leur propre robot indexeurs :

Yandex utilise Yandexbot

Baidu utilise Bauduspider

Exalead utilise Exabot

 

14 réactions sur “ Evidence que Qwant et DuckDuckGo se fournissent en résultats chez Bing ”

  1. Osine

    OK mais je ne vois pas où est le problème. Depuis que je connais Qwant, ça se sait qu’il utilise les résultats d’autres moteurs de recherche. L’avantage réside dans le respect de la vie privée.
    J’utilise Startpage au quotidien et il fait pareil (GoogleBot).

    Au passage, Searx de la Quadrature peut aussi passer par Bing : https://framapic.org/5G0RtaSYK58s/UHoyDh7q0tE9.PNG
    Idem pour Framabee : https://framabee.org/

  2. Tuxicoman Auteur Article

    C’est juste que quand Macron le surnome de « google français en marche ». Il faut bien saisir le gouffre entre un moteur de recherche avec son propre index et faire un metamoteur qui n’est qu’une interface web à de Google ou Bing.

  3. Sté

    Bienvenu chez les humains ^^

    C’est comme ça que tourne notre monde peut être ?

  4. Name

    Ça permet aussi de prouver que Qwant utilise toujours Bing sur la nouvelle version, qu’il n’a pas rattrapé le retard.
    On comprend mieux pourquoi Exalead n’a pas séduit, même au sein du projet Quæro.

  5. Osine

    @Tuxicoman ok, je n’avais pas vu le lien avec Macrounet :)

  6. Mac

    Juste une remarque concernant Qwant, il n’est pas question de cacher depuis le début que ce moteur utilise Bing en complément de son propre index.
    Je pense que même si Qwant est présenté comme le « google à la française », google ne sait pas fais en un jour. Les moyens actuels de qwant sont encore très loin de ce qu’il faut pour indexer l’intégralité du web.
    Je crois avoir compris que pour combler ce manque de moyen Qwant utilise les résultats de Bing pour des nouvelles recherches (comme celle du test) et profite de cette requête pour découvrir une nouvelle requête à indexer. Donc qwantify (le bot de qwant) passera certainement prochainement visiter le site qui a servi au test. En gros, utiliser qwant permet d’enrichir l’index de Qwant. Cette façon de faire (si c’est bien comme ça que cela fonctionne) permet à Qwant de réserver ses moyens techniques limités à l’indexation de ce qui est vraiment important pour ses utilisateurs.
    Voilà ce que je crois avoir compris du fonctionnement de Qwant.

  7. toto

    Belle astuce !

    Petite remarque, il ne faut pas confondre « duckduckgo utilise bingbot » avec « duckduckgo n’utilise que bingbot ». c’est marqué dans la doc de ddg[1] qu’ils se fournissent auprès de différentes sources comme Bing, Yahoo, et Yandex, mais aussi yelp, wikipedia et bien d’autres.

    Ça pourrait valoir la peine de poser la question à Gabriel Weinberg ( https://www.reddit.com/user/yegg ) de savoir pourquoi c’est bingbot qui ressort et pas le yandexbot.

    Par exemple là il réponds à propos de leur partenariat avec yahoo: https://www.reddit.com/r/duckduckgo/comments/4lgda4/duckduckgo_is_using_yahoo_for_searches_now/

    [1]: https://duck.co/help/results/sources

  8. Mac

    Je pense que leurs moyens ne leur permettent pas de scroller le web au quotidien pour l’ensemble des requêtes (même Google ne le fait pas il faut parfois plusieurs semaines pour qu’un SERP change, après en avoir optimisé les données)
    Affaire à suivre…

  9. Mac

    Je viens d’ailleurs de cliquer sur ton lien et je note un changement :
    « UserAgentString.com – unknown version » (surement que qwantify n’est pas déclaré comme un robot connu)
    Si j’ai compris comment marche cette page, il est possible que ça confirme la façon de faire.

  10. Tuxicoman Auteur Article

    Effectivement. Il fallait attendre quelque jours.

    Bing a aussi finalement indexé mon blog. Qwant aussi du coup.

    Ca bouge.

  11. Ping Bing (et Qwant) privilégient un site d’arnaque quand on cherche « Firefox » – Tuxicoman

  12. Sté.

    https://www.qwant.com/?q=Mon%20adresse%20IP%20-%20Korben%20Services&t=all

    Donne:

    Mon adresse IP Adresse IP locale Adresse IP publique 157.55.39.73 Nom d’hôte msnbot-157-55-39-73.search.msn.com FAI Microsoft bingbot Nœud réseau rattaché

    Ca va faire 5 ans que Qwant est lancé :p 50millions d’euros de financement pour utiliser Bing, et pour faire diversion, ils font plein d’annoncent de produits qui n’arrivent jamais (Qwant mail , Qwant music toujours aussi naze, open source des algo MDR), pour toujours qu’on parle d’eux dans la presse, très très fort.

    Et donc au final, l’argent public français, va ….. à une firme américaine (Bing + Youtube + Twitter social + Amazon shopping).

  13. Ping la carte de fidélité et le profilage. Bienvenue à bord… – Les moutons enragés

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.