Nous allons mettre en évidence que Qwant et DuckDuckGo se fournissent en résultats chez Bing.
Pour cela, il suffit de trouver une page web qui retourne le nom (user-agent) du robot utilisé pour parcourir le web et remplir la base de résultats du moteur de recherche.
Le site http://www.useragentstring.com/ est un bon candidat. Le nom du logiciel utilisé pour visiter la page web est directement retourné dans le titre de la page.
Regardons donc comment est référencée cette page sur les principaux moteurs de recherche:
Google utilise Googlebot. 
Bing utilise Bingbot.
Qwant utilise Bingbot. Démasqué !
DuckDuckGo utilise aussi Bingbot !
Ceci explique comment ces sociétés peuvent tourner avec peu de moyens. Elles prennent des données sur d’autres moteurs de recherche pour compléter leur résultats.
C’est impossible de se payer une indexation du web aussi rapide et étendue que ce que font Google et dans une moindre mesure Microsoft sans moyens financiers colossaux. Je comprends donc que pour démarrer avec son petit robot et ne pas faire pâle figure, il faut compléter ses résultats.
Donc question indépendance… pour l’instant, on repassera. Coté vie privée, ces 2 « méta-moteurs » indiquent ne pas identifier leurs utilisateurs par des cookies. Ils se financent par l’affichage de publicités non ciblées.
A ce jeu, le logiciel libre searx fait aussi bien pour la vie privée, permet d’avoir les résultats en provenance de Google plutôt que Bing, et en plus sans publicité !
Regardons maintenant d’autres moteurs de recherche qui utilisent leur propre robot indexeurs :
Yandex utilise Yandexbot
Baidu utilise Bauduspider
Exalead utilise Exabot
OK mais je ne vois pas où est le problème. Depuis que je connais Qwant, ça se sait qu’il utilise les résultats d’autres moteurs de recherche. L’avantage réside dans le respect de la vie privée.
J’utilise Startpage au quotidien et il fait pareil (GoogleBot).
Au passage, Searx de la Quadrature peut aussi passer par Bing : https://framapic.org/5G0RtaSYK58s/UHoyDh7q0tE9.PNG
Idem pour Framabee : https://framabee.org/
C’est juste que quand Macron le surnome de « google français en marche ». Il faut bien saisir le gouffre entre un moteur de recherche avec son propre index et faire un metamoteur qui n’est qu’une interface web à de Google ou Bing.
Bienvenu chez les humains ^^
C’est comme ça que tourne notre monde peut être ?
Ça permet aussi de prouver que Qwant utilise toujours Bing sur la nouvelle version, qu’il n’a pas rattrapé le retard.
On comprend mieux pourquoi Exalead n’a pas séduit, même au sein du projet Quæro.
@Tuxicoman ok, je n’avais pas vu le lien avec Macrounet :)
Juste une remarque concernant Qwant, il n’est pas question de cacher depuis le début que ce moteur utilise Bing en complément de son propre index.
Je pense que même si Qwant est présenté comme le « google à la française », google ne sait pas fais en un jour. Les moyens actuels de qwant sont encore très loin de ce qu’il faut pour indexer l’intégralité du web.
Je crois avoir compris que pour combler ce manque de moyen Qwant utilise les résultats de Bing pour des nouvelles recherches (comme celle du test) et profite de cette requête pour découvrir une nouvelle requête à indexer. Donc qwantify (le bot de qwant) passera certainement prochainement visiter le site qui a servi au test. En gros, utiliser qwant permet d’enrichir l’index de Qwant. Cette façon de faire (si c’est bien comme ça que cela fonctionne) permet à Qwant de réserver ses moyens techniques limités à l’indexation de ce qui est vraiment important pour ses utilisateurs.
Voilà ce que je crois avoir compris du fonctionnement de Qwant.
Si ça marchait comme tu le dit, la requête d’aujourd’hui devrait renvoyer « Qwantify » sur cette requête : https://lite.qwant.com/?q=useragentstring.com&t=all
Raté.
Belle astuce !
Petite remarque, il ne faut pas confondre « duckduckgo utilise bingbot » avec « duckduckgo n’utilise que bingbot ». c’est marqué dans la doc de ddg[1] qu’ils se fournissent auprès de différentes sources comme Bing, Yahoo, et Yandex, mais aussi yelp, wikipedia et bien d’autres.
Ça pourrait valoir la peine de poser la question à Gabriel Weinberg ( https://www.reddit.com/user/yegg ) de savoir pourquoi c’est bingbot qui ressort et pas le yandexbot.
Par exemple là il réponds à propos de leur partenariat avec yahoo: https://www.reddit.com/r/duckduckgo/comments/4lgda4/duckduckgo_is_using_yahoo_for_searches_now/
[1]: https://duck.co/help/results/sources
Je pense que leurs moyens ne leur permettent pas de scroller le web au quotidien pour l’ensemble des requêtes (même Google ne le fait pas il faut parfois plusieurs semaines pour qu’un SERP change, après en avoir optimisé les données)
Affaire à suivre…
Je viens d’ailleurs de cliquer sur ton lien et je note un changement :
« UserAgentString.com – unknown version » (surement que qwantify n’est pas déclaré comme un robot connu)
Si j’ai compris comment marche cette page, il est possible que ça confirme la façon de faire.
Effectivement. Il fallait attendre quelque jours.
Bing a aussi finalement indexé mon blog. Qwant aussi du coup.
Ca bouge.
Ping Bing (et Qwant) privilégient un site d’arnaque quand on cherche « Firefox » – Tuxicoman
https://www.qwant.com/?q=Mon%20adresse%20IP%20-%20Korben%20Services&t=all
Donne:
Mon adresse IP Adresse IP locale Adresse IP publique 157.55.39.73 Nom d’hôte msnbot-157-55-39-73.search.msn.com FAI Microsoft bingbot Nœud réseau rattaché
Ca va faire 5 ans que Qwant est lancé :p 50millions d’euros de financement pour utiliser Bing, et pour faire diversion, ils font plein d’annoncent de produits qui n’arrivent jamais (Qwant mail , Qwant music toujours aussi naze, open source des algo MDR), pour toujours qu’on parle d’eux dans la presse, très très fort.
Et donc au final, l’argent public français, va ….. à une firme américaine (Bing + Youtube + Twitter social + Amazon shopping).
Ping la carte de fidélité et le profilage. Bienvenue à bord… – Les moutons enragés
Ping Qwant et la publicité – Tuxicoman