Une étude menée par 3Sharp (une société qui aide les entreprises à gérer le contenu des démos) et publiée le 27 septembre 2006 a testé la capacité de huit solutions anti-hameçonnage à bloquer les sites d’hameçonnage connus, à avertir sur les sites d’hameçonnage et à autoriser les sites légitimes. L’étude, commandée par Microsoft et intitulée « Gone Phishing : Evaluating Anti-Phishing Tools for Windows », a conclu qu’Internet Explorer et Netcraft Toolbar étaient les outils anti-hameçonnage les plus efficaces.
Une étude indépendante ultérieure menée par le CyLab de l’université Carnegie Mellon intitulée « Phinding Phish : An Evaluation of Anti-Phishing Toolbars » et publiée le 13 novembre 2006 a testé la capacité de dix solutions anti-hameçonnage à bloquer ou à avertir des sites de phishing connus et à ne pas bloquer ou avertir des sites légitimes (ne pas présenter de faux positifs), ainsi que la facilité d’utilisation de chaque solution. Parmi les solutions testées, Netcraft Toolbar, EarthLink ScamBlocker et SpoofGuard ont été en mesure d’identifier correctement plus de 75 % des sites testés, Netcraft Toolbar obtenant le meilleur score sans identifier à tort des sites légitimes comme étant des sites de phishing. De graves problèmes ont toutefois été découverts avec SpoofGuard, qui a identifié de manière incorrecte 38 % des sites légitimes testés comme étant des sites de phishing, ce qui a conduit à la conclusion que « de telles inexactitudes pourraient annuler les avantages offerts par SpoofGuard dans l’identification des sites de phishing. » Google Safe Browsing (qui a depuis été intégré à Firefox) et Internet Explorer ont tous deux obtenu de bons résultats, mais lors du test de la capacité à détecter les nouveaux sites de phishing, la barre d’outils Netcraft a obtenu un score de 96 %, tandis que Google Safe Browsing a obtenu un score de 0 %, peut-être en raison de problèmes techniques avec Google Safe Browsing. Les tests ont été effectués à l’aide de données sur le phishing obtenues auprès de l’Anti-Phishing Working Group, de PhishTank et d’un fournisseur de filtrage de courrier électronique non nommé.
La dernière étude, menée par SmartWare pour Mozilla et publiée le 14 novembre 2006, a conclu que le filtre antiphishing de Firefox était plus efficace qu’Internet Explorer de plus de 10 %. Les résultats de cette étude ont été remis en question par les critiques, qui ont fait remarquer que les données des tests provenaient exclusivement de PhishTank, qui est lui-même un fournisseur de services anti-hameçonnage. L’étude n’a comparé qu’Internet Explorer et Firefox, laissant de côté (entre autres) la barre d’outils Netcraft et le navigateur Opera, qui utilisent tous deux les données de PhishTank dans leurs solutions anti-hameçonnage. Cela a conduit à des spéculations selon lesquelles, avec les données de test limitées, Opera et Netcraft Toolbar auraient tous deux obtenu un score parfait s’ils avaient fait partie de l’étude.
Alors que les deux rapports directement mentionnés ci-dessus ont été publiés à seulement un jour d’intervalle, Asa Dotzler, directeur du développement communautaire chez Mozilla, a répondu aux critiques du rapport commandé par Mozilla en disant : » donc vous êtes d’accord pour dire que les données légitimes les plus récentes placent Firefox en tête. C’est suffisant pour moi. »
Depuis que ces études ont été menées, Microsoft et Opera Software ont commencé à accorder des licences pour les données anti-hameçonnage de Netcraft, mettant l’efficacité de l’anti-hameçonnage intégré à leur navigateur à égalité avec la Toolbar de Netcraft et au-delà.