Uno studio condotto da 3Sharp (una società che aiuta le imprese a gestire i contenuti demo) e rilasciato il 27 settembre 2006 ha testato la capacità di otto soluzioni anti-phishing di bloccare i siti di phishing conosciuti, avvertire sui siti di phishing, e consentire siti legittimi. Lo studio, commissionato da Microsoft e intitolato “Gone Phishing: Evaluating Anti-Phishing Tools for Windows”, ha concluso che Internet Explorer e Netcraft Toolbar erano gli strumenti anti-phishing più efficaci.
Un successivo studio indipendente condotto dal Carnegie Mellon University CyLab intitolato “Phinding Phish: An Evaluation of Anti-Phishing Toolbars” e rilasciato il 13 novembre 2006 ha testato la capacità di dieci soluzioni anti-phishing di bloccare o avvertire i siti di phishing conosciuti e non bloccare o avvertire i siti legittimi (non mostrare falsi positivi), così come l’usabilità di ogni soluzione. Tra le soluzioni testate, Netcraft Toolbar, EarthLink ScamBlocker e SpoofGuard sono stati in grado di identificare correttamente oltre il 75% dei siti testati, con Netcraft Toolbar che ha ricevuto il punteggio più alto senza identificare erroneamente i siti legittimi come phishing. Gravi problemi sono stati tuttavia scoperti utilizzando SpoofGuard, e ha erroneamente identificato il 38% dei siti legittimi testati come phishing, portando alla conclusione che “tali imprecisioni potrebbero annullare i benefici che SpoofGuard offre nell’identificare i siti di phishing”. Google Safe Browsing (che da allora è stato integrato in Firefox) e Internet Explorer si sono entrambi comportati bene, ma quando si è testata la capacità di rilevare nuovi phishing Netcraft Toolbar ha raggiunto il 96%, mentre Google Safe Browsing ha raggiunto lo 0%, forse a causa di problemi tecnici con Google Safe Browsing. Il test è stato eseguito utilizzando i dati di phishing ottenuti da Anti-Phishing Working Group, PhishTank, e un fornitore di filtraggio e-mail senza nome.
L’ultimo studio, condotto da SmartWare per Mozilla e rilasciato il 14 novembre 2006, ha concluso che il filtro anti-phishing in Firefox era più efficace di Internet Explorer di oltre il 10%. I risultati di questo studio sono stati messi in discussione dai critici, notando che i dati dei test provenivano esclusivamente da PhishTank, che è esso stesso un fornitore di anti-phishing. Lo studio ha confrontato solo Internet Explorer e Firefox, lasciando fuori (tra gli altri) Netcraft Toolbar e il browser Opera, entrambi i quali usano i dati di PhishTank nelle loro soluzioni anti-phishing. Questo ha portato a speculazioni che, con i dati di test limitati, sia Opera che Netcraft Toolbar avrebbero ottenuto un punteggio perfetto se avessero fatto parte dello studio.
Mentre i due rapporti summenzionati sono stati rilasciati a distanza di un solo giorno, Asa Dotzler, direttore dello sviluppo della comunità di Mozilla, ha risposto alle critiche del rapporto commissionato da Mozilla dicendo: “quindi sei d’accordo che i dati legittimi più recenti mettono Firefox davanti. Per me è sufficiente.”
Da quando questi studi sono stati condotti, sia Microsoft che Opera Software hanno iniziato a concedere in licenza i dati anti-phishing di Netcraft, portando l’efficacia dell’anti-phishing incorporato nei loro browser alla pari con Netcraft Toolbar e oltre.