Nella stessa collana:
L’antispam secondo i provider europei
23 dicembre 2009
E’ stata pubblicata oggi una ricerca di ENISA (European Network and Information Security Agency) che ha intervistato 92 provider europei, che gestiscono complessivamente oltre 70 milioni di caselle email. L’argomento era lo spam, come è percepito e quali sono le scelte dei provider per combatterlo. Un report quindi interessante non solo per gli ISP, ma anche per chi spedisce grossi volumi di email e cerca di evitare falsi positivi.
Secondo la ricerca, lo spam, prima che per gli aspetti di banda e costi dell’infrastruttura, incide prima di tutto sulla qualità del servizio percepita dai clienti. La capacita di filtrare correttamente lo spam evitando falsi positivi è spesso una importante leva competitiva per i provider, per questo gli investimenti importanti. Non solo in infrastuttura e manutenzione: in media il 10% delle chiamate al servizio di help desk riguardano proprio lo spam.
Nonostante questo, il 20% dei provider non ha ancora attivato un abuse desk per gestire le segnalazioni di spam.
Per individuare lo spam in uscita dai provider, queste sono le tecniche più usate, in media:
- tenere traccia di lamentele e segnalazioni 72%
- monitorare i picchi di traffico 55%
- traffico anomalo in relazione all’autenticazione 50%
- servizi esterni per la reputazione 45%
- spam trap 38%
Da notare che le spam trap sono usate dal 70% dei grandi provider.
Per individuare e bloccare lo spam in ingresso, le tecniche usate sono basate su:
Dalla ricerca emerge che i provider più grandi stanno incrementando anno dopo anno l’uso dei sistemi di reputazione e di autenticazione. In particolare il DKIM è salito in 2 anni dal 5% al 17%, mentre il Sender ID Framework è passato dal 5% al 9%. L’SPF si attesta al 38%. Il reverse-Mx è usato da circa il 25% dei provider: mi sarei aspettato una percentuale ben più alta.
Cosa succede una volta che è rilevata un’origine di spam? Il 68% degli ISP contatta il provider che invia spam, arrivando a bloccare (33%) a livello SMTP o di IP nel caso il problema non venga risolto.
Come viene costruita la reputazione di un IP? I più grossi provider usano un database mantenuto internamente, il 55% usa database disponibili gratuitamente mentre circa il 20% utilizza database a pagamento.
Sulle blacklist, sebbene siano uno degli strumenti più usati, vi sono parecchie perplessità. Circa il 75% dei provider, che diventa il 100% guardando i più grandi, ha visto infatti propri IP registrati o mantenuti in queste blacklist per “errore”. Uscirne è difficile per oltre il 60% dei provider più grandi.
Il meccanismo dei Feedback Loop è gestito da circa il 30% dei provider, percentuale che sale al 50% per i più grandi. Oltre il 60% utilizza il formato ARF per processare le segnalazioni di spam.
Un terzo dei provider ritiene che la normativa vigente è contradditoria, perchè richiede la consegna dei messaggi email e la protezione della privacy, che però spesso necessita dell’analisi del contenuto dei messaggi, con impatto quindi sulla privacy.
Dall’applicazione dei vari metodi, ben rappresentati nello schema sotto, risulta alla fine che solo il 4,4% delle email viene effettivamente consegnata ai destinatari.
La guerra contro lo spam quindi continua e la strada segnata pare sia comunque quella legata ai sistemi di autenticazione legata a sistemi di reputazione. MailUp supporta le principali tecnologie (SPF, SenderID, DKIM) ed è inoltre in grado di processare automaticamente anche i feedback loop in formato ARF, grazie all’accordo con oltre 10 differenti provider.
La ricerca integrale è disponibile qui:
http://www.enisa.europa.eu/act/res/other-areas/anti-spam-measures/studies/spam-survey
I dati combaciano abbastanza con una diversa ricerca, svolta a fine 2008 dall’MAAWG:
http://www.maawg.org/about/MAAWG_2008-Q3Q4_Metrics_Report.pdf
Antispam: le parole da evitare in Outlook
23 agosto 2009
Microsoft ha pubblicato l’elenco delle parole chiave - in inglese - che causano immediatamente la classificazione del messaggio come spam all’interno di Outlook. Si tratta di un elenco molto ristretto e parziale, poichè è risaputo che in realtà gli algoritmi utilizzati sono ben più complessi (Smartscreen Technology di MS dice di valutare oltre 500.000 parametri per identificare lo spam).
Può comunque essere utile dare una scorsa veloce per assicurarsi di averle evitate.
L’elenco delle keyword è questo:
Junk E-mail Filter
First 8 characters of From are digits
Subject contains “advertisement”
Body contains “money back ”
Body contains “cards accepted”
Body contains “removal instructions”
Body contains “extra income”
Subject contains “!” AND Subject contains “$”
Subject contains “!” AND Subject contains “free”
Body contains “,000″ AND Body contains “!!” AND Body contains “$”
Body contains “Dear friend”
Body contains “for free?”
Body contains “for free!”
Body contains “Guarantee” AND (Body contains “satisfaction” OR Body contains “absolute”)
Body contains “more info ” AND Body contains “visit ” AND Body contains “$”
Body contains “SPECIAL PROMOTION”
Body contains “one-time mail”
Subject contains “$$”
Body contains ”
Body contains “order today”
Body contains “order now!”
Body contains “money-back guarantee”
Body contains “100% satisfied”
To contains “friend@”
To contains “public@”
To contains “success@”
From contains “sales@”
From contains “success.”
From contains “success@”
From contains “mail@”
From contains “@public”
From contains “@savvy”
From contains “profits@”
From contains “hello@”
Body contains ” mlm”
Body contains “@mlm”
Body contains “///////////////”
Body contains “check or money order”
Adult Content Filter
Subject contains ” xxx”
Subject contains “over 18″
Subject contains “over 21″
Subject contains “adult s”
Subject contains “adults only”
Subject contains “be 18″
Subject contains “18+”
Body contains “over 18″
Body contains “over 21″
Body contains “must be 18″
Body contains “adults only”
Body contains “adult web”
Body contains “must be 21″
Body contains “adult en”
Body contains “18+”
Subject contains “erotic”
Subject contains “adult en”
Subject contains ” sex”
Body contains ” xxx ”
Body contains ” xxx!”
Subject contains “free” AND Subject contains “adult”
Subject contains “free” AND Subject contains “sex”
Da notare che questo elenco pare non sortire lo stesso effetto su Hotmail: abbiamo provato ad infarcire un messaggio di keyword negative - sufficienti a farlo bloccare in Outlook - e invece su Hotmail è arrivato comunque arrivato in Inbox!
La prima email contiene numerose keyword tipiche dello spam, eppure non è stato filtrato da Hotmail, grazie alla reputazione positiva del server di invio. Clicca per ingrandire.
Lo stesso test, su indirizzi Gmail, ha dato esito positivo: cioè il messaggio non è stato ne’ bloccato, ne’ incasellato nella cartella Spam/Junk.
Come mai? Gli ISP (e MSP - mail service provider), a differenza dei software client, possono contare su maggiori informazioni legati alla reputazione dell’IP di provenienza, oltre che del dominio di provenienza se autenticato DKIM/SPF. Se il messaggio viene da fonte sicura, i filtri antispam basati sulle keyword e in generale sul contenuto del messaggio vengono saltati, con un duplice vantaggio:
- si evitano falsi positivi (messaggi erroneamente identificati come spam)
- si evita un carico macchina eccessivo (l’analisi del contenuto è comunque complessa e quindi affamata di CPU)
Da notare anche la presenza del List-Unsubscribe header, che fa apparire la dicitura “Sei iscritto a questa mailing list” con il bottone di ” Unsubscribe”.
L’elenco è tratto da: http://office.microsoft.com/en-gb/help/HA010450051033.aspx
Mentre per un elenco più esteso di keyword da usare con moderazione è disponibile qui:
http://www.mailup.it/come-creare-email-html.asp
Gmail supporta il List-Unsubscribe
28 luglio 2009
Finalmente anche Gmail inizia ad supportare il List-Unsubscribe header. Si tratta di un header che contiene un link (di tipo mailto: e/o http:) che permette la disiscrizione automatica.
Questa possibilità verrà gradulamente offerta a tutti gli speditori che:
- hanno il list-unubscribe header
- autenticano i messaggi con DKIM
- hanno una buona reputazione
Tutti i requisiti sono ad oggi completamente supportati da MailUp.
L’effetto per l’utente finale è la possibilità di scegliere, nel momento in cui clicca su “Report Spam”, se provvedere anche alla Disiscrizione. In questo modo viene attivata la procedurea che disiscrive l’indirizzo nel DB del mittente.
Lo scopo è quello di ridurre i falsi positivi, cioè distinguere le disiscrizioni da mailing list legittime dallo spam che invece è bene segnalare direttamente come spam, pur mantenendo la comodità di un bottone immediato, sicuro e a portata di click.
Esempio di applicazione del List-Unsubscribe header da parte di Gmail
Inoltre salvaguardia anche l’utente finale che in questo modo è sicuro di non ricevere altri messaggi da quell’azienda, che in caso contrario potrebbe - ad esempio cambiando mittente - aggirare il filtro antispam appena impostato.
Hotmail già da tempo supporta questa funzionalità con successo, e MailUp è stato tra i primi a crederci, aderendo allo standard del List-Unsubscribe da oltre un anno: http://www.list-unsubscribe.com/2008/07/mailup-adds-sup.html
Nella tendina delle azioni sarà inoltre disponibile un link ulteriore nel menu “Mostra dettagli”, con “Disiscriviti da questo mittente”.
Questa novità viene rilasciata gradualmente per evitare che tale funzionalità venga sfruttata da spammer, che riuscendo a spacciarsi per mittenti autorevoli (cosa comunque molto difficile grazie al DKIM), possano sfruttare il list-unsubscribe per rilevare le caselle più attive. Se questo dovesse accadere, il sistema si può autoregolare poichè al crescere dei report spam la reputazione del mittente (che è autenticato quindi meno soggetto a contraffazione) scende, e di conseguenza la funzione del list-unsubscribe viene disabilitata.
In MailUp è possibile distinguere tra gli utenti che si disiscrivono (via link standard o via list-unsubscribe) da quelli che invece cliccano sul bottene “report spam”, che vengono chiamati “abuse reports” all’interno delle statistiche.
Nuovi Principi di buon comportamento da OTA
5 giugno 2009
La OTA (Online Trust Alliance) sta per pubblicare gli “Online Trust Principles”, indicando una strada ben definita di autoregolamentazione che è auspicabile sia seguita da tutte le aziende che operano online.
I principi sono divisi in 3 categorie:
1) Infrastruttura
2) Dati
3) Trattamento dei dati personali
Alcuni di questi riguardano l’uso delle email e il trattamento dei dati personali. In particolare:
a) Le aziende sono tenute a implementare tecniche di autenticazione email su tutti i domini, inclusi anche quelli non utilizzati per l’invo di email. In particolare sono da attivare l’SPF o SenderID e/o il DKIM / Domain Keys. Da notare che per l’SPF non è ritenuto valido il parametro ?all. (per i Clienti MailUp sono gratuiti).
b) Criptare tutti i dati delle liste nel momento in cui sono trasferite ad enti/sistemi esterni
c) Fornire agli utenti iun’informativa chiara, sintetica e leggibile, linkata alla versione estesa.
d) L’informativa dovrebbe fornire indicazioni sulla frequenza e il tipo di contenuto inviato.
e) Adottare programmi di certificazione sulla sicurezza, la privacy, la gestione delle liste e delle disiscrizioni. (Questa raccomandazione è un po’ interessata, ndr)
La bozza dei principi, che è allo stadio finale di discussione, è disponibile qui:
https://www.otalliance.org/resources/principles.html
Come Yahoo! filtrerà le email
29 maggio 2009
Ad oggi il programma di Feedback Loop di Yahoo! è aperto solo a chi firma i messaggi con DKIM o DK. A breve Yahoo! inizierà a raccogliere informazioni anche sulla reputazione degli speditori, in particolare:
- per chi firma, la reputazione sarà differenziata e combinata tra dominio (usando s=) e IP
- per chi non firma, la reputazione sarà legata solo all’IP
In questo modo, gli speditori che usano MTA su IP condivisi con altri clienti, saranno più a rischio di penalizzazione se non firmano i loro messaggi.
La reputazione, a parte che da dati storici, sarà poi sempre influenzata dai soliti parametri come i complaints (abuse report), i bounce e le spamtrap.
Gli speditori possono avere un unico dominio, indicato con d=, e quindi differenziare le reputazioni usando il selector s=.
Inviando circa 5-10.000 messaggi al giorno verso Yahoo! per 3-4 settimane, lo speditore potrà costruirsi una buona reputazione.
MailUp supporta le firme DKIM nativamente. Per chi vuole utilizzare envelope-sender personalizzati, possiamo firmare i messaggi usando il dominio del cliente, che ovviamente dovrà intervenire sul proprio DNS per registrare la firma. Un pratico tool per generare il record DNS è questo: http://www.dnswatch.info/dkim/create-dns-record
