L’antispam secondo i provider europei
23 dicembre 2009
E’ stata pubblicata oggi una ricerca di ENISA (European Network and Information Security Agency) che ha intervistato 92 provider europei, che gestiscono complessivamente oltre 70 milioni di caselle email. L’argomento era lo spam, come è percepito e quali sono le scelte dei provider per combatterlo. Un report quindi interessante non solo per gli ISP, ma anche per chi spedisce grossi volumi di email e cerca di evitare falsi positivi.
Secondo la ricerca, lo spam, prima che per gli aspetti di banda e costi dell’infrastruttura, incide prima di tutto sulla qualità del servizio percepita dai clienti. La capacita di filtrare correttamente lo spam evitando falsi positivi è spesso una importante leva competitiva per i provider, per questo gli investimenti importanti. Non solo in infrastuttura e manutenzione: in media il 10% delle chiamate al servizio di help desk riguardano proprio lo spam.
Nonostante questo, il 20% dei provider non ha ancora attivato un abuse desk per gestire le segnalazioni di spam.
Per individuare lo spam in uscita dai provider, queste sono le tecniche più usate, in media:
- tenere traccia di lamentele e segnalazioni 72%
- monitorare i picchi di traffico 55%
- traffico anomalo in relazione all’autenticazione 50%
- servizi esterni per la reputazione 45%
- spam trap 38%
Da notare che le spam trap sono usate dal 70% dei grandi provider.
Per individuare e bloccare lo spam in ingresso, le tecniche usate sono basate su:
Dalla ricerca emerge che i provider più grandi stanno incrementando anno dopo anno l’uso dei sistemi di reputazione e di autenticazione. In particolare il DKIM è salito in 2 anni dal 5% al 17%, mentre il Sender ID Framework è passato dal 5% al 9%. L’SPF si attesta al 38%. Il reverse-Mx è usato da circa il 25% dei provider: mi sarei aspettato una percentuale ben più alta.
Cosa succede una volta che è rilevata un’origine di spam? Il 68% degli ISP contatta il provider che invia spam, arrivando a bloccare (33%) a livello SMTP o di IP nel caso il problema non venga risolto.
Come viene costruita la reputazione di un IP? I più grossi provider usano un database mantenuto internamente, il 55% usa database disponibili gratuitamente mentre circa il 20% utilizza database a pagamento.
Sulle blacklist, sebbene siano uno degli strumenti più usati, vi sono parecchie perplessità. Circa il 75% dei provider, che diventa il 100% guardando i più grandi, ha visto infatti propri IP registrati o mantenuti in queste blacklist per “errore”. Uscirne è difficile per oltre il 60% dei provider più grandi.
Il meccanismo dei Feedback Loop è gestito da circa il 30% dei provider, percentuale che sale al 50% per i più grandi. Oltre il 60% utilizza il formato ARF per processare le segnalazioni di spam.
Un terzo dei provider ritiene che la normativa vigente è contradditoria, perchè richiede la consegna dei messaggi email e la protezione della privacy, che però spesso necessita dell’analisi del contenuto dei messaggi, con impatto quindi sulla privacy.
Dall’applicazione dei vari metodi, ben rappresentati nello schema sotto, risulta alla fine che solo il 4,4% delle email viene effettivamente consegnata ai destinatari.
La guerra contro lo spam quindi continua e la strada segnata pare sia comunque quella legata ai sistemi di autenticazione legata a sistemi di reputazione. MailUp supporta le principali tecnologie (SPF, SenderID, DKIM) ed è inoltre in grado di processare automaticamente anche i feedback loop in formato ARF, grazie all’accordo con oltre 10 differenti provider.
La ricerca integrale è disponibile qui:
http://www.enisa.europa.eu/act/res/other-areas/anti-spam-measures/studies/spam-survey
I dati combaciano abbastanza con una diversa ricerca, svolta a fine 2008 dall’MAAWG:
http://www.maawg.org/about/MAAWG_2008-Q3Q4_Metrics_Report.pdf
Antispam: le parole da evitare in Outlook
23 agosto 2009
Microsoft ha pubblicato l’elenco delle parole chiave – in inglese – che causano immediatamente la classificazione del messaggio come spam all’interno di Outlook. Si tratta di un elenco molto ristretto e parziale, poichè è risaputo che in realtà gli algoritmi utilizzati sono ben più complessi (Smartscreen Technology di MS dice di valutare oltre 500.000 parametri per identificare lo spam).
Può comunque essere utile dare una scorsa veloce per assicurarsi di averle evitate.
L’elenco delle keyword è questo:
Junk E-mail Filter
First 8 characters of From are digits
Subject contains “advertisement”
Body contains “money back ”
Body contains “cards accepted”
Body contains “removal instructions”
Body contains “extra income”
Subject contains “!” AND Subject contains “$”
Subject contains “!” AND Subject contains “free”
Body contains “,000″ AND Body contains “!!” AND Body contains “$”
Body contains “Dear friend”
Body contains “for free?”
Body contains “for free!”
Body contains “Guarantee” AND (Body contains “satisfaction” OR Body contains “absolute”)
Body contains “more info ” AND Body contains “visit ” AND Body contains “$”
Body contains “SPECIAL PROMOTION”
Body contains “one-time mail”
Subject contains “$$”
Body contains ”
Body contains “order today”
Body contains “order now!”
Body contains “money-back guarantee”
Body contains “100% satisfied”
To contains “friend@”
To contains “public@”
To contains “success@”
From contains “sales@”
From contains “success.”
From contains “success@”
From contains “mail@”
From contains “@public”
From contains “@savvy”
From contains “profits@”
From contains “hello@”
Body contains ” mlm”
Body contains “@mlm”
Body contains “///////////////”
Body contains “check or money order”
Adult Content Filter
Subject contains ” xxx”
Subject contains “over 18″
Subject contains “over 21″
Subject contains “adult s”
Subject contains “adults only”
Subject contains “be 18″
Subject contains “18+”
Body contains “over 18″
Body contains “over 21″
Body contains “must be 18″
Body contains “adults only”
Body contains “adult web”
Body contains “must be 21″
Body contains “adult en”
Body contains “18+”
Subject contains “erotic”
Subject contains “adult en”
Subject contains ” sex”
Body contains ” xxx ”
Body contains ” xxx!”
Subject contains “free” AND Subject contains “adult”
Subject contains “free” AND Subject contains “sex”
Da notare che questo elenco pare non sortire lo stesso effetto su Hotmail: abbiamo provato ad infarcire un messaggio di keyword negative – sufficienti a farlo bloccare in Outlook – e invece su Hotmail è arrivato comunque arrivato in Inbox!
La prima email contiene numerose keyword tipiche dello spam, eppure non è stato filtrato da Hotmail, grazie alla reputazione positiva del server di invio. Clicca per ingrandire.
Lo stesso test, su indirizzi Gmail, ha dato esito positivo: cioè il messaggio non è stato ne’ bloccato, ne’ incasellato nella cartella Spam/Junk.
Come mai? Gli ISP (e MSP – mail service provider), a differenza dei software client, possono contare su maggiori informazioni legati alla reputazione dell’IP di provenienza, oltre che del dominio di provenienza se autenticato DKIM/SPF. Se il messaggio viene da fonte sicura, i filtri antispam basati sulle keyword e in generale sul contenuto del messaggio vengono saltati, con un duplice vantaggio:
- si evitano falsi positivi (messaggi erroneamente identificati come spam)
- si evita un carico macchina eccessivo (l’analisi del contenuto è comunque complessa e quindi affamata di CPU)
Da notare anche la presenza del List-Unsubscribe header, che fa apparire la dicitura “Sei iscritto a questa mailing list” con il bottone di ” Unsubscribe”.
L’elenco è tratto da: http://office.microsoft.com/en-gb/help/HA010450051033.aspx
Mentre per un elenco più esteso di keyword da usare con moderazione è disponibile qui:
http://www.mailup.it/come-creare-email-html.asp
Glossario dell’Email Marketing aggiornato
21 agosto 2009
Abbiamo pensato di aggiornare il glossario dell’Email Marketing, una vera e propria cassetta degli strumenti per non perdersi mai nella marea di sigle e acronimi.
I termini più in uso tra gli addetti ai lavori (come RBL, FBL, DKIM, MTA, PTR, COI…) vengono spiegati con un linguaggio accessibile anche per i meno esperti.
Il glossario è liberamente consultabile qui: http://www.mailup.it/email-marketing/Glossario.asp
Gmail supporta il List-Unsubscribe
28 luglio 2009
Finalmente anche Gmail inizia ad supportare il List-Unsubscribe header. Si tratta di un header che contiene un link (di tipo mailto: e/o http:) che permette la disiscrizione automatica.
Questa possibilità verrà gradulamente offerta a tutti gli speditori che:
- hanno il list-unubscribe header
- autenticano i messaggi con DKIM
- hanno una buona reputazione
Tutti i requisiti sono ad oggi completamente supportati da MailUp.
L’effetto per l’utente finale è la possibilità di scegliere, nel momento in cui clicca su “Report Spam”, se provvedere anche alla Disiscrizione. In questo modo viene attivata la procedurea che disiscrive l’indirizzo nel DB del mittente.
Lo scopo è quello di ridurre i falsi positivi, cioè distinguere le disiscrizioni da mailing list legittime dallo spam che invece è bene segnalare direttamente come spam, pur mantenendo la comodità di un bottone immediato, sicuro e a portata di click.
Esempio di applicazione del List-Unsubscribe header da parte di Gmail
Inoltre salvaguardia anche l’utente finale che in questo modo è sicuro di non ricevere altri messaggi da quell’azienda, che in caso contrario potrebbe – ad esempio cambiando mittente – aggirare il filtro antispam appena impostato.
Hotmail già da tempo supporta questa funzionalità con successo, e MailUp è stato tra i primi a crederci, aderendo allo standard del List-Unsubscribe da oltre un anno: http://www.list-unsubscribe.com/2008/07/mailup-adds-sup.html
Nella tendina delle azioni sarà inoltre disponibile un link ulteriore nel menu “Mostra dettagli”, con “Disiscriviti da questo mittente”.
Questa novità viene rilasciata gradualmente per evitare che tale funzionalità venga sfruttata da spammer, che riuscendo a spacciarsi per mittenti autorevoli (cosa comunque molto difficile grazie al DKIM), possano sfruttare il list-unsubscribe per rilevare le caselle più attive. Se questo dovesse accadere, il sistema si può autoregolare poichè al crescere dei report spam la reputazione del mittente (che è autenticato quindi meno soggetto a contraffazione) scende, e di conseguenza la funzione del list-unsubscribe viene disabilitata.
In MailUp è possibile distinguere tra gli utenti che si disiscrivono (via link standard o via list-unsubscribe) da quelli che invece cliccano sul bottene “report spam”, che vengono chiamati “abuse reports” all’interno delle statistiche.
Hotmail e gli Abuse Reports
3 giugno 2009
Forse non tutti si sono accorti che andando nelle Opzioni del proprio account su Hotmail/MSN/Live, è comparsa una nuova opzione, che permette di disattivare il feedback loop agli speditori. In questo modo, se segnalo un messaggio come SPAM questo non verrà segnalato in automatico al mittente che ha sottoscritto un accordo FBL con Microsoft). L’indirizzo così non verrà disiscritto dalla lista di invio, e l’utente continuerà a ricevere quel messaggio, anche se direttamente nella cartella dello spam. Un modo quindi per sopperire all’attività degli utenti che per pigrizia, o per cercare di classificare i messaggi tra “importanti” e “questi li leggerò quando ho tempo”, usano in modo improprio il bottone “spam”.
Ecco il dettaglio dell’opzione:
Come Yahoo! filtrerà le email
29 maggio 2009
Ad oggi il programma di Feedback Loop di Yahoo! è aperto solo a chi firma i messaggi con DKIM o DK. A breve Yahoo! inizierà a raccogliere informazioni anche sulla reputazione degli speditori, in particolare:
- per chi firma, la reputazione sarà differenziata e combinata tra dominio (usando s=) e IP
- per chi non firma, la reputazione sarà legata solo all’IP
In questo modo, gli speditori che usano MTA su IP condivisi con altri clienti, saranno più a rischio di penalizzazione se non firmano i loro messaggi.
La reputazione, a parte che da dati storici, sarà poi sempre influenzata dai soliti parametri come i complaints (abuse report), i bounce e le spamtrap.
Gli speditori possono avere un unico dominio, indicato con d=, e quindi differenziare le reputazioni usando il selector s=.
Inviando circa 5-10.000 messaggi al giorno verso Yahoo! per 3-4 settimane, lo speditore potrà costruirsi una buona reputazione.
MailUp supporta le firme DKIM nativamente. Per chi vuole utilizzare envelope-sender personalizzati, possiamo firmare i messaggi usando il dominio del cliente, che ovviamente dovrà intervenire sul proprio DNS per registrare la firma. Un pratico tool per generare il record DNS è questo: http://www.dnswatch.info/dkim/create-dns-record
Il tuo server ha una buona deliverability?
22 gennaio 2009
La reputazione del server di invio dei messaggi email è uno dei criteri principali con cui i server di posta decidono se recapitare il messaggio direttamente in Inbox, oppure se fargli attraversare le maglie più strette dei filtri antispam. Dando ovviamente per scontato il fatto che il server che spedisca abbia tutte le carte in regola (PRT inverso, header correttamente formati ecc ecc).
Per verificare la reputazione del proprio server di invio è necessario:
1) identificarlo (guardando l’header/intestazioni di un messaggio, si deve risalire alla prima linea (dal basso) che inizia con “Received:”. Qui si vede l’IP del server MTA che fisicamente spedisce le email
2) verificare che non sia registrato in alcuna blacklist. Suggeriamo per questo il seguente servizio gratuito: http://www.blacklistalert.org
3) verificare che abbia una buona reputazione su:
https://www.senderscore.org (consiglio di registrarsi per avere informazioni di dettaglio)
http://www.reputationauthority.org/
http://www.senderbase.org
4) verificare che il dominio utilizzato nei link tracciati (MailUp ne utilizza numerosi, ad esempio emailsp.it, mailupclientab.com…) non sia presente in alcuna blacklist (sempre con BlacklistAlert).
E-mail Marketing è finalmente in libreria!
13 gennaio 2009
Il Libro è disponibile su Hoepli.it e nelle migliori librerie, tratta in modo approfondito tutti gli argomenti: dalla composizione del messaggio alla raccolta e gestione degli indirizzi, fino agli aspetti di applicazioni, deliverability e filtri antispam.
E’ possibile consultare il sommario e scaricare il primo capitolo, oppure iscriversi al Gruppo dedicato su Facebook.
Copertina Libro E-mail Marketing
