Sciencetext Trucs & Astuces
Blogging tips, browsing tricks and computing hacks Blogging conseils, astuces de navigation et de l'informatique hacks

Spam Analysis Analyse du Spam

June 25th, 2008 · by David Bradley Juin 25, 2008 par David Bradley

Contrôle commentaires indésirables Anyone who says they have never had a problem with email spam is either my Dad, who has never touched a computer in his life (bless him), or they have staff to read their emails. Toute personne qui dit qu'ils n'ont jamais eu un problème avec le courriel spam est soit mon père, qui n'a jamais touché à un ordinateur dans sa vie (bénisse lui), ou ils ont du personnel à lire leurs e-mails. Spam is ubiquitous in the online world, it is everywhere, and it is omnipresent. Le spam est omniprésent dans le monde en ligne, il est partout, et il est omniprésent.

If you’re using Google Mail you may not see much, the spam filters on that system are very good (at least in my experience). Si vous utilisez Google Mail vous voir mai pas beaucoup, la filtres anti-spam sur ce système sont très bon (du moins à mon expérience). Moreover, if you’re then POP3 downloading your De plus, si vous êtes ensuite votre téléchargement POP3 GMail into a desktop email client with dans un bureau client de messagerie avec Bayesian statistical filtering Filtrage statistique bayésien then you may see even less. mai alors vous voir encore moins. Forward to your Linux-based server and employ Spam Assassin and you may well see only very rare spam emails. Transférer à votre Linux à base de serveur et de l'emploi Spam Assassin et vous mai bien voir que de très rares spams. However, just take a look at your space-draining spam folders and you will realize that, although you may not see much spam, it’s still a problem. Toutefois, il suffit de jeter un coup d'oeil à votre espace-spam drainage des dossiers et vous vous rendrez compte que, bien que vous mai pas voir une grande partie du spam, il est toujours un problème.

Computer scientists in France think they may have come up with a new answer to finding the perfect spam filter. Les informaticiens en France pensent qu'ils mai ont mis au point une nouvelle réponse à trouver le parfait filtre anti-spam. Writing in the Dans la rédaction International Journal of Web and Grid Services International Journal of Web Services et Grid recently (2008, vol 4, , they describe how they can filter spam very effectively using a process known as Kolmogorov complexity analysis. This approach works, not by analyzing the headers or the body of an incoming email, but by classifying it based on how well it can be compressed (akin to WinZip or Stuffit compression) and then comparing this compression ratio to that of previously whitelisted or blacklisted emails. récemment (2008, vol 4, ils décrivent comment ils peuvent filtrer les spams de façon très efficace en utilisant un processus connu sous le nom de la complexité de Kolmogorov analyse. Cette approche fonctionne, pas en analysant les en-têtes ou le corps d'un e-mail entrant, mais en classant en fonction de comment et il peut être comprimé (semblable à WinZip ou Stuffit de compression) et puis en comparant ce taux de compression à celle précédemment de la liste noire ou blanche les e-mails.

Andrei Nikolaevich Kolmogorov (1903-1987) was a Soviet mathematician, considered one of the most pre-eminent of the twentieth century. Andrei Nikolaevich Kolmogorov (1903-1987) était un mathématicien soviétique, considéré comme l'un des plus éminent du XXe siècle. He made major advances in probability theory, topology, intuitionistic logic, turbulence, classical mechanics and computational complexity. Il a fait de grands progrès dans la théorie des probabilités, topologie, logique intuitionniste, de la turbulence mécanique classique et la complexité. It is within Kolmogorov’s work on logic that C'est dans les travaux de Kolmogorov sur la logique que Gilles Richard Gilles Richard and Andrei Doncescu of the University of Toulouse hope to find a solution to spam filtering, as they explain: et Andrei DONCESCU de l'Université de Toulouse espoir de trouver une solution de filtrage de spam, comme ils expliquent:

The main idea is to give a formal meaning to the notion of ‘information content’ and to provide a measure of this content. L'idée principale est de donner un sens à la notion de â € ~ informations contentâ € ™ et de fournir une mesure de ce contenu. Using such a quantitative approach, it becomes possible to define a distance, which is a major tool for classification purposes. En utilisant une telle approche quantitative, il devient possible de définir une distance, ce qui est un outil majeur pour les besoins du classement.

The researchers have validated their approach by proceeding in two steps: Les chercheurs ont validé leur approche en procédant en deux étapes:

First, they used the classical compression distance over a mix of spam and legitimate emails to determine if they can be properly clustered without any supervision. Tout d'abord, ils ont utilisé la distance classique de compression sur un mélange de spam et les e-mails légitimes afin de déterminer s'ils peuvent être regroupés sans aucun contrôle. This step could then show whether there is an underlying structure to spam emails that might be exploited in filtering. Cette étape pourrait alors permettre de déterminer s'il est une structure sous-jacente au spam e-mails qui pourraient être exploités dans le filtrage.

In the second step, they implemented a simple machine-learning system, a so-called k-nearest neighbors algorithm, which then classifies emails according to how closely they resemble others in the queue. Dans la deuxième étape, ils mis en place une machine simple système d'apprentissage, un soi-disant k-plus proches voisins algorithme, qui classe les e-mails en fonction de la précision avec laquelle elles ressemblent à d'autres dans la file d'attente. The approach requires no deep analysis of the header or body of the incoming email as is necessary with Spam Assassin type systems and Bayesian filtering. L'approche ne nécessite pas une analyse approfondie de l'en-tête ou corps du courrier électronique qui est nécessaire avec Spam Assassin et systèmes de type filtre de Bayes. Instead, it works by simply measuring how different is the possible compression of known legitimate and spam emails. Au lieu de cela, il fonctionne par simple mesure de la façon dont les différentes est la possibilité de compression connue légitime et le spam des emails.

Using this approach, the researchers were able to filter spam with 85% using this approach alone. En utilisant cette approche, les chercheurs ont été en mesure de filtrer les spams avec 85% à l'aide de cette approche à elle seule. However, its real strength will lie in turning to a more powerful classification technique (Support Vector Machines for instance) and in coupling it to another anti-spam technique, such as Bayesian analysis, Richard told me. Toutefois, sa véritable force se trouve dans un tournant à plus puissante technique de classement (Support Vector Machines, par exemple) et le couplage à un autre anti-spam technique, telles que l'analyse bayésienne, Richard m'a dit.

3 responses so far ↓ 3 réponses à ce jour ↓

  • andrew // Andrew / / Jun 25, 2008 at 4:51 pm 25 jun 2008 à 4:51 pm

    I read an article about a new technology called ReceiverNet from Abaca. J'ai lu un article sur une nouvelle technologie appelée ReceiverNet de Abaca. ReceiverNet technology characterizes each protected user based on the percentage of spam they receive and then uses those reputations to rate the incoming message flow. ReceiverNet technologie protégée caractérise chaque utilisateur en fonction du pourcentage de spam qu'ils reçoivent et utilise ensuite ces taux à la réputation du flux de messages entrant. I changed my spam filtering system to Abaca’s Email Protection Gateway and it blocked Replica watches spam mails, Subpoena Phishing mails and many more. J'ai changé mon système de filtrage de spam à Abacaâ € ™ s Passerelle Email Protection et bloqué Replica montres emails de spam, d'une assignation phishing mails et bien d'autres encore. I found that Abaca’s ReceiverNet service has 99% efficiency in blocking spam mails and they guarantee their results . J'ai trouvé que Abacaâ € ™ s ReceiverNet service dispose de 99% d'efficacité dans le blocage de spams et ils garantissent leurs résultats. For more information, log on to Pour de plus amples informations, connectez-vous à http://abaca.com/ .

  • David Bradley David Bradley // / / Jun 25, 2008 at 6:18 pm 25 jun 2008 à 6:18 pm

    Sounds like an interesting approach that saves on all this mathematical analysis. Sonne comme une approche intéressante qui sauve tout cela sur l'analyse mathématique. Anyone else got a good system in place that works as well as Abaca? Quelqu'un d'autre a un bon système en place qui fonctionne aussi bien que Abaca?

  • Phil Whelan Phil Whelan // / / Jun 26, 2008 at 8:14 pm 26 jun 2008 à 8:14 pm

    Abaca approach sounds like an interesting. Abaca approche ressemble à un intéressant. 99% is quite amazing! 99% est tout à fait incroyable! I’m going to check it. Je vais vérifier.

    David, yes, we have an approach that uses even less mathematical analysis, using the idea that spammers are impatient. David, oui, nous avons une approche qui utilise encore moins l'analyse mathématique, en utilisant l'idée que les spammeurs sont impatients. We slow down connections of unknown senders, and in doing so have found that most zombie machines sending the spam disconnect within a few seconds. Nous ralentir les connexions des expéditeurs inconnus, et, ce faisant, ont trouvé que la plupart des machines zombies d'envoyer le spam déconnecter en quelques secondes.

    Phil Whelans last blog post.. Phil Whelans dernier blog .. Sign up for a MailChannels Email System Load Test Inscrivez-vous pour un système de messagerie MailChannels test de charge

Leave a Comment Laissez un commentaire

Comments are checked for spam before appearing, no need to post it twice. Les commentaires sont vérifié pour le spam avant leur apparition, pas besoin de l'afficher deux fois.

Related Posts Postes connexes