Spam Analysis Аналитика о спаме

Anyone who says they have never had a problem with email spam is either my Dad, who has never touched a computer in his life (bless him), or they have staff to read their emails. Любой, говорит, которые они никогда не имели проблем с спам в электронной почте, либо мой отец, которые никогда не коснулся компьютер в своей жизни (да благословит его), или же они имеют сотрудники читать свои письма. Spam is ubiquitous in the online world, it is everywhere, and it is omnipresent. Спам есть везде в мире в Интернете, это везде, и это вездесущий.

If you’re using Google Mail you may not see much, the spam filters on that system are very good (at least in my experience). Если вы используете Google Mail вы можете не увидеть много, спам-фильтры на том, что система очень хорошо (по крайней мере в моем опыте). Moreover, if you’re then POP3 downloading your Кроме того, если вы потом POP3 загрузкой GMail into a desktop email client with на рабочем столе клиента электронной почты с Bayesian statistical filtering Статистической фильтрации Байеса then you may see even less. Затем вы можете видеть, даже меньше. Forward to your Linux-based server and employ Spam Assassin and you may well see only very rare spam emails. Вперед к вашей Linux на базе сервера, а также использовать спам Assassin и вы вполне может увидеть только очень редкие спам-писем. However, just take a look at your space-draining spam folders and you will realize that, although you may not see much spam, it’s still a problem. Тем не менее, просто взгляните на вашем пространстве-осушение спам папки и вы сможете понять, что, хотя вы можете не увидеть много спама, он по-прежнему проблемы.

Computer scientists in France think they may have come up with a new answer to finding the perfect spam filter. Компьютерные ученые во Франции считают, что они могут выйти с новыми ответ на поиск совершенства спам-фильтр. Writing in the Ввод в International Journal of Web and Grid Services Международный журнал по веб-сети и услуги recently (2008, vol 4, , they describe how they can filter spam very effectively using a process known as Kolmogorov complexity analysis. This approach works, not by analyzing the headers or the body of an incoming email, but by classifying it based on how well it can be compressed (akin to WinZip or Stuffit compression) and then comparing this compression ratio to that of previously whitelisted or blacklisted emails. Недавно (2008, том 4, они описывают, как они могут фильтрации спама весьма эффективно используют процесс, известный как Колмогорова сложность анализа. Этот подход работает, а не путем анализа заголовков или органа входящая почта, но классификация основана на том, как так он может быть сжатым (сродни WinZip или Stuffit сжатия) и затем сравнивая этот коэффициент сжатия, что и ранее белый или черный список сообщений электронной почты.

Andrei Nikolaevich Kolmogorov (1903-1987) was a Soviet mathematician, considered one of the most pre-eminent of the twentieth century. Андрей Николаевич Колмогоров (1903-1987) был советский математик, считается одним из наиболее предпочтительным вариантом в двадцатом веке. He made major advances in probability theory, topology, intuitionistic logic, turbulence, classical mechanics and computational complexity. Он внес большой прогресс в области теории вероятностей, топология, интуиционистской логики, турбулентности, классической механики и вычислительной сложности. It is within Kolmogorov’s work on logic that Именно в Колмогоровские работы по логике, что Gilles Richard Жиль Ричард and Andrei Doncescu of the University of Toulouse hope to find a solution to spam filtering, as they explain: Андрей Doncescu из университета Тулузы надежду на то, чтобы найти решение для фильтрации спама, как это объяснить:

The main idea is to give a formal meaning to the notion of ‘information content’ and to provide a measure of this content. Основная идея заключается в том, чтобы дать официальное смыслом понятие â € ~ информацией contentâ € ™ и предоставить эту меру содержания. Using such a quantitative approach, it becomes possible to define a distance, which is a major tool for classification purposes. Используя такой количественный подход, то становится возможным определить расстояние, которое является основным средством для целей классификации.

The researchers have validated their approach by proceeding in two steps: Исследователи утвердили свои подхода осуществляется в два этапа:

First, they used the classical compression distance over a mix of spam and legitimate emails to determine if they can be properly clustered without any supervision. Во-первых, они используются классические сжатия расстояние свыше сочетание спама и законных электронных сообщений, чтобы определить, если они могут быть сгруппированы без какого-либо контроля. This step could then show whether there is an underlying structure to spam emails that might be exploited in filtering. Этот шаг мог бы показать, есть ли основные структуры для спам-сообщения, которые могут быть использованы в фильтрации.

In the second step, they implemented a simple machine-learning system, a so-called k-nearest neighbors algorithm, which then classifies emails according to how closely they resemble others in the queue. Во второй шаг, они выполнены простой машинно-системы обучения, так называемых к-алгоритм ближайших соседей, которые затем классифицируются в соответствии с сообщения о том, как тесно они похожи на другие в очереди. The approach requires no deep analysis of the header or body of the incoming email as is necessary with Spam Assassin type systems and Bayesian filtering. Подход не требует глубокого анализа заголовка или органа входящая почта, которая необходима со спамом Assassin типа систем и фильтрации Байеса. Instead, it works by simply measuring how different is the possible compression of known legitimate and spam emails. Вместо этого, она работает просто как различные измерения имеет возможности сжатия известны законные и спам-писем.

Using this approach, the researchers were able to filter spam with 85% using this approach alone. Используя этот подход, исследователи имели возможность фильтрации спама при 85% использовании этого подхода в одиночку. However, its real strength will lie in turning to a more powerful classification technique (Support Vector Machines for instance) and in coupling it to another anti-spam technique, such as Bayesian analysis, Richard told me. Однако, ее реальная сила будет находиться в переходить к более мощной технике классификации (поддержка векторных машин, например), а также в связи его другому анти-спам техники, таких как анализ Байеса, Ричард сказал мне.