Spam Analysis Análise spam

Anyone who says they have never had a problem with email spam is either my Dad, who has never touched a computer in his life (bless him), or they have staff to read their emails. Qualquer um que diz que eles nunca tiveram um problema com o e-mail spam ou é meu pai, que nunca tocou um computador em sua vida (ele te abençoe), ou que tenham os seus funcionários para ler e-mails. Spam is ubiquitous in the online world, it is everywhere, and it is omnipresent. Spam é omnipresente no mundo online, está em toda parte, e é onipresente.

If you’re using Google Mail you may not see much, the spam filters on that system are very good (at least in my experience). Se você estiver usando o Google Mail você não pode ver muito mais, os filtros de spam por esse sistema são muito bons (pelo menos na minha experiência). Moreover, if you’re then POP3 downloading your Além disso, se você é então o seu download POP3 GMail into a desktop email client with desktop em um e-mail com o cliente Bayesian statistical filtering Estatística Bayesiana filtragem then you may see even less. então você poderá ver ainda menos. Forward to your Linux-based server and employ Spam Assassin and you may well see only very rare spam emails. Próximo ao seu servidor baseado em Linux e empregam Spam Assassin e assim você poderá ver só muito rara e-mails spam. However, just take a look at your space-draining spam folders and you will realize that, although you may not see much spam, it’s still a problem. No entanto, só dê uma olhada no seu espaço de drenagem e pastas spam você vai perceber que, embora você não pode ver muito spam, é ainda um problema.

Computer scientists in France think they may have come up with a new answer to finding the perfect spam filter. Os engenheiros informáticos, em França pensar que podem chegar a ter uma nova resposta para encontrar o perfeito filtro anti-spam. Writing in the Escrevendo no International Journal of Web and Grid Services International Journal of Web e serviços grid recently (2008, vol 4, , they describe how they can filter spam very effectively using a process known as Kolmogorov complexity analysis. This approach works, not by analyzing the headers or the body of an incoming email, but by classifying it based on how well it can be compressed (akin to WinZip or Stuffit compression) and then comparing this compression ratio to that of previously whitelisted or blacklisted emails. Recentemente (2008, vol 4,, eles descrevem como eles podem filtrar spam de forma muito eficaz utilizando um processo conhecido como Kolmogorov complexidade análise. Esta abordagem funciona, não analisando o cabeçalho ou o corpo de um e-mail recebida, mas por classificando-a com base no modo como assim ele pode ser compactado (semelhante ao WinZip ou Stuffit compressão) e, em seguida, comparando este rácio de compressão do que anteriormente whitelisted lista negra ou e-mails.

Andrei Nikolaevich Kolmogorov (1903-1987) was a Soviet mathematician, considered one of the most pre-eminent of the twentieth century. Andrei Nikolaevich Kolmogorov (1903-1987) foi um matemático soviético, considerado um dos mais pré-eminente do século XX. He made major advances in probability theory, topology, intuitionistic logic, turbulence, classical mechanics and computational complexity. Ele fez grandes avanços na teoria das probabilidades, topologia, intuitionistic lógica, turbulência, mecânica clássica e complexidade computacional. It is within Kolmogorov’s work on logic that É dentro de Kolmogorov de trabalho do que a lógica Gilles Richard Gilles Richard and Andrei Doncescu of the University of Toulouse hope to find a solution to spam filtering, as they explain: e Andrei Doncescu da Universidade de Toulouse esperança de encontrar uma solução para filtrar spam, como eles explicam:

The main idea is to give a formal meaning to the notion of ‘information content’ and to provide a measure of this content. A idéia principal é dar um sentido formal para a noção de informação contentâ â € ~ € ™ e para fornecer uma medida deste teor. Using such a quantitative approach, it becomes possible to define a distance, which is a major tool for classification purposes. Utilizando uma tal abordagem quantitativa, torna-se possível definir uma distância, que é uma importante ferramenta para efeitos de classificação.

The researchers have validated their approach by proceeding in two steps: Os pesquisadores têm validado a sua abordagem ao processo em duas etapas:

First, they used the classical compression distance over a mix of spam and legitimate emails to determine if they can be properly clustered without any supervision. Em primeiro lugar, eles utilizaram a clássica compressão distância, ao longo de um mix de spam e e-mails legítimos para determinar se eles podem ser convenientemente agrupados, sem qualquer controlo. This step could then show whether there is an underlying structure to spam emails that might be exploited in filtering. Este passo poderia então mostrar se há uma estrutura subjacente ao spam e-mails que possam ser explorados em filtragem.

In the second step, they implemented a simple machine-learning system, a so-called k-nearest neighbors algorithm, which then classifies emails according to how closely they resemble others in the queue. Na segunda etapa, eles implementaram um sistema simples máquina de aprendizagem, um chamado k-vizinhos mais próximos algoritmo que, em seguida, classifica e-mails de acordo com a forma como eles lembram estreitamente outros na fila. The approach requires no deep analysis of the header or body of the incoming email as is necessary with Spam Assassin type systems and Bayesian filtering. A abordagem não exige profunda análise do cabeçalho ou corpo do e-mail recebidas como é necessária a Spam Assassin tipo de sistemas de filtragem e Bayesiana. Instead, it works by simply measuring how different is the possible compression of known legitimate and spam emails. Em vez disso, ele funciona como diferentes por simples medição é possível a compressão de spam e-mails legítimos e conhecidos.

Using this approach, the researchers were able to filter spam with 85% using this approach alone. Utilizando esta abordagem, os pesquisadores foram capazes de filtrar spam com 85% utilizam esta abordagem por si só. However, its real strength will lie in turning to a more powerful classification technique (Support Vector Machines for instance) and in coupling it to another anti-spam technique, such as Bayesian analysis, Richard told me. No entanto, a sua verdadeira força reside na vontade de transformar uma classificação mais poderosa técnica (Support Vector Machines, por exemplo) e no acoplamento-se a outra técnica anti-spam, tais como a análise Bayesiana, Richard disse-me.