Как устроен дуршлаг

symbiosis

Хакер, номер #072, стр. 072-044-3

Война продолжалась. Потоки отстоя в ящики пользователей то ослабевали, то били с новой силой. Письма стали приходить все с новыми и новыми текстовыми извращениями. Рекламные слова, попавшие в черные списки, стали разбивать пробелами на части, заменять русские буквы на английские, схожие по написанию, - «о», «а», «у» и т.п. В текст письма стали вставлять случайные последовательности знаков, чтобы показать фильтрам «важность» письма. Казалось, что можно придумать бесчисленное множество способов обойти тупые фильтры. Но на каждое нехорошее действие находится простое решение...

Вероятностная диагностика

Метод Байеса известен в математике достаточно давно. Он позволяет оценить вероятность успешного совершения некоторого события, основываясь на результатах совершения этого события в прошлом. Применительно к фильтрации спама это выглядит следующим образом: берем большое количество спамовых и хамовых (ой, как мне нравится это название :)) мессаг. Чем больше, тем лучше. Загоняем две эти стопки в два массива и начинаем изучать и составлять статистику. В статистике учитывается частота вхождений разных слов в эти две противоположные группы. И если, например, фраза «Enlarge your penis now!» входит в 20% писем из «плохой» стопки и ни разу в письма из «хорошей» (я надеюсь, что твои друзья или подруги не пишут тебе писем с такими фразами, потому что у тебя все в порядке с этим органом! :)), такой результат будет решающим на чаше весов, когда тебе придет почта с подобным содержанием.

К слову, Байесовский фильтр BayesIt! (www.ritlabs.com/ru/solutions/BayesIt.php) идет в комплекте TheBat’а начиная с версии 3.0, так что фанатам стоит подумать о его использовании. Для тех, кто пользуется Outlook’ом, тоже есть аналог – SpamBayes (http://spambayes.sourceforge.net/).

Пускаем через инет

Если тебе в лом самому разбираться с фильтрами, то... закрой журнал, я потерял уважение к тебе, нельзя быть таким халявщиком и лодырем (да мне правда в лом, чувак! – Прим. Бублика)! Ладно, шучу, есть и для тебя решение. Иди на сайт www.spamtest.ru. Там есть услуга (бесплатная до 31 декабря 2004 года – у тебя осталось совсем немного времени на бесплатный тест) по проверке входящей корреспонденции. Тебе необходимо зарегаться в системе, получить почтовый ящик и рассказать о нем всем знакомым. Письма будут приходить на него, чекаться, а потом те из них, что достойны твоего внимания, будут переправляться тебе, а недостойные будут помечаться, и уже твой почтовик сможет их кидать в отдельную папку. Получается вот такая своеобразная онлайн-цензура :). Лично мне такой способ кажется корявым, а если за него еще и денег платить надо, то он явно не привлечет меня. Но я могу ошибаться...