Бейресми спамды фильтрлеу - Naive Bayes spam filtering

Серияның бір бөлігі
Машиналық оқыту және деректерді өндіру
Мәселелер Жіктелуі Кластерлеу Регрессия Аномалияны анықтау AutoML Қауымдастық ережелері Арматуралық оқыту Құрылымдық болжам Техникалық сипаттама Ерекшеліктер Желіде оқыту Жартылай бақылаулы оқыту Бақыланбай оқыту Деңгейге қоюды үйрену Грамматикалық индукция
Жетекшілік ететін оқыту (жіктеу • регрессия) Шешім ағаштары Ансамбльдер Қаптау Күшейту Кездейсоқ орман к-NN Сызықтық регрессия Аңғал Бейс Жасанды жүйке желілері Логистикалық регрессия Перцептрон Релеванттық векторлық машина (RVM) Векторлық машинаны қолдау (SVM)
Кластерлеу ҚЫСҚЫ ЕМДЕУ Иерархиялық к- білдіреді Күту - максимизация (ЭМ) DBSCAN ОПТИКА Орташа ауысым
Өлшемділіктің төмендеуі Факторлық талдау CCA ICA LDA NMF PCA ПГД t-SNE
Құрылымдық болжам Графикалық модельдер Бэйс торы Шартты кездейсоқ өріс Жасырын Марков
Аномалияны анықтау к-NN Жергілікті фактор
Жасанды жүйке жүйесі Автоинкодер Терең оқыту DeepDream Көп қабатты перцептрон RNN LSTM ГРУ ESN Шектелген Больцман машинасы GAN СОМ Конволюциялық нервтік желі U-Net Трансформатор
Арматуралық оқыту Q-оқыту САРСА Уақытша айырмашылық (TD)
Теория Екіжақтылық - дисперсиялық дилемма Есептеуіш оқыту теориясы Тәуекелді эмпирикалық азайту Оккамды оқыту PAC оқыту Статистикалық оқыту VC теориясы
Машина оқыту орындары NeurIPS ICML ML JMLR ArXiv: cs.LG
Жасанды интеллект сөздігі Жасанды интеллект сөздігі
Ұқсас мақалалар Машиналық оқытуға арналған мәліметтер жиынтығы Машиналық оқытудың контуры

Бейбіт Бейс классификаторлары танымал болып табылады статистикалық техника туралы электрондық поштаны сүзу. Олар әдетте пайдаланады сөздер пакеті анықтау ерекшеліктері спам электрондық пошта, әдетте қолданылатын тәсіл мәтінді жіктеу.

Бейресми Бейс классификаторлары токендерді (әдетте сөздерді немесе кейде басқа заттарды) қолдануды спам және спам емес электрондық поштамен корреляциялау арқылы жұмыс істейді, содан кейін Бэйс теоремасы электрондық поштаның спамның болуы немесе болмауы ықтималдығын есептеу үшін.

Бейресми спамды фильтрлеу - бұл спаммен күресудің бастапқы әдісі, ол жеке қолданушылардың электрондық поштасының қажеттіліктерін ескере алады және төмен деңгейге жеткізеді жалған оң пайдаланушыларға әдетте қолайлы спамдарды анықтау жылдамдығы. Бұл спам-фильтрлеудің ескі тәсілдерінің бірі, тамыры 1990 жж.

Тарих

Бэйзиялық алгоритмдер электрондық поштаны сүзгілеу үшін 1996 жылдың өзінде-ақ қолданылған. Байес тіліндегі аңғал сүзгілер кейінірек танымал бола алмаса да, қажетсіз электрондық пошта мәселесінің өсуіне байланысты 1998 жылы бірнеше бағдарлама шығарылды.^[1] Байесси спамдарын фильтрлеу туралы алғашқы ғылыми басылым Сахами және басқалар болды. 1998 ж.^[2] Көп ұзамай бұл жұмыс коммерциялық спам-сүзгілерге орналастырылды.^{[дәйексөз қажет ]} Алайда, 2002 ж Пол Грэм жалған оң жылдамдықты айтарлықтай төмендетіп, оны өздігінен бір спам-фильтр ретінде пайдалануға мүмкіндік берді.^[3][4]

Негізгі техниканың нұсқалары бірқатар ғылыми-зерттеу жұмыстарында және коммерциялық жұмыстарда енгізілген бағдарламалық жасақтама өнімдер.^[5] Көптеген заманауи пошта клиенттер спам-фильтрді Байесия сүзгісіне енгізу. Пайдаланушылар бөлек орнатуы мүмкін электрондық поштаны сүзу бағдарламалары. Сервер жағында сияқты электрондық пошта сүзгілері DSPAM, SpamAssassin,^[6] SpamBayes,^[7] Богофильтр және ASSP, Bayesian спамдарын сүзу әдістерін қолданыңыз, және функционалдығы кейде ішіне енеді пошта сервері бағдарламалық жасақтаманың өзі. CRM114, Bayesian сүзгісі ретінде жиі кездеседі, Bayes сүзгісін өндірісте қолдануға арналмаған, бірақ сілтеме үшін ″ unigram ″ функциясын қамтиды.^[8]

Процесс

Ерекше сөздер ерекше ықтималдықтар спам-поштаның және заңды электрондық поштаның пайда болуы. Мысалы, электрондық пошта пайдаланушыларының көпшілігі «сөзді» жиі кездестіредіВиагра «спам-поштада, бірақ оны басқа электрондық поштада сирек көреді. Сүзгі бұл ықтималдықтарды алдын-ала білмейді, сондықтан оны көбейту үшін алдымен оны үйрету керек. Сүзгіні үйрету үшін қолданушы жаңа немесе жоқ екенін қолмен көрсетуі керек Электрондық пошта спам болып табылады немесе жоқ. Әрбір электрондық поштаның барлық сөздері үшін сүзгі әр сөздің спамда немесе заңды электрондық поштада пайда болу ықтималдығын өз дерекқорында реттейді, мысалы, Байес спам-сүзгілері спамның өте жоғары ықтималдығын біледі. «Виагра» және «қайта қаржыландыру» деген сөздер, бірақ достар мен отбасы мүшелерінің аттары сияқты заңды электрондық поштада ғана көрінетін сөздердің спам ықтималдығы өте төмен.

Тренингтен кейін ықтималдықтар сөзі (сонымен бірге ықтималдылық функциялары ) белгілі бір сөздер жиынтығы бар электрондық поштаның кез-келген категорияға жату ықтималдығын есептеу үшін қолданылады. Электрондық поштаның әр сөзі спамның ықтималдылығына немесе тек ең қызықты сөздерге ықпал етеді. Бұл үлес деп аталады артқы ықтималдығы және пайдалану арқылы есептеледі Бэйс теоремасы. Содан кейін, электрондық поштаның спам ықтималдығы электронды поштадағы барлық сөздер бойынша есептеледі, ал егер жиынтығы белгілі бір шектен асып кетсе (айталық 95%), сүзгі электрондық поштаны спам ретінде белгілейді.

Басқа сияқты спамды сүзу техника, спам деп белгіленген электрондық пошта автоматты түрде «Қалаусыз» электрондық папкаға көшірілуі немесе тіпті жойылуы мүмкін. Кейбір бағдарламалық жасақтамалар карантин қолданушыға бағдарламалық жасақтама шешімін қарауға рұқсат етілетін уақыт шеңберін анықтайтын механизмдер.

Бағдарламалық жасақтаманың дұрыс емес шешімдері анықталған кезде (жалған позитивтер немесе жалған негативтер) бастапқы дайындықты жақсартуға болады. Бұл бағдарламалық жасақтаманың үнемі дамып келе жатқан спам сипатына бейімделуіне мүмкіндік береді.

Кейбір спам-сүзгілер Байессиялық спамдарды және басқаларының нәтижелерін біріктіреді эвристика (мазмұнның алдын-ала анықталған ережелері, хабарлама хатқалтасын қарау және т.б.), нәтижесінде сүзгілеу дәлдігі одан да жоғары болады, кейде бейімделу құны қажет.

Математикалық негіз

Байес электрондық пошта сүзгілері кәдеге жарату Бэйс теоремасы. Бэйс теоремасы спам аясында бірнеше рет қолданылады:

• бірінші рет берілген хабарламаның осы сөзде болатынын біле отырып, хабарламаның спам болу ықтималдығын есептеу;
• екінші рет, хабарламаның барлық сөздерін (немесе олардың тиісті жиынтығын) ескере отырып, спам болу ықтималдығын есептеу;
• кейде үшінші рет, сирек кездесетін сөздермен күресу.

Берілген сөз бар хабарламаның спам болу ықтималдығын есептеу

Күдікті хабарламада «сөзі бар делік.көшірме «. Электрондық поштаны қабылдауға дағдыланған адамдардың көпшілігі бұл хабарламаның спам болуы мүмкін екенін, дәлірек айтсақ, танымал сағаттардың жалған көшірмелерін сату туралы ұсыныс екенін біледі. Алайда спамдарды анықтайтын бағдарламалық жасақтама» білмейді « мұндай фактілер; оның ықтималдықтарын есептеу ғана.

Алынғанын анықтайтын бағдарламалық жасақтама қолданатын формула Бэйс теоремасы

${ displaystyle Pr (S | W) = { frac { Pr (W | S) cdot Pr (S)} { Pr (W | S) cdot Pr (S) + Pr (W) | H) cdot Pr (H)}}}$

қайда:

• ${ displaystyle Pr (S | W)}$ бұл хабарламаның «реплика» сөзі екенін біле отырып, спам болу ықтималдығы;
• ${ displaystyle Pr (S)}$ - бұл кез-келген хабарламаның спам болуының жалпы ықтималдығы;
• ${ displaystyle Pr (W | S)}$ - спам-хабарламаларда «реплика» сөзінің пайда болу ықтималдығы;
• ${ displaystyle Pr (H)}$ - бұл кез келген хабарламаның спам болмауының жалпы ықтималдығы («ветчина»);
• ${ displaystyle Pr (W | H)}$ - бұл хабарламада «реплика» сөзінің пайда болу ықтималдығы.

(Толық демонстрация үшін қараңыз Бэйс теоремасы # кеңейтілген форма.)

Сөздің спамдығы

Статистика^[9] кез-келген хабарламаның спам болу ықтималдығы, ең болмағанда, 80% құрайды:

${ displaystyle Pr (S) = 0.8; Pr (H) = 0.2}$

Алайда, спамдарды анықтауға арналған бағдарламалық жасақтаманың көпшілігі жоқ деп болжайды априори келіп түскен хабарламаның ветчина емес, спам болуына себеп болады және екі жағдайды да 50% тең ықтималдылыққа ие деп санайды:^{[дәйексөз қажет ]}

${ displaystyle Pr (S) = 0.5; Pr (H) = 0.5}$

Бұл гипотезаны қолданатын сүзгілер «біржақты емес» деп аталады, яғни олар кіріс электрондық поштаға ешқандай зиян келтірмейді. Бұл болжам жалпы формуланы жеңілдетуге мүмкіндік береді:

${ displaystyle Pr (S | W) = { frac { Pr (W | S)} { Pr (W | S) + Pr (W | H)}}}$

Бұл функционалды тұрғыдан «спам-хабарламаларда» реплика «сөзінің қанша пайызы кездеседі?»

Бұл шама «реплика» сөзінің «спамитілігі» (немесе «спамдылығы») деп аталады және оны есептеуге болады. Нөмір ${ displaystyle Pr (W | S)}$ осы формулада қолданылатын, оқыту кезеңінде спам ретінде анықталған хабарламалардағы «реплика» бар хабарламалардың жиілігіне жуықтайды. Сол сияқты, ${ displaystyle Pr (W | H)}$ оқыту кезеңінде ветчина ретінде анықталған хабарламаларда «реплика» бар хабарламалар жиілігіне жуықтайды. Бұл жуықтаулардың мағынасы болу үшін, оқылған хабарламалар жиынтығы жеткілікті көлемде және өкілді болуы керек. Хабарламаның білінген жиынтығы спам мен ветчина арасындағы қайта бөлу туралы 50% гипотезаға сәйкес болғаны жөн, яғни спам мен ветчинканың мәліметтер жиынтығы бірдей көлемде болуы керек.^[10]

Әрине, хабарламаның спам немесе ветчина екенін тек «реплика» сөзінің бар екендігіне байланысты анықтау қателік тудырады, сондықтан да спамдық бағдарламалық жасақтама бірнеше сөздерді қарастыруға тырысады және хабарламаның болу ықтималдығын анықтауға олардың кеңістігін біріктіреді. спам.

Жеке ықтималдықтарды біріктіру

Бұл бөлім нақты дәлдік даулы. Тиісті талқылауды мына жерден табуға болады Талқылау: Бейресми Бэйстің спам-фильтрі. Даулы мәлімдемелердің болуын қамтамасыз етуге көмектесіңіз сенімді көзден алынған. (Қыркүйек 2017) (Бұл шаблон хабарламасын қалай және қашан жою керектігін біліп алыңыз)

Байесиялық спамды сүзу алгоритмдерінің көпшілігі хабарламада көрсетілген сөздер болған жағдайда ғана (ықтималдық тұрғысынан) қатаң жарамды формулаларға негізделген. тәуелсіз оқиғалар. Бұл шарт негізінен қанағаттандырылмайды (мысалы, ағылшын тіліндегі табиғи тілдерде сын есімнің табылу ықтималдығына зат есімнің болуы ықтималдығы әсер етеді), бірақ бұл пайдалы идеализация, әсіресе жеке сөздер арасындағы статистикалық корреляциялар белгілі. Осы негізде Бэйс теоремасынан келесі формуланы алуға болады:^[11]

${ displaystyle p = { frac {p_ {1} p_ {2} cdots p_ {N}} {p_ {1} p_ {2} cdots p_ {N} + (1-p_ {1}) (1 -p_ {2}) cdots (1-p_ {N})}}}$

қайда:

• ${ displaystyle p}$ бұл күдікті хабарламаның спам болу ықтималдығы;
• ${ displaystyle p_ {1}}$ ықтималдығы ${ displaystyle p (S | W_ {1})}$ бұл спам екенін біле отырып, оның құрамында бірінші сөз бар (мысалы, «реплика»);
• ${ displaystyle p_ {2}}$ ықтималдығы ${ displaystyle p (S | W_ {2})}$ бұл спам екенін біле отырып, оның құрамында екінші сөз бар (мысалы, «сағаттар»);
• және т.б. ...
• ${ displaystyle p_ {N}}$ ықтималдығы ${ displaystyle p (S | W_ {N})}$ оның құрамында спам екенін біле тұра Nсөз (мысалы, «үй»).

Бұл сілтеме жасалған формула Пол Грэм оның 2002 жылғы тамыздағы мақала. Кейбір алғашқы комментаторлар «Грэм формулаларын ауадан шығарды» деп мәлімдеді,^[12] бірақ Грэм шынымен оның қайнар көзіне сілтеме жасаған^[13] онда формуланың егжей-тегжейлі түсініктемесі және оған негізделген идеализациялар кірді.

Осы формулаға негізделген спамды сүзу бағдарламалық жасақтамасын кейде а деп атайды аңғал Байес классификаторы, «аңғалдық» мықтыға қатысты тәуелсіздік ерекшеліктері арасындағы болжамдар. Нәтиже б хабарламаның спам немесе жоқ екендігі туралы шешім қабылдау үшін әдетте берілген шекті деңгеймен салыстырылады. Егер б шектен төмен, хабарлама ықтимал ветчина, әйтпесе ықтимал спам деп саналады.

Жеке ықтималдықтарды біріктіру формуласының басқа көрінісі

Әдетте б байланысты жоғарыдағы формуланы пайдаланып тікелей есептелмейді өзгермелі нүкте. Оның орнына, б бастапқы теңдеуді келесідей қайта жазу арқылы журнал доменінде есептеуге болады:

${ displaystyle { frac {1} {p}} - 1 = { frac {(1-p_ {1}) (1-p_ {2}) dots (1-p_ {N})} {p_ { 1} p_ {2} нүкте p_ {N}}}}$

Екі жағынан да журналдар алу:

${ displaystyle ln солға ({ frac {1} {p}} - 1 оңға) = қосынды _ {i = 1} ^ {N} солға [ ln (1-p_ {i}) - ln p_ {i} оң]}$

Келіңіздер ${ displaystyle eta = sum _ {i = 1} ^ {N} сол жақта [ ln (1-p_ {i}) - ln p_ {i} right]}$. Сондықтан,

${ displaystyle { frac {1} {p}} - 1 = e ^ { eta}}$

Демек, ықтимал ықтималдылықты есептеудің балама формуласы:

${ displaystyle p = { frac {1} {1 + e ^ { eta}}}}$

Сирек кездесетін сөздермен жұмыс жасау

Егер оқыту кезеңінде бірде-бір рет сөз кездеспесе, бөлгіш те, бөлгіш те жалпы формулада да, спамиттік формулада да нөлге тең. Бағдарламалық жасақтама ақпарат жоқ мұндай сөздерді жою туралы шешім қабылдай алады.

Жалпы, оқыту кезеңінде бірнеше рет кездескен сөздер қиындық тудырады, өйткені олар берген ақпаратқа соқыр сеніммен қарау қате болар еді. Қарапайым шешім - мұндай сенімсіз сөздерді де ескеруден аулақ болу.

Байес теоремасын қайтадан қолдану және берілген сөзді («реплика») қамтитын электрондық поштаның спам мен ветчина арасындағы жіктеуді қабылдау - бұл кездейсоқ шама бірге бета-тарату, кейбір бағдарламалар түзетілген ықтималдылықты қолдануға шешім қабылдайды:

${ displaystyle Pr '(S | W) = { frac {s cdot Pr (S) + n cdot Pr (S | W)} {s + n}}}$

қайда:

• ${ displaystyle Pr '(S | W)}$ хабарламаның спам болуының түзетілген ықтималдығы, оның құрамында берілген сөз бар екенін біле отырып;
• ${ displaystyle s}$ болып табылады күш біз спам туралы ақпараттар береміз;
• ${ displaystyle Pr (S)}$ - кез келген кіріс хабарламаның спам болу ықтималдығы;
• ${ displaystyle n}$ бұл оқыту кезеңіндегі осы сөздің кездесетін саны;
• ${ displaystyle Pr (S | W)}$ - бұл сөздің спамдылығы.

(Көрсетілім:^[14])

Бұл түзетілген ықтималдылық біріктіретін формуладағы спамиттің орнына қолданылады.

${ displaystyle Pr (S)}$ Кіретін электрондық поштаға күдіктенбеу үшін, оны қайтадан 0,5-ке теңестіруге болады. 3 - бұл жақсы мән сдемек, спаптылық мәніне әдепкі мәннен гөрі сенімді болу үшін, оқылған корпуста осы сөзден тұратын 3-тен көп хабарлама болуы керек^{[дәйексөз қажет ]}.

Бұл формуланы мына жағдайға дейін кеңейтуге болады n нөлге тең (және спаменттілігі анықталмаған жерде), және бұл жағдайда -ге дейін бағаланады ${ displaystyle Pr (S)}$.

Басқа эвристика

«Бейтарап» «» «,» а «,» кейбір «немесе» болып табылады «(ағылшын тілінде) сөздерін немесе олардың басқа тілдердегі баламаларын елемеуге болады. Жалпы алғанда, кейбір баея фильтрлері сүзгіштік мәні 0,5-ке жақын барлық сөздерді елемейді, өйткені олар дұрыс шешім қабылдауға аз ықпал етеді. Ескертуге спамділігі 0,0 (заңды хабарламалардың айрықша белгілері) жанында немесе 1,0 (спамның айрықша белгілері) жанында тұрған сөздер жатады. Мысалы, зерттелген хабарламада ең үлкені бар он сөзді ғана сақтау әдісі болуы мүмкін абсолютті мән  |0.5 − pI|.

Кейбір бағдарламалық өнімдер зерттелген хабарламада берілген сөздің бірнеше рет пайда болатындығын ескереді,^[15] басқалары жоқ.

Кейбір бағдарламалық өнімдер қолданады өрнектер оқшауланған табиғи тілдердің орнына сөздердің тізбегі).^[16] Мысалы, төрт сөзден тұратын «контексттік тереземен» олар «Виагра», «болып табылады», «жақсы», және «үшін» спамиттерін есептеудің орнына, «Виагра жақсы» кеңістігін есептейді. Бұл әдіс контекстке үлкен сезімталдық береді және жағдайды жояды Байес шуы жақсы, үлкен мәліметтер базасы есебінен.

Аралас әдістер

Әр түрлі сөздер үшін жеке ықтималдықтарды біріктірудің «аңғалдық» тәсілін қолданудан басқа тәсілдері бар. Бұл әдістер одан алынған мәліметтердің статистикалық қасиеттері туралы болжамдардан ерекшеленеді. Бұл әр түрлі гипотезалар жеке ықтималдықтарды біріктірудің түбегейлі әртүрлі формулаларына әкеледі.

Мысалы, жеке ықтималдықтар a деп санайды квадраттық үлестіру 2N еркіндік дәрежесі, келесі формуланы қолдануға болады:

${ displaystyle p = C ^ {- 1} (- 2 ln (p_ {1} p_ {2} cdots p_ {N}), 2N) ,}$

қайда C⁻¹ болып табылады хи-квадрат функциясына кері.

Жеке ықтималдықтарды. Әдістерімен үйлестіруге болады Марковтық дискриминация да.

Талқылау

Артықшылықтары

Бұл бөлім нақты дәлдік даулы. Тиісті талқылауды мына жерден табуға болады Талқылау: Бейресми Бэйстің спам-фильтрі. Даулы мәлімдемелердің болуын қамтамасыз етуге көмектесіңіз сенімді көзден алынған. (Мамыр 2013) (Бұл шаблон хабарламасын қалай және қашан жою керектігін біліп алыңыз)

Негізгі артықшылықтардың бірі^{[дәйексөз қажет ]} Байес спамдарын фильтрлеудің мәні - оны қолданушы негізінде оқытуға болатындығы.

Пайдаланушы алатын спам көбінесе желідегі қолданушының қызметімен байланысты. Мысалы, пайдаланушы спам деп санайтын желідегі ақпараттық бюллетеньге жазылған болуы мүмкін. Бұл интернет-бюллетеньде барлық ақпараттық бюллетеньдерге ортақ сөздер болуы мүмкін, мысалы, ақпараттық бюллетень атауы және оның шыққан электрондық пошта мекен-жайы. Bayesian спам-сүзгісі пайдаланушының нақты үлгілері негізінде жоғары ықтималдылықты тағайындайды.

Пайдаланушының заңды электрондық хаттары әр түрлі болады. Мысалы, корпоративтік ортада компания атауы және клиенттердің немесе клиенттердің аты жиі аталады. Фильтр спамның төменгі ықтималдығын сол атаулардан тұратын электрондық хаттарға тағайындайды.

Ықтималдықтар сөзі әр пайдаланушыға тән және уақыт өте келе түзету жаттығуларымен эволюциялануы мүмкін, бұл кезде фильтр электронды поштаны қате жіктеген. Нәтижесінде тренингтен кейін Bayesian спамдарын сүзу дәлдігі алдын-ала анықталған ережелерден жоғары болады.

Бұл жалған позитивтерден аулақ болу үшін өте жақсы нәтиже бере алады,^{[дәйексөз қажет ]} заңды электрондық пошта спам ретінде қате жіктелген жағдайда. Мысалы, егер электрондық поштада жиі қолданылатын «Нигерия» сөзі болса Аванстық алаяқтық спам болса, алдын ала анықталған ережелер сүзгісі оны мүлдем қабылдамауы мүмкін. Байес сүзгісі «Нигерия» сөзін ықтимал спам ретінде белгілейді, бірақ заңды электрондық поштаны көрсететін басқа да маңызды сөздерді ескереді. Мысалы, жұбайының аты-жөні электронды поштаның спам емес екенін көрсетуі мүмкін, бұл «Нигерия» сөзін қолдануды жеңе алады.

Кемшіліктері

Іске асырылуына байланысты, Байес спамдарын сүзуге сезімтал болуы мүмкін Байес улануы, спам-фильтрлердің тиімділігін төмендету мақсатында спам жасаушылар қолданатын әдіс. Байес улануымен айналысатын спаммер көп мөлшерде заңды мәтіні бар электрондық пошта хабарламаларын жібереді (заңды жаңалықтардан немесе әдебиет көздерінен алынған). Спаммер Әдетте спаммен байланысты емес кездейсоқ зиянсыз сөздерді енгізу, соның салдарынан электронды поштаның спам санын азайтып, Байес спам-сүзгісінен өтіп кету ықтималдығын арттырады. Алайда, мысалы, Пол Грэмнің схемасында тек маңызды спектрлер қолданылған, сондықтан мәтінді спамға қатысы жоқ сөздермен толтыру анықтау ықтималдығына айтарлықтай әсер етпейді.

Әдетте спамда көп мөлшерде кездесетін сөздер спаммен өзгеруі мүмкін. Мысалы, спам-хабарламада «Виагра» «Виаагра» немесе «V! Агра» ауыстырылатын болады. Хабарлама алушы өзгертілген сөздерді оқи алады, бірақ бұл сөздердің әрқайсысы Bayesian сүзгісімен сирек кездеседі, бұл оның оқу процесіне кедергі келтіреді. Жалпы ереже бойынша, бұл спам жасау әдісі өте жақсы жұмыс істемейді, өйткені туынды сөздер әдеттегі сөздер сияқты сүзгі арқылы танылады.^[17]

Байесиялық спам-сүзгілерді жеңу үшін қолданылатын тағы бір әдіс - мәтінді суреттермен тікелей немесе байланыстырылған суреттермен ауыстыру. Хабарламаның бүкіл мәтіні немесе оның бір бөлігі сол мәтін «сызылған» суретке ауыстырылады. Спам-сүзгі әдетте «Виагра» сияқты сезімтал сөздерді қамтитын бұл суретті талдай алмайды. Алайда көптеген пошта клиенттері қауіпсіздікті қамтамасыз ету үшін байланыстырылған суреттерді көрсетуді өшіретіндіктен, алыс суреттерге сілтемелер жіберетін спамер аз мақсатқа жетуі мүмкін. Сондай-ақ, байттағы суреттің өлшемі эквивалентті мәтіннің өлшемінен үлкен, сондықтан спамерге суреттерді тікелей қоса хабарламалар жіберу үшін өткізу қабілеттілігі көбірек қажет. Кейбір сүзгілер хабарлама спам деп шешуге бейім, егер ол көбінесе графикалық мазмұнға ие болса. Қолданған шешім Google оның ішінде Gmail электрондық пошта жүйесі OCR (таңбаларды оптикалық тану) ішіндегі мәтінді талдай отырып, әр ортасынан үлкен өлшеміне дейін.^[18][19]

Байес сүзгісінің жалпы қолданылуы

Байес сүзгісі спам-поштаны анықтау үшін кеңінен қолданылғанымен, техника кез келген дерлік деректерді жіктей алады (немесе «кластер»). Оның ғылымда, медицинада және техникада қолданысы бар. Бір мысал - жалпы мақсаттағы жіктеу бағдарламасы AutoClass бастапқыда жұлдыздарды спектрлік сипаттамаларына қарай жіктеу үшін қолданылған, олар байқалмайтындай нәзік болды.

^[20]

Сондай-ақ қараңыз

• Спамға қарсы әдістер
• Байес улануы
• Электрондық поштаны сүзу
• Марковтық дискриминация
• Mozilla Thunderbird Bayes сүзгілерінің жергілікті енгізілуімен пошта клиенті^[21][22]

Әдебиеттер тізімі