Наивен Баесов класификатор

Наивен Баесов класификатор (англиски: Naive Bayes Classifier) претставува модел за класификација на одредени ентитети во определени класи, со примена на Баесовата теорија на веројатноста.

Особености уреди

Наивниот Баесов класификатор е едноставен класификатор на веројатноста заснован врз употребата на Баесовата теорема со силни (наивни) претпоставки за независност меѓу појавите.[1] Наивниот Баесов класификатор претпоставува дека присуството (или отсуството) на конкретно својство на дадена класа не е поврзано со присуството (или отсуството) на ниту едно друго својство на конкретната класа.[2]

И покрај нивниот наивен дизајн и едноставните претпоставки, Наивните Баесови класификатори функционираат задоволително добро во многу комплексни ситуации во реалниот свет и постојат теоретски засновани причини кои ја оправдуваат нивната ефикасност. Од друга страна, споредбата на перформансите на различните модели за класификација покажуваат дека постојат модели кои, во даден контекст, имаат подобри перформанси од Наивниот Баесов класификатор.[3] Голема предност на Баесовиот класификатор е тоа што му е потребен само мало податочно множество за тренинг со што би се извршила проценка на параметрите (аритметички средини и варијанси на променливите) кои се потребни за успешно да се изврши класификација. Поради тоа што се претпоставува дека променливите се меѓусебно независни, потребно е да се одредат само варијансите од променливите за секоја класа, но не и да се пресметува целата матрица на коваријансите.[4] Градењето на Наивен Баесов модел е прилично едноставно бидејќи нема комплицирани итеративни проценувања на параметрите, што го прави моделот посебно многу корисен кај многу големи податочни множества. И покрај неговата едноставност, Наивниот Баесов класификатор често функционира изненадувачки добро и е многу употребуван бидејќи често има подобри перформанси во споредба со пософистицирани методи за класификација.[4]

Функционирање на моделот уреди

Наивниот Баесов класификатор е заснован врз Баесовата теорема за пресметување на условната веројатност P(c|x) (веројатноста да се случи настанот „c“ под услов да се случил настанот „x“) преку веројатностите P(c), P(x) и P(x|c) каде со „c“ е означена одредена класа, додека пак со „x“ е означена вредноста на некој податок (својство, одлика, атрибут). Притоа, изразот P(c|x) може да се протолкува како веројатноста одреден ентитет да припаѓа на класата „c“ во оној случај кога поседува дадено својство „x“. Дополнително, со P(c) се означува веројатноста за ентитетот да припаѓа на класата „c“ пред да бидат анализирани податоците (prior probability). P(x) е веројатноста за одреден ентитет да го поседува својството „x“ како своја одлика, додека P(x|c) е веројатноста еден ентитет да го поседува својството „x“ како своја одлика под услов дека тој ентитет припаѓа на класата „c“.[2][3]

Притоа, Баесовата теорема е изразена преку равенката: P(c|x) = P(x|c) × P(c) / P(x)

Наивниот Баесов класификатор претпоставува дека ефектот од вредноста на својството „x“ кај дадена класа „c“ е независен од вредностите кои ги имаат останатите својства. Оваа претпоставка се нарекува претпоставка за класна условна независност.[2]

Примената на Наивниот Баесов класификатор ги вклучува следниве чекори:

  1. Создавање табели на честотата за секое својство.
  2. Трансформирање на табелите на честотата во табели на веројатноста.
  3. За секоја класа c C се пресметува P(c|X), според равенката на Баесовата теорема.
  4. Класата c C, за која P(c|X) има највисока вредност споредено со останатите класи од множеството C, го претставува излезот на моделот, односно конкретниот ентитет се класифицира како да припаѓа на класата c.

Веројатноста ентитетот да припаѓа на класата „c“ при услов тој да поседува дадено множество од својства „X“ (P(c|X)) може да се пресмета откако најпрво ќе се направат табели на честотата за секое поединечно својство во однос со крајниот излез (класа). Понатаму, табелите на честотата да се трансформираат во табели на веројатноста. Најпосле, со помош на равенката од Баесовата теорема, за секоја можна класа се пресметува веројатноста ентитетот кој поседува множество својства „X“ да припаѓа на неа (P(c|X), под услов c да биде елемент на C; додека C е множество од сите можни класи на кои дадениот ентитет може да припаѓа со одредена веројатност). Онаа класа „c“ за која важи дека c е елемент на C и за која е најголема веројатноста ентитетот кој поседува множество својства „X“ да припаѓа на неа (P(c|X)) е класата која е резултат на предвидувањето. Тоа значи дека Наивниот Баесов класификатор ќе го класифицира ентитетот кој поседува множество својства „X“ како ентитет кој припаѓа на класата c која е елемент на C.

Наводи уреди

  1. K. M. A. Chai, H. L. Chieu, H. T. Ng, „Bayesian online classifiers for text classification and filtering“, во: Proceedings of the 25th annual international ACM SIGIR conference on Research and development in information retrieval, АСМ, 2002, стр. 97-104.
  2. 2,0 2,1 2,2 K. P. Murphy, Naive Bayes classifiers. University of British Columbia, 2006.
  3. 3,0 3,1 K. Kennedy, Credit Scoring Using Machine Learning, 2013.
  4. 4,0 4,1 R. S. Michalski, J. G. Carbonell, T. M. Mitchell (Eds.), Machine learning: An artificial intelligence approach. Springer Science & Business Media, 2013.