Мој пројекат је запео око кореновања. Ја сам заправо закључио радећи са именима, презименима и топонимима (имам листе, па сам изгенеришем све промене) да је кореновање заправо неопходно, јер скупљање речи је посао који би трајао дуго и никада не би био завршен... Постоји проблем са скупљањем речи где неправилно написане речи могу да уђу у речник ако се не филтрирају "ручно." Нпр. мој речник има преко 430к речи, и сваки пут када стружем (scrape) странице за нове речи нешто ново се појави.

Погледао сам ове алгоритме за кореновање, али мислим да не производе добре резултате...

Stemmer for Serbian language

In linguistic morphology and information retrieval, stemming is the process for reducing inflected (or sometimes derived) words to their stem, base or root form; generally a written word form. In this work is presented suffix stripping stemmer for Serbian language, one of the highly inflectional languages.

https://arxiv.org/abs/1209.4471
https://github.com/nikolamilosevic86/SerbianStemmer

Snowball

Snowball is a small string processing language for creating stemming algorithms for use in Information Retrieval, plus a collection of stemming algorithms implemented using it.

https://github.com/snowballstem/snowball/blob/master/algorithms/serbian.sbl

Пример када би имали корен речи могли би све ове варијације да изгенеришемо:

             | једнина          | множина
-------------+------------------+------------- именица
Номинатив    | железница        | железнице
Генитив      | железнице        | железница
Датив        | железници        | железницама
Акузатив     | железницу        | железнице
Вокатив      | железницо        | железнице
Инструментал | железницом       | железницама
Локатив      | железници        | железницама
-------------+------------------+----------------+----------------- придеви
једнина      | мушки            | женски         | неутрални
-------------+------------------+----------------+-----------------
Номинатив    | железнички       | железничка     | железничко
Генитив      | железничког(а)   | железничке     | железничког(а)
Датив        | железничком(у/е) | железничкој    | железничком(у/е)
Акузатив     | железнички       | железничку     | железничко
             | железничког(а)   |                |
Вокатив      | железнички       | железничка     | железничко
Локатив      | железничком(е/у) | железничкој    | железничком(е/у)
Инструментал | железничким      | железничком    | железничким
-------------+------------------+----------------+-----------------
множина      | мушки            | женски         | неутрални
-------------+------------------+----------------+-----------------
Номинатив    | железнички       | железничке     | железничка
Генитив      | железничких      | железничких    | железничких
Датив        | железничким(а)   | железничким(а) | железничким(а)
Акузатив     | железничке       | железничке     | железничка
Вокатив      | железнички       | железничке     | железничка
Локатив      | железничким(а)   | железничким(а) | железничким(а)
Инструментал | железничким(а)   | железничким(а) | железничким(а)