Использование различных методов для извлечения и идентификации ключевых слов из научных текстов на казахском языке

Abstract

В данной статье мы представляем исследование по повышению точности извлечения ключевых слов для научных текстов на казахском языке, в частности, в области экологии. Мы исследуем эффективность нескольких алгоритмов, включая Kea, WINGNUS, TextRank, MultipartiteRank, LSA, LDA и Word2Vec для извлечения ключевых слов. Наша цель - продемонстрировать, что алгоритм Word2Vec работает лучше других в определении релевантных ключевых слов в научных текстах на казахском языке. Наши результаты показали, что алгоритм Word2Vec превосходит другие алгоритмы по точности, отзыву и F1-score для извлечения ключевых слов в научных текстах по экологии на казахском языке. В частности, алгоритм Word2Vec достиг точности 0,87, recall 0,86 и F1-score 0,86, в то время как второй по эффективности алгоритм (LSA) достиг точности 0,83, recall 0,81 и F1-score 0,81. Мы заметили, что способность Word2Vec улавливать семантические связи между словами и фразами помогла выявить ключевые слова, тесно связанные с основной темой текста. Алгоритмы LSA и LDA также показали многообещающие результаты, но они были не так эффективны, как Word2Vec, в определении релевантных ключевых слов. Эти результаты имеют важное значение для исследователей и практиков в области экологии, работающих с научными текстами на казахском языке, поскольку они могут использовать алгоритм Word2Vec для более точного и эффективного извлечения ключевых слов. Данное исследование также вносит вклад в более широкие исследования по улучшению извлечения ключевых слов в неанглийских языках