Категория
Информатика
Тип
реферат
Страницы
11 стр.
Дата
13.09.2008
Формат файла
.doc — Microsoft Word
Архив
114102.zip — 147.22 kb
  • vydelenie-kljuchevyx-slov-v-tekstovyx-dokumentax_114102_1.doc — 383.5 Kb
  • Readme_docus.me.txt — 125 Bytes
Рейтинг
10  из 10
Оценок
1
Оцените работу
Хорошо  или  Плохо


Текст работы

Федеральное агентство по образованиюГосударственное образовательное учреждение высшего профессионального образованияВятский государственный гуманитарный университетРефератВыделение ключевых слов в текстовых документахКиров 2008 г.
Введение
Для решения задач классификации текстов, документы в непосредственном виде не подходят для интерпретации классификатором. Поэтому необходимо применение процедуры индексации, которая переводит текст в удобное представление. В частности стандартные методы классификации, такие как нейронные сети и деревья решений, требуют представление документа в виде вектора из n взвешенных признаков. Построение такого вектора называется выделением признаков, а само представление векторной моделью документа.
Различия в подходах заключаются:
1) в понимании, что такое термин;
2) в способах определения веса термина.
Обычно признакам соответствуют все или некоторые отдельно взятые слова документа. В ряде экспериментов было обнаружено, что чуть даже более сложное представление менее эффективно. В частности, некоторые авторы пробовали использовать группы слов (стилистические, синтаксические) в качестве признаков. Д.Д. Льюис [5] довольно убедительно утверждает, что, скорее всего, причиной неутешительных результатов является то, что методы индексирования на основе фраз обладают худшими статистическими характеристиками по отношению к методам на основе одиночных слов, хотя их семантические качества гораздо выше.
Одним из самых распространенных методов перехода к математической модели документа, является «метод ключевых слов». Ключевое слово – слово в тексте, способное в совокупности с другими ключевыми словами представлять текст. Суть метода в следующем. Для каждого класса текстов создается список характерных для него слов,



Ваше мнение



CAPTCHA