Яндекс для всех - Абрамзон М. Г.

Если заданное поисковое выражение есть в новостях, будет сформирована страница результатов (рис. 3.7). Результаты по умолчанию отсортированы по релевантности, но есть возможность отсортировать и по дате публикации.

Перед выводом результатов выводится информация о найденном количестве новостей и ссылка на поиск в блогах. Далее располагаются результаты поиска, причем на первом месте выведены новости, сформированные в сюжеты. Далее — новости-"одиночки". Для сюжетов имеются ссылки на просмотр сюжетов в целом и показывается количество новостей, составляющих сюжет. В отличие от новостной ленты, для найденных новостей не даются ссылки на их обсуждение в блогах.

Если найденных новостей больше, чем может быть выведено на странице, внизу страницы будет размещена строка для перехода на другие страницы результатов поиска.

3.1.5. Немного истории, или Новости в лицах

Прежде чем перейти к следующей возможности, предоставляемой Новостями, немного истории. Предвестником пресс-портретов на Яндексе были Новости в лицах. Это одна из немногих разработок, выполненная сотрудниками Яндекса совместно со сторонней компанией. Соисполнителем разработки была компания "Интегрум" (http://www.integrum.ru/), крупнейший в мире электронный архив русскоязычных документов.

О том, как проводилась работа и с какими сложностями пришлось столкнуться разработчикам, рассказал один из создателей сервиса Лев Гершензон (http://company.yandex.ru/blog/?msg=100050&month=8&year=2005).

Идея делать автоматические именные указатели была навеяна журналом "Власть" и его "Лицами, упомянутыми в номере". Поскольку журналов, газет и прочих поставщиков текстовых документов в "Интегруме" больше трех тысяч, мы решили не мелочиться и сделать подобный именной указатель, но один для всех источников и полностью автоматический.

В большинстве случаев (малочисленные путины, фрадковы, грефы — не в счет), один человек за короткий промежуток времени (1–3 дня) упоминается как участник одного события. Мне показалось, что рубрики и сюжеты Яндекс. Новостей станут интереснее, а главное, читатель сможет быстрее и лучше понять, что к чему, если применить к ним ту же технологию.

Главной особенностью программы является отсутствие какого бы то ни было заранее заданного списка людей — новые несловарные фамилии автоматически определяются и приводятся к словарной форме по специфическому контексту (имя, инициалы и др.). Кроме того, с высокой точностью разграничиваются однофамильцы и разрешается родовая омонимия (ср. Валентина Матвиенко, Александра Лебедева — мужчина или женщина?).

А вот, например, с какими проблемами и ошибками пришлось столкнуться.

• Имена омонимичны обычным словам. В самом начале в "Сегодня в лицах" фигурировали такие персонажи: Гера Советского, Вячеслав Богу, Надежда Доброй.

• Фамилии могут совпадать с отчествами. Бывшие бизнес-партнеры Борис Абрамович Березовский и Роман Аркадьевич Абрамович и в придачу президент компании "КрасЭйр" Борис Михайлович Абрамович доставили нам немало хлопот.

• Некоторые фамилии склоняются, некоторые нет. И если их нет в словаре, по их внешнему виду (по буквам) понять, к какому типу относится фамилия (и если склоняется, то как) далеко не всегда удается. Ардзинба и Анкваба. Поняли, что первая фамилия в именительном падеже, а вторая — в родительном? А так похожи.

• Мужские и женские имена тоже очень часто имеют общие формы (см. ранее).

• Есть такие народы, в которых одного имени человеку недостаточно. Мы этого не понимаем и ошибаемся. Без энциклопедического багажа совершенно не понятно, сколько человек тут упомянуто: Джон Рональд Руэл Толкиен.

Как бы то ни было, но сервис Новости в лицах был создан, и через год после начала разработки был предъявлен посетителям. Сейчас этот сервис не выделяется отдельной страницей, как было при его создании, но превратился в поставщика информации для блоков Сюжеты в лицах.

Главной особенностью программы, анализирующей тексты новостей, является отсутствие заранее заданного списка персон — при обработке сообщения программа самостоятельно находит в тексте имена и фамилии и добавляет их в рейтинг.

Списки имен создаются отдельно для каждой рубрики, региона, сюжета и результатов поиска. Таким образом, пользователь может наблюдать, как меняется состав лиц, о которых пишут журналисты, от Нижнего Новгорода к Иркутску, кто сегодня является наиболее заметной фигурой спортивной сферы, а кто — культурной.

Рейтинги обновляются каждые 10 минут — одновременно с появлением новых сообщений на Яндекс. Новостях, — что позволяет быстро находить упоминания ньюсмейкеров в актуальных сюжетах. Списки имен представлены на всех страницах службы, когда данные позволяют набрать достаточную статистику.

Отзывы об этом сервисе превзошли все ожидания, захотелось двигаться дальше, и тогда появились пресс-портреты.

3.1.6. Пресс-портреты в Новостях

Читая новость о каком-либо событии, зачастую, если в тексте упоминается какой-либо человек, хочется узнать о нем побольше. Кто он такой, чем и когда занимался, какого его отношение к различным событиям. Самостоятельно собрать подобные сведения об интересующем вас человеке довольно сложно, для этого придется проводить обширный поиск нужной информации.

Яндекс. Новости решил выполнить эту работу за нас. Теперь в составе Новостей появился дополнительный сервис — пресс-портреты. Вот как было написано в пресс-релизе по поводу открытия этого сервиса:

В пресс-портрете на сегодняшний день представлено три типа сведений о человеке: свободные определения человека, послужной список и цитаты. Свободные определения — это звания (полковник, доцент), ученые степени (доктор экономических наук), профессии (литературный критик, известный адвокат) и любые другие описания (хороший семьянин, старый знакомый Маши Ивановой, самый богатый человек в мире). В послужной список входят факты, состоящие из названия организации (Юкос, Министерство экономического развития) и должности (президент, генеральный директор, секретарь), которую человек в ней занимал, занимает (или займет в будущем). В третьем блоке содержатся цитаты человека и цитаты о нем других людей. Каждый факт снабжен текстовой иллюстрацией фрагментом новостного сообщения, из которого была извлечена информация. Кроме того, для каждого факта можно получить все его упоминания в Яндекс. Новостях.

Справочная часть службы Яндекс. Новости состоит более чем из 1 млн пресс-портретов, 30 тыс. из которых обновляется ежедневно. Новостная служба Яндекса была открыта семь лет назад, поэтому большая часть пресс-портретов создана на основе анализа сообщений СМИ с 2000 года, в настоящее время к службе подключаются архивы новостных источников за предыдущие годы, что повышает полноту и точность сервиса.

Как и все остальные работы в Новостях, формирование пресс-портретов выполняется полностью автоматически. Поэтому одной из проблем является создание пресс-портретов для однофамильцев, когда совпадают еще и их имена и фамилии. Поэтому идеальный результат, когда одному человеку соответствует один пресс-портрет, получается не во всех случаях.

Примером может служить поиск человека Иван Иванов. На странице результатов поиска, помимо сюжетов и новостей, приведены ссылки на упоминающихся в этих новостях лиц. Но в списке наиболее известных лиц Ивана Иванова нет. Впрочем, под списком ведущей пятерки есть ссылка на все пресс-портреты, относящиеся к этому поиску, а их 93. Перейдя по этой ссылке, увидим список, в котором "Иван Иванов" встречается на первой странице, затем еще несколько раз в продолжении этого списка.