Изобретут ли лучший поиск
Американцы говорят, что в будущем на рынке останется всего лишь одна поисковая система. Можно ли опознать будущего лидера в момент, когда новый поисковик только появляется на свет?
В обозримом будущем на рынке поиска должна остаться одна-единственная поисковая система. Поиск в вебе – естественная монополия с многомиллиардными доходами, и разработки перспективных поисковых технологий еще в самом начале. Можно ли опознать будущего лидера в момент, когда новая поисковая машина только появляется на свет? Как сравнить результаты никому не известной поисковой системы с теми, что выдают поисковики-гиганты?
Американцы считают поиск естественной монополией, т. е. в идеале в будущем на рынке поиска должна остаться одна-единственная поисковая система. Хотя Google и рассматривается как наиболее перспективный кандидат на эту роль, существует неистребимая версия, что в каком-нибудь американском (российском, индийском, украинском, китайском) гараже два-три студента уже собирают прообраз поисковика нового поколения, который отберет у Google лидерство и станет самым-самым. У юных студентов вряд ли может быть лучший маркетинг и много денег, т.е. надежды на успех новых гениев молва связывает именно с тем, что кто-то сумеет изобрести лучший поиск.
Учитывая уже потраченные в мире на разработку поисковых технологий миллиарды долларов, вопрос, что же такое «лучший поиск», представляется далеко не праздным. Как опознать будущего лидера в момент, когда новая поисковая машина только выкатывается из гаража? Как сравнить результаты никому не известной поисковой машины с теми, что выдают поисковики-гиганты?
Релевантность, пользователи, мнение
Результаты работы поисковой машины традиционно оцениваются с помощью довольно странного показателя – релевантности. В переводе с английского, relevant – уместный, подходящий. Избавившись от привычки именовать простое слово ученым термином, получим, что хорошая поисковая машина выдает в ответ на запросы пользователей «подходящие, уместные» ссылки, а не очень хорошая – «неподходящие» и «неуместные».
Но число, характеризующее релевантность документа запросу, не показывает ни одна поисковая машина. Главный аргумент в пользу такого выбора – этот параметр не нужен пользователям. 99,99% пользователей поисковых машин не знают, что такое релевантность, и вряд ли одобрят по-пытку подробно объяснить им значение проблемы оценки качества работы поисковых машин, у каждого и своих забот хватает. Тем не менее, 100% пользователей при каждом обращении к поисковой машине оказываются в ситуации оценки. Быстро нашел, что искал, – отлично. Нашел, но пришлось потрудиться – неплохо. Долго искал, но нашел не совсем то – хуже. Час промучился и ничего не нашел – что уж говорить об этом поисковике...
Пользователей сотни миллионов человек, задают они десятки миллионов разных запросов, разные пользователи, вводя один и тот же запрос, могут искать совершенно разные сайты. Тем не менее каждая ситуация поиска оценивается. Оценка присваивается поисковой машине. Набор оценок разных поисков, сделанных одним пользователем, образует мнение человека о поисковой машине. Совокупность мнений всех пользователей образует мнение аудитории поисковика и является характеристикой, которую проще всего назвать обобщенно – качество результатов поиска, или качество поиска.
Проблемы измерения качества поиска
Как видим, релевантность и качество поиска далеко не одно и то же. О релевантности можно говорить в каждом конкретном случае «запрос – найденный документ», и в каждом случае это какое-то число, алгоритмически рассчитанное и служащее мерой ранжирования ссылки на документ в результатах поиска по запросу. Качество поиска объединяет результаты оценок миллиардов поисков разными пользователями с разными запросами.
Теоретически качество поиска можно попытаться измерить, опросив всех пользователей. Что-то вроде «оцените, пожалуйста, в десятибалльной системе поиск Google, Яндекса, Рамблера и вот этого нового поисковика не_помню_как_он_называется». Реально такой опрос провести невозможно, поэтому кажется разумным проведение выборочных оценок, т.е. какие-то «специальные люди» станут оценивать ответы по каким-то запросам, и, сведя оценки воедино, мы получим какую-то цифру. Способ далеко не бесспорный.
Существует ли иной подход к оценке качества поиска?
(полную версию статьи вы можете прочитать в 2 номере журнала "Практика интернет-маркетинга")