Google: как обрабатываются поисковые запросы

Этот пост является продолжением предыдущего поста Архитектура кластеров Google и раскрывает принципы лежащие в основе обработки поисковых запросов пользователя. Каковы задачи Google Web Server, что такое индексные сервера и сервера документов? Какова их роль в обработке запросов? Каким образом Google обрабатывает тысячи запросов в секунду, поступающие от пользователей со всего мира? Каковы архитектурные решения используются для того, чтобы выдерживать такую нагрузку?

Архитектура кластеров Google

Тема серверов, используемых в Google, не нова. После рассказа Михаила Кашкина на PyCon Ukraine об Архитектуре HL приложений GAE появилось желание не столько разобраться в тонкостях работы Google App Engine, как в архитектуре самих серверов Google, поверх которых и строятся все сервисы Google. Интерес к данной тематике возник давно, но вот так чтобы взять и систематизировать свои знания, такого не было.

Яндекс: Yet Another Conference 2010

1 октября 2010 Яндекс организовал конференцию, посвященную высокопроизводительным системам. Основные темы конференции — хранение данных, инструменты, тестирование, обработка мультимедиа, web mining. К сожалению попасть на конференцию у меня не получилось, зато благодаря онлайн трансляции удалось послушать несколько докладов. Конференция проходила в пятницу, в рабочий день. Очень сложно было найти время послушать все презентации, приходилось выбирать. Из тех, что удалось послушать, хочу отметить одну, которая очень понравилась - Scaling Storage and Computation with Hadoop Константина Швачко.

Бывает так, что спустя время хочется обновить в памяти презентации, которые слушал когда-то. А что бы потом долго не искать по просторам Интернета, где же я вдел ссылку на ту или иную презентацию, перенес ссылки к себе в блог из оригинального поста