Hadoop трейнинг, впечатления

4 сентября в здании бизнес центра “Паладиум Сити” прошел трейнинг по Hadoop. Казалось бы время прошло не мало со дня трейнинга, почти 2 недели, но не написать об этом событии я не мог. Уж очень понравился этот однодневный вводный курс по Hadoop. Курс читали специалисты компании CodeMinders. Надо отдать ребятам должное, предмет они знали хорошо и на мой взгляд ответили практически на все вопросы. Что очень понравилось и на что хотелось бы обратить особое внимание - это возможность живого обсуждения в ходе изложения материала. По ходу задавалось много вопросов, было много дискуссий. От этого встреча прошла очень оживленно и интересно. При всем этом ребята смогли выдержать регламент мероприятия, задержались буквально на полчаса, что для мероприятия в целый день - очень не плохо. Одним словом, молодцы! За что им отдельное спасибо!


Трейнинг был построен на базе материалов, предоставленных американской компанией Cloudera Основная цель была познакомить слушателей с технологией применяемой в Google, Yahoo, Facebook, Twitter. Основные вопросы курса:
- технология Google MapReduce
- использование MapReduce и HDFS
- что такое Pig, HBase, Hive, Zookeeper
- программирование с Hadoop
- алгоритмы и MapReduce

В основе Hadoop заложены идеи опубликованные в 2004 году компанией Google в концептуальной статье MapReduce: Simplified Data Processing on Large Clusters. Статья описывает принципы выполнения высокопроизводительных расчетов для больших кластерных систем в Google окружении. После выхода этой статьи многие компании и разработчики использовали принципы MapReduce в своих проектах. Одним из таких проектов стал open-source проект Hadoop. Чтобы не повторяться в пересказе деталей, что такое Hadoop, рекомендую прочесть статью Владимира Орлова (одно из преподавателей) для конференции LVEE 2010