• 8 ноября 2012
  • Москва, Варшавское шоссе д.9 с.1

Hadoop user group

Регистрация на событие закрыта

Извините, регистрация закрыта. Возможно, на событие уже зарегистрировалось слишком много человек, либо истек срок регистрации. Подробности Вы можете узнать у организаторов события.

Другие события организатора

Объединенная компания "Афиши" и "Рамблера"
1690 дней назад
8 ноября 2012 c 19:00 до 21:00
Москва
Варшавское шоссе д.9 с.1

Докладчики, которые подтвердили свое участие: 1) Павел Мезенцев: небольшой обзор Apache Mahout — библиотеки машинного обучения, использующей hadoop 2) Илья Трофимов: пакет машинного обучения Vowpal Wabbit под Hadoop 3) Владимир Юнев, Microsoft (vyunev@microsoft.com) "Слоны в облаках: работаем с Hadoop в Windows Azure" 4) Алексей Рагозин (alexey.ragozin@gmail.com), Hadoop deployment, blood and tears

1. Илья Трофимовпакет машинного обучения Vowpal Wabbit под Hadoop

Сам пакет Vowpal Wabbit (
https://github.com/JohnLangford/vowpal_wabbit/wiki) изначально предназначался не специально для hadoop.
Но в одном очень важном случае (обучение линиейных функций на очень больших объемах данных) он работает в связке с hadoop.

Ну и план доклада примерно вырисовывается таким:
1. Обзор Vowpal Wabbit
2. Large-scale learning linear functions at Hadoop.
3. Примеры использования

Собственно в Яндексе мне пришлось писать связку с нашим MapReduce.
Пакеты для hadoop уже существуют и доступны для скачивания.

2. Мезенцев Павел
. "Mahout. Машинное обучение на MapReduce"
Я расскажу про библиотеку машинного обучения apache mahout.
Выступление будет из двух частей:
 - "теоретической": какие алгоритмы можно представить в виде map-reduce (это достаточно большое семейство)
ну и зачем это надо делать.
 - и практической — как эти алгоритмы реализованы на mahout, как их можно использовать

3. Владимир Юнев, Microsoft:
 "Слоны в облаках: работаем с Hadoop в Windows Azure"
  
Облачная платформа Windows Azure сегодня предлагает разработчику все необходимые компоненты для построения проектов любой сложности. Отдельной темой для платформы является тема Big Data и обработка огромных массивов данных. В этом докладе мы рассмотрим подсистему Hadoop  on Windows Azure, которая позволяет запускать задачи для Apache Hadoop без необходимости построения собственной инфраструктуры. Используя возможности облачной платформы, мы рассмотрим как на практике получить для своих целей Haddopкак сервис, как выделить  и использовать ресурсы по требованию.

4. Алексей Рагозин:
 Hadoop deployment, blood and tears

Hadoop / HBase / Hive — проблемы управления окружением
В нашей команде предусмотренны определённые практики разработки распределённых прилежений.
1. Стек приложения должен развёртываться автоматически на произвольных серверах (без рутовых привилегий).
2. Приложение должно "ужиматься" до одного серевера (или даже одно JVM) c минимальными изменниями кода.
3. Windows — среда разрабоки.
Обычно java приложения не создают больших проблем, но stack Hadoop / HBase / Hive реально заставил нас попотеть.
Доклад о проблемах, с которыми мы столкнулись и "воркарундах".

Регистрация

Рекомендуемые события

Организуете события? Обратите внимание на TimePad!

Профессиональная билетная система, статистика продаж 24/7, выгрузка списков участников, встроенные инструменты продвижения, личный кабинет для самостоятельного управления и еще много чего интересного.

Узнать больше