Тезисы выступлений 2010

Петр Попов закончил механико-математический факультет Московского государственного университета, защитил кандидатскую диссертацию в области алгебраической топологии. С 2003 года работает в софтверной индустрии, с 2009 года в Яндексе на должности разработчика. Область интересов – низкоуровневые оптимизации, вычисления на неклассических архитектурах (IBM Cell, GPU).

Тема доклада:

Базовые оптимизации.

Тезисы:

Поисковая инфраструктура Яндекса требует значительных затрат на поддержку и постоянно растет. Растет и объем проиндексированной информации, и сложность алгоритмов ранжирования, и сложность запроса. Расхожий тезис «вычислительные мощности дешевле усилий программиста по оптимизации» становится неверным. Поисковый запрос пользователя в Яндекс проходит несколько стадий обработки, «базовый поиск» – это самая низкоуровневая и требовательная к оптимизациям подсистема, потребляющая до 95% серверных мощностей. Сам базовый поиск включает в себя нахождение документов-кандидатов, вычисление для них факторов ранжирования и финальный подсчет релевантности. Мы расскажем про подходы Яндекса к сжатию поискового индекса и про ускорение алгоритма ранжирования MatrixNet.

Смотреть презентацию.

Закончил механико-математический факультет Московского государственного университета в 2000 году. Семь лет работал над оптимизирующими компиляторами (4 года в SUN и 3 года в Intel). В 2004 защитил диссертацию на степень кандидата технических наук по теме «Методы высокоуровневой оптимизации циклов». С 2007 года Константин работает в московском отделении Google и занимается динамическим анализом программ, в том числе поиском ошибок многопоточного кода.

Тема доклада:

Как мы охотимся на гонки (data races) или «найди багу до того, как она нашла тебя».

Тезисы:

При создании высоконагруженных систем, как серверных, так и клиентских, становится всё сложнее обходиться без многопоточности. Однако программирование многопоточных приложений не становится легче – во многом из-за проблемы гонок (data races).Гонки практически не поддаются «отлову» при помощи классических методов тестирования, так как не проявляются при каждом запуске программы. Рассказ пойдёт об инструменте поиска гонок «ThreadSanitizer», который был разработан и внедрен в Google. ThreadSanitizer позволяет находить гонки в программах, написанных на C, C++, Java и работающих на Linux, Mac Os и Windows. Мы поделимся опытом реального использования этого инструмента при тестировании крупных проектов, таких как Google Chrome или серверное ПО Google. Вы узнаете, какие гонки мы находили, с какими сложностями сталкивались при обучении пользователей, как внедряли регулярное автоматическое тестирование.

Скачать презентацию (pdf).

Студент 5 курса математико-механического факультета Санкт-Петербургского государственного университета. В Яндексе разрабатывает системы автоматического сбора структурированных данных.

Тема доклада:

Автоматический сбор данных по примерам.

Тезисы:

В настоящее время в интернете можно найти огромное количество полезной информации. Повсеместно встает проблема сбора этой информации в автоматическом режиме. Однако полностью автоматические методы извлечения информации далеко не всегда могут обеспечить необходимую полноту и точность результата. В докладе будет представлен новый инструмент для управляемого извлечения структурированных данных. Пользователь указывает примеры интересующей его информации на нескольких страницах сайта. Система автоматически строит шаблоны специального вида для поиска такой же информации на всех страницах сайта. Будет рассказано об используемых алгоритмах и проблемах, с которыми пришлось столкнуться при их реализации. Также будет дан обзор нерешенных задач и перспектив их развития.

Скачать презентацию (pdf).

Работает в Intel 2 года на позиции инженера по разработке ПО. Занимается технической консультацией по вопросам компиляторов (Compiler Technical Consulting Engineer) в регионе EMEA (Europe, Middle East and Africa).

Тема доклада:

Обзор современных возможностей по распараллеливанию и векторизации приложений с использованием Parallels Composer.

Тезисы:

В начале сентября был выпушен новый инструментарий Intel® Parallel Studio 2011. Intel® Parallel Studio 2011 включает в себя 4 компонента (Parallel Adviser, Parallel Composer, Parallel Amplifier и Parallel Inspector), которые позволяют быстро и эффективно перейти от последовательного приложения к параллельному приложению для систем с общей памятью. В релизе Intel® Parallel Composer появились новые компиляторные возможности: Intel® Cilk™ Plus, Array Notation, Guided Auto-parallelization(GAP) и другие. Вы познакомитесь на примерах с этими расширениями, а также увидите, как они применялись в разработке симулятора перемещения частиц.

Скачать презентацию (pdf).

Закончил Кубанский государственный университет в 2004 году по специальности "Компьютерные технологии и прикладная математика". С 2005 года работает в Яндексе. Спроектировал и запустил Рекламную Сеть Яндекса. С 2008 года руководит группой администраторов рекламных технологий.

Тема доклада:

Веб-сервер Phantom.

Тезисы:

При проектировании нагруженных систем приходится сталкиваться с тем, что разные типы запросов к веб-серверам затрачивают разное количество ресурсов, выполняются за разное количество времени и имеют разные приоритеты выполнения. Некоторые запросы «стоят» мало и должны выполняться как можно быстрее. Некоторые «стоят» дорого, и главное, чтобы они не блокировали обработку быстрых запросов. Существующие схемы приоритезации показались нам громоздкими и неудобными – при росте количества типов запросов конфигурация системы усложнялась в разы. Поэтому, чтобы решить эту проблему, а также для того, чтобы сделать ответы на запросы еще более быстрыми, мы написали свой веб-сервер – Phantom. Я расскажу вам, как он устроен, покажу, какие задачи можно решать с его помощью, а в завершение покажу на практике, как работает приоритезация разных типов запросов, используя для этого инструмент нагрузочного тестирования, основанный на Phantom.

Скачать презентацию (pdf).

Работает основным инженером-программистом в Yahoo!, где разрабатывает HDFS. Специализируется на эффективных структурах данных и алгоритмов для крупномасштабных распределенных систем хранения данных. Получил степень доктора в области компьютерных наук Московского государственного университета. Является членом Комитета по управлению проектом Apache Hadoop.

Тема доклада:

Масштабирование хранилищ и вычисления с Hadoop.

Тезисы:

Hadoop обеспечивает возможность распределенного хранения и фреймворк для анализа и преобразования очень больших наборов данных с помощью парадигмы MapReduce. Hadoop секционирует данные и производит вычисления среди тысяч хостов, кроме того, выполняет вычисления в параллели близкой к своим данным. Кластер Hadoop измеряет вычисление мощности, объема хранилища и пропускной способности ввода-вывода, просто добавляя свойство серверов. Hadoop является проектом Apache Software Foundation, объединяет сотни разработчиков, и сотни организаций по всему миру создают отчеты с помощью Hadoop. В этой презентации представлен обзор проектов семьи Hadoop с акцентом на решения для распределенного хранения данных.

Скачать презентацию (pdf).

Закончил Московский государственный технический университет им. Н.Э. Баумана. Работает в Яндексе с 2007 года. До июня 2008 года был специалистом по нагрузочному тестированию. С июня 2008 года руководит группой нагрузочного тестирования.

Тема доклада:

Танки в Лунапарке: нагрузочное тестирование в Яндексе.

Тезисы:

Ежедневно миллионы людей пользуются сервисами Яндекса и месяц от месяца число посетителей на наших сервисах растёт. Обновление существующих проектов в условиях возрастающей нагрузки и запуск совершенно новых проектов невозможен без проведения соответствующего тестирования. Мы расскажем про «Лунапарк» – инструмент нагрузочного тестирования, который был разработан и внедрен в Яндексе. Вы узнаете, как, зачем и почему мы создавали свой инструмент. Также мы обсудим риски, связанные с созданием собственного инструмента, и те преимущества, которые он может дать.

Скачать презентацию (pdf).

Закончил механико-математический факультет МГУ. До прихода в Яндекс работал в индустрии компьютерных игр и в области медицинской 3D визуализации. В Яндексе с 2007 года, занимается разработкой системы распределенных вычислений.

Тема доклада:

Yet Another MapReduce.

Тезисы:

Одной из самых популярных концепций параллельной обработки больших объёмов данных на сегодня является MapReduce. Простота и масштабируемость этого подхода привели к появлению множества различных реализаций. В настоящем докладе рассматривается реализация MR, используемая в Яндексе. Помимо традиционной отказоустойчивости хранения и обработки данных в больших кластерах, мы поговорим также о расширениях классического подхода, появляющихся в результате решения ряда практических задач.

Смотреть презентацию.

Ведущий инженер по качеству в компании SUN Microsystems, работает архитектором качества по Java и JavaFX, также таких продуктов как Java SE и JavaFX portfolio, и архитектором тестировочных инструментов. До этого работал ведущим архитектором по качеству таких продуктов как Java Studio Creator и Netbeans. Также работал в команде разработки инструментов NetBeans QE. Является автором Jemmy – тестировочного инструмента для интерфейсов с открытым кодом, который широко используется для тестирования интерфейсов приложений на Swing/AWT и для тестирования Swing. Jemmy v3 – инструмент нового поколения, который наряду с другими библиотеками интерфейсов позволяет тестировать интерфейс JavaFX. Инструмент с успехом использовался также для тестирования продуктов на JavaFX SDK и JavaFX.

Тема доклада:

Автоматизированные техники тестирования интерфейсов на примере интерфейса JavaFX.

Тезисы:

Автоматизированное тестирование – важная часть процесса разработки программного обеспечения. При умном использовании оно оптимизирует тестирование ресурсов, повышает качество тестирования, позволяет на ранних стадиях выявлять баги, позволяет строить непрерывный процесс разработки. Автоматизация тестирования интерфейсов требует наличия инструментов, опыта и инвестиций человеческого времени. Сессия продемонстрирует решение, используемое командами оценки качества Java и JavaFX, основываясь на опыте тестирования таких продуктов как Swing, NetBeans, JavaFX SDK и инструментарии разработчика JavaFX. Решение было специально создано, чтобы подчеркнуть ключевые аспекты автоматизации тестирования интерфейсов: эффективность, масштабирование тестировочной базы, стабильность, и ремонтопригодность. Ключевая часть решения заключается в библиотеке тестов интерфейсов высокого уровня с открытым кодом Jemmy. В течение сессии с чистого листа будет создан тест интерфейсов для JavaFX и продемонстрирована база существующих тестов для продуктов JavaFX. Докладчик расскажет про JemmyFX API и объяснит, как некоторые аспекты автоматизированного тестирования интерфейсов могут иметь отношение к тестированию реального кода. Сессия может быть интересна разработчикам на Java и JavaFX UI и инженерам оценки качества, а также всем, кому интересна тема техник и подходов к тестированию интерфейсов.

Скачать презентацию (pdf).

Менеджер продукта с 15-летним стажем, работающий в высокотехнологичной коммуникационной софтверной индустрие. Возглавляет менеджмент продукта в SkypeKit Desktop, отвечает за стратегию продукта и маркетинг для SkypeKit на Windows / Mac OS и Linux. До этого работал менеджером продукта в отдельных сервисах, которые можно найти в Skype. Имеет степени MSc и BSc по прикладной химии Имперского колледжа Лондона.

Тема доклада:

Соединение будущего и подъем видео в режиме реального времени (доклад читается на английском языке).

Короткое введение:

Что влияет на популярность Skype сегодня и как SkypeKit помогает нашим партнерам получить свою долю успеха.

Скачать презентацию (pdf).

Закончил Московский физико-технический институт в 2005 году, факультет физической и квантовой электроники. С 2000 года занимается разработкой ядра Linux и работой с компьютерными комплексами – от встраиваемых PPC систем до многомашинных кластеров. С 2003 года принимает участие в разработке сетевого стека и системы поддержки криптографии в ядре Linux. С 2005 года занимается исследованиями файловых систем и технологий хранения больших объемов данных.

Тема доклада:

Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network.

Тезисы:

В этом докладе будет описана система хранения данных Elliptics network, основной задачей которой является предоставление пользователям доступа к данным, расположенным на физически распределенных серверах с плоской адресной моделью в децентрализованном окружении. Распределенная система хранения данных, предоставляющая доступ к объекту по ключу (key/value storage), и в частности распределенная хэш-таблица (distributed hash table), является весьма эффективным решением с незначительным набором ограничений. Для подтверждения работоспособности данной идеи и функционала в докладе будет представлена практическая реализация распределенной хэш-таблицы с модульной системой хранения данных и различными системами доступа: от POSIX файловой системы до доступа по протоколу HTTP. Также мы обсудим ограничения, накладываемые технологией распределенной хэш таблицы, и сравним особенности высоконагруженного и высоконадежного доступа в ненадежной среде с классическими моделями, использующими централизованные системы. Опираясь на полученные практические результаты и гибкость реализованной системы, будут предложены способы решения поставленных задач и расширения функционала.

Скачать презентацию (pdf).

Вячеслав Борилин уже более 8 лет работает в SPIRIT. На посту вице-президента по продуктам, он руководит рыночным продвижением голосовых и видео решений SPIRIT под брэндом TeamSpirit™, определяет стратегию развития новых продуктов и решений SPIRIT в области VoIP. До SPIRIT Вячеслав работал руководителем отдела электронной коммерции в компании Mail.ru, был инициатором ряда инновационных проектов, предугадывающих основные рыночные тренды, на российском рынке высоких технологий.

Тема доклада:

Построение системы видеокоммуникаций для большого числа пользователей в сети Интернет. Эффективное кодирование и передача real-time трафика. Сигнализация и техники firewall traversal.

Тезисы:

В интернете давно появились качественные VoIP сервисы, однако их сценарии позволяют соединяться в основном один на один (PC-to-PC). А как на счёт видеосервиса, с помощью которого 10, 20 или даже 50 человек смогли бы одновременно видеть друг друга и обсуждать, скажем, футбол? Качественная многопользовательская аудио- и видеосвязь – алгоритмически очень сложный сервис. В докладе мы попытаемся разобраться, что же там такого сложного, и посмотрим, из чего должна состоять такая система. Будет дано сравнение различных аудио- и видеокодеков. Мы также расскажем про последние разработки в области кодирования аудио- и видеосигналов. Опишем основные механизмы адаптации real-time трафика к сетевым условиям – потерям пакетов, джиттеру, задержке. Дадим рекомендации, как сделать коммуникационный сервис, в котором качество голоса и видео будет отличным, и при этом в нем будет возможность объединить в один диалог десятки пользователей. Кроме блока, отвечающего за передачу медиаданных в коммуникационной системе, определённую сложность вызывает блок сигнализации. В особенности актуальным для сети Интернет является блок, обеспечивающий прохождение медиаданных через NAT сервера и firewall. Будут рассмотрены примеры и описаны основные подходы и техники прохождения таких серверов.

Скачать презентацию (pdf).

Работал в ООО ЦИТ "Акко", Саратов программистом. Языки C++, Delphi, Perl, Java. Базы MySQL, MSSQL. Создание и поддержка сайтов. Создание обучающей системы для Министерства труда и социального развития. В настоящее время является главным разработчиком сервиса статистики и рейтингов в ЗАО "Суп Фабрик", Москва. Языки C/C++, Perl. Базы MySQL, PostgreSQL.

Тема доклада:

Система статистики и рейтингов LiveJournal.com.

Тезисы:

В докладе представлен общий обзор архитектуры и взаимосвязи компонентов действующей системы статистики и рейтингов LiveJournal.com. Рассмотрены разработанные методы сбора, обработки и хранения данных с учетом их специфики и объема, а также требуемого функционала. Проанализирована целесообразность выбора хранилища на основе реляционных баз и альтернативных способов хранения, заточенных под конкретную задачу, преимущества и недостатки перехода на файловую модель хранения. Вкратце затронуты вопросы администрирования и отказоустойчивости, а также методы расширения функциональности системы, возникающие проблемы и пути их решения.

Скачать презентацию (pdf).

Закончил МФТИ в 1993 году. С 1994 работает в ABBYY(тогда BIT Software). Принимал участие в разработке различных подсистем FineReader'а, Разрабатывал технологии ввода жестких и гибких форм. С 2003 года работает в отделе лингвистических технологий ABBYY.

Тема доклада:

Распределенная система тестирования машинного перевода.

Тезисы:

В докладе рассмотрены принципы построения распределенных систем на примере системы тестирования машинного перевода. Под распределенной системой понимается система использующая большое количество компьютеров для решения задач, требующих очень большого количества процессорного времени. Особое внимание уделено вопросам отказоустойчивости и масштабируемости системы.

Скачать презентацию (pdf).

Олег Юхно работает в сфере IT c 1998 года. В 2000 году получил первое высшее образование (юриспруденция), в 2006 году окончил в МГТУ им. Баумана по специальности «информационные системы и технологии». С 2005 года работает в Яндексе на должности системного администратора и руководителя группы администрирования. Область интересов – эксплуатация высокодоступных и высоконагруженных систем и оптимизация их производительности, СУБД Oracle.

Тема доклада:

От Статистики до Статистики. Эволюция архитектуры системы на примере системы расчета статистики Яндекса.

Тезисы:

В докладе я расскажу о том, как мы строили систему расчета статистики в Яндексе и как она эволюционировала в процессе своего существования. Я постараюсь рассказать о достоинствах и недостатках сильно централизованной монолитной системы и децентрализованной модульной системы, а также расскажу о некоторых технологических решениях, которые использовались для увеличения производительности системы.

Скачать презентацию (pdf).