Python в инфраструктуре поискаcache-ash01.cdn.yandex.net/download.yandex.ru/company/experience/... · Python в инфраструктуре поиска Леонид

Python в инфраструктуре поискаЛеонид ВасильевРазработчик

Я.Субботник, Санкт — Петербург,3 декабря 2011 года

1

Чем мы занимаемся

Автоматизация,Мониторинг

2

Development Production

Testing

«Песочница»Автоматизация сборки, тестирования и релиза проектов

3

«Песочница»разработчики

админы

тестировщики

4

«Песочница»

Разработчики

Сборка проектов

Юнит-тесты

Эксперименты

5

«Песочница»

Тестировщики

Функциональные тесты

Обработка данных

6

«Песочница»

АдминистраторыВыкладка

проектов в production среду

7

«Песочница»Пример письма на релиз

Author: chinSandbox task: http://quentao.yandex-team.ru/sandbox/tasks/view?task_id=1230745

Resources: * binary[freebsd]: binaries/basesearch (md5: 6e1f92b4d09da9a3007cb6ace6841275) sandbox035:/sandbox-data/tasks/5/4/1230745/binaries/basesearch rbtorrent:a66817b07481b7de12019dbf4dd68e21f236147f

Changelog: * 1фича * 2фича .. * Nфича

8

«Песочница»Модель

Контекст Таск Ресурс

from sandbox import Task

class MyTask(Task)MyTask(Task): def __init__(self, ctxctx, **params): self.ctx = ctx def execute(self): self.create_resource('Empty file', self.ctx['file_name'], self.ctx['resource_type']) open(self.ctx['file_name'], 'w')open(self.ctx['file_name'], 'w')

9

«Песочница»Дьявол в деталях

10

«Песочница»

Кластер«sandbox»

~70 серверовHDD: ~190TB RAM: ~2.7TBnCPU: ~1400 OS: Linux, FreeBSD

sky run --separate 'df -B G' +SANDBOXL | grep '/place$' |awk '{t+=$2} END {print t}'

sky run --separate 'cat /proc/meminfo' +SANDBOXL | grep MemTotal | awk '{t+=$2} END {printf "%.0f\n", t / 1048576}'

11

«Песочница»

Хранилища

Пулы worker'ов

Таски (в SVN)

МастерXmlrpc и веб интерфейс

12

«Песочница»

~ 4 000 тасков в сутки

~ 20 000 ресурсов в сутки

Леонид ВасильевРазработчик

[email protected]

twitter.com/chingun