IATE Lecture 2: Quality Assurance for Highload Systems

Обеспечение Качества Высоконагруженных Систем

Иосиф Иткин, Exactpro SystemsВторая Лекция в ИАТЭ27 ноября 2013

Содержание лекции

1. Автоматизация тестирования2. Обработка результатов нагрузочного тестирования3. Системы мониторинга и контроля биржевого рынка

http://www.slideshare.net/IosifItkinhttp://exactpro.com http://tmpaconf.orghttp://its-trading.ruhttps://vk.com/clubqahttp://linkedin.com/in/iosifitkin

Что такое автоматизация

Автоматизация — одно из направлений научно-

технического прогресса, использующее саморегулирующие

технические средства и математические методы с целью

освобождения человека от участия в процессах получения,

преобразования, передачи и использования энергии,

материалов или информации, либо существенного

уменьшения степени этого участия или трудоёмкости

выполняемых операций

Что такое автоматизация

Взаимодействие с системой

Взаимодействие с системой

Подходы к кодированию

1.Запись и проигрывание

2.Линейный подход

3.Модульный подход

4.Тестирование основанное на данных

5.Ключевые слова

Запись и проигрывание

Линейный подход

Устойчивость Тестов

Модульный подход

Тестирование основанное на данных

Тестирование основанное на данных

Ключевые слова

Ключевые слова

Logon TestPetya/Password123

Open Order Ticket

Send Order VOD.L 23@985

Order Ticket Should Be Closed

No Error Message

Риски использования инструментов

По ISTQB:• Нереалистичные ожидания от инструментов• Недооценка времени, затрат и усилий требуемых при

первоначальном внедрении• Недооценка времени и усилий необходимых для достижения

существенных результатов• Недооценка усилий требуемых на поддержку• Избыточная зависимость от инструмента

Уроки робоапокалипсиса

• Легко научить робота совершать действия, гораздо сложнее

научить его понимать последствия своих действий

Уроки робоапокалипсиса

• Легко научить робота совершать действия, гораздо сложнее

научить его понимать последствия своих действий• Относись к искусственной жизни с уважением

Уроки робоапокалипсиса

• Легко научить робота совершать действия, гораздо сложнее

научить его понимать последствия своих действий• Относись к искусственной жизни с уважением• Не выкидывай старого робота

Уроки робоапокалипсиса

• Легко научить робота совершать действия, гораздо сложнее

научить его понимать последствия своих действий• Относись к искусственной жизни с уважением• Не выкидывай старого робота• Спрашивай себя зачем ты создаешь нечто

Уроки робоапокалипсиса

• Легко научить робота совершать действия, гораздо сложнее

научить его понимать последствия своих действий• Относись к искусственной жизни с уважением• Не выкидывай старого робота• Спрашивай себя зачем ты создаешь нечто• Главное правило робоапокалипса

Уроки робоапокалипсиса

• Легко научить робота совершать действия, гораздо сложнее

научить его понимать последствия своих действий• Относись к искусственной жизни с уважением• Не выкидывай старого робота• Спрашивай себя зачем ты создаешь нечто• Главное правило робоапокалипса

Уроки робоапокалипсиса

• Легко научить робота совершать действия, гораздо сложнее

научить его понимать последствия своих действий• Относись к искусственной жизни с уважением• Не выкидывай старого робота• Спрашивай себя зачем ты создаешь нечто• Главное правило робоапокалипса

Найди себе друга робота

Своровано у John Rauser

Виды обработки данных

• Агрегация

• Распределение

• Детали

Население Лондона

http://geopub.narod.ru/student/agapova/1/4.htm

Холера

Andrea Resmini, 5th Italian IA Summit, Milano 2011The Broad Street Pump Or Where The Frenzy of Orlando Met Pulp Fiction

John Snow / Ваня Снежок

15 March 1813 – 16 June 1858

Один из основателей

эпидемиологии

Агрегация

Вывод

Работа Ивана Снежного была принята со скепсисом в 1849 году

Корреляция не является доказательством причинно следственной связи

Примеры

Работа Ивана Снежного была принята со скепсисом в 1849 году

Корреляция не является доказательством причинно следственной связи:

Корреляция между результатом ЕР и наличием КОИБ-ов

Корреляция между результатом ЕР и явкой

Корреляция между результатом ЕР и присутствие наблюдателей на участке

Что это за цифры?

Корреляция?

68 из 210 = 32%

11 из 24 = 46%

Что это означает?

Корреляция?

68 из 210 = 32%

11 из 24 = 46%

9% vs. 16%

Какие Вам еще нужны доказательства?

Корреляция?

68 из 210 = 32%

11 из 24 = 46%

9% vs. 16%

Красивых – 100%

Рекомендация для Ивана

London Medical Gazette, 1849

«The experimentum crucis would be, that the water

conveyed to a distant locality produced the disease in

all who used it, while those who did not use it,

escaped»

Correlation is not causation

Эпидемия Холеры 1854 в Сохо

Pump handle removed

The majority of the deaths occurred during this period

Распределение

Распределение

Распределение

Кто такие Бины?

Кто такие Бины?

Кто такие Бины?

Гаусс?

Не совсем. А почему?

Что такое медиана?

Распределение по бинам

http://www.pnas.org/content/early/2012/12/19/1206770110.full.pdf

Turquoise MTF – Latency

Latency Distribution Average and Consistency

Metric uS

Average 100% 108

Average 99.9% 103

Max 99.9% 381

Max 99 191

Phil Penhaligan, EXTENT Trading Technology Trends & Quality Assurance 2012, Kostroma, Romanov Leshttp://extentconf.com

И снова Холера

И снова Холера

Pump handle removed

WorkhouseWorkhouse535 people 535 people

Private Private borebore

BreweryBrewery70+ 70+

people people Private Private

boreboreFree Free beerbeer

Street pattern an obstacle

People People evacuatedevacuated

earlyearly

Bad Bad waterwater

BROAD BROAD ST ST

PUMPPUMP

А при чем тут HФТ?

Самый быстрый и самый медленный сайты

Самый быстрый и самый медленный сайты

Система под нагрузкой

Выборы, выборы…

Наш друг Чурозавр

http://oude-rus.livejournal.com/542295.html

Чтобы такого сделать плохого

Манипуляция ценамиПереигрывание объемамиУход от налоговФинансирование злаИнсайдерская торговляПроскальзывание перед клиентомМногое другое…

Часто легитимная активность выглядит как злоупотребление, и наоборот

Market Surveillance Systems

• Поток сообщений• Незаметность• Агрегация данных• Гибкая настройка правил• Помощь в обследовании

места преступления и сборе

• доказательств• Хранение данных

Market Surveillance Systems

• Поток сообщений• Незаметность• Агрегация данных• Гибкая настройка правил• Помощь в обследовании

места преступления и сборе

• доказательств• Хранение данных

Market Surveillance Systems

• Поток сообщений• Незаметность• Агрегация данных• Гибкая настройка правил• Помощь в обследовании

места преступления и сборе

• доказательств• Хранение данных

Спасибо!

Источники информации:http://www.slideshare.net/IosifItkinhttp://exactpro.com http://tmpaconf.orghttp://its-trading.ruhttps://vk.com/clubqahttp://linkedin.com/in/iosifitkin