일타쌍피Coded UI Test!! Web Perf./Load with Clouddownload.microsoft.com/download/2/2/6/.../session_3... · 일타쌍피Coded UI Test!! Web Perf./Load with Cloud. ... Selenium

일타쌍피!!Coded UI Test

Web Perf./Load

with Cloud

http://9gag.com/gag/6305006

드롭 테스트

3

5

6출처 : http://msdn.microsoft.com/ko-kr/library/dd286726.aspx

F5 경험

UI를통해전체 응용프로그램을빌드하고수동으로테스트

일반적인 비-CUIT 테스트

UI를 이용하지 않고 전체 응용프로그램 테스트 (예, 단위 테스트)

일반적인 CUIT 테스트

UI를 통하여 전체 응용프로그램을자동으로 테스트

UI를 검증하는 테스트

격리 상태에서 UI 테스트

Coded UI Test Authoring

Visual Studio IDE

Coded UI 테스트작성

Visual Studio 도구

녹화/일시 멈춤/녹화재개

스텝(단계) 편집

어설션 추가

코드 자동 생성

테스트 녹화기 종료

10

코딩된(Coded) UI 테스트

[DataSource]

TestContext.DataRow["열 이름"]

참고 : http://msdn.microsoft.com/ko-kr/library/ee624082.aspx

13

데이터 형식 데이터 원본 어트리뷰트

CSV[DataSource("Microsoft.VisualStudio.TestTools.DataSource.CSV", "|DataDirectory|\\data.csv",

"data#csv", DataAccessMethod.Sequential), DeploymentItem("data.csv"), TestMethod]

Excel

[DataSource("System.Data.Odbc", "Dsn=Excel Files;Driver={Microsoft Excel Driver (*.xls)};dbq=|DataDirectory|\\Data.xls;defaultdir=.;driverid=790;maxbuffersize=2048;pagetimeout=5;readonly=true", "Sheet1$", DataAccessMethod.Sequential), TestMethod]

테스트 케이스(TFS)

[DataSource("Microsoft.VisualStudio.TestTools.DataSource.TestCase", "http://vlm13261329:8080/tfs/DefaultCollection;Agile", "30", DataAccessMethod.Sequential), TestMethod]

XML[DataSource("Microsoft.VisualStudio.TestTools.DataSource.XML", "|DataDirectory|\\data.xml“,

"Iterations", DataAccessMethod.Sequential), DeploymentItem("data.xml"), TestMethod]

SQL Express[DataSource("System.Data.SqlClient", "Data Source=.\\sqlexpress;Initial Catalog=tempdb;

Integrated Security=True", "Data", DataAccessMethod.Sequential), TestMethod]

Selenium components for Coded UI Cross Browser Testing

운영체제 Windows 7, 8, Windows Server 2008 R2

.NET .NET 2.0, 3.0, 3.5, 4.0, 4.5(상기 버전으로 개발된 앱을 지원한다는 의미임)

Internet Explorer 8 ,9, 10, 11 버전 지원 (10, 11은 데스크탑 버전만 지원)

Window Store App 지원. XAML 기반 앱

Windows Forms와 WPF 써드파티 컨트롤 지원

Chrome, Firefox 최신 버전만 지원

Window Form 2.0 이상 지원

MFC 부분적으로 지원

WPF 3.5 이상 지원 (다만, 일부 써드파티 컨트롤은 지원되지 않을 수 있음)

SharePoint 지원

Dynamics CRM web client 지원

http://msdn.microsoft.com/en-us/library/dd380742(v=vs.110)

http://msdn.microsoft.com/en-us/library/dd380742(v=vs.110)

19

Internet Explorer 6, 7 지원안함

Silverlight 지원안함(플러그인 설치 시 가능하긴 하나 문제있음)

Flash 지원안함

Java 지원안함

Office Client Applications 지원안함

SAP 지원안함

Coded UI tests는 단위 테스트 수트의일부로 실행되기 때문에, 결함을 조기에

발견할 수 있게 한다

룩앤필이 변경된다 하더라도, 자동화된테스트는 여전히 잘 동작한다

Coded UI tests 는 소스 제어로버전 관리도 가능하다

부하 테스트성능 테스트 스트레스 테스트 수용능력 계획

• 5분 * 60초 = 300초

• 200,000 / 300 = 666.6 TPS

웹 서버 자체의 처리 속도

+ Static 컨텐츠(이미지) 속도

+ 플랫폼 API에 대한 호출/응답 속도

사용자 체감 응답속도

즉, 플랫폼 API는 500ms 이내의 응답속도를 보장해야 함

• Stress Test를 통해 응답 속도가 지연되거나 타임아웃이발생하더라도 Crash는 일어나지 않아야 한다.

• 불가피하게 Crash가 되더라도 Fail-Over가 정상적으로 수행되는지,

Fail-Over 상황에서의 성능 수치도 확인한다

• 장비 수, 인스턴스 수, 설정 등에 대해 다양한 경우의 수를 조합하여Comparison Test를 수행하여 성능을 비교한다

• 쉽게 테스트 시나리오를 작성하고,

서버에 대한 모니터링 대상카운터를 설정

• Application, ASP.NET, .NET

Application, IIS, SQL 등을 모니터가능

• 결과는 텍스트 혹은 그래픽으로보여줌

VS UltimateVS Test Controller

(QTController.exe)SQL Server

VS Test Agent

(QTAgent.exe)

VS Test Agent

(QTAgent.exe)

Local Controller

Local Agent

부하 테스트 작성

테스터를 위한 UI 제공 테스트 결과 저장소

Control Test Agent를제어한다

부하 테스트 데이터/성능 카운터를 수집한다

실제 부하를 생성

테스트 결과와 데이터를 컨트롤러로 전송

VS Test Agent

(QTAgent.exe)

구성 CPU HD 메모리

30대이하의 컴퓨터로 구성된 환경(테스트 대상 서버와 Agent를 포함)

2.6 GHz - -

30대컴퓨터 x N 으로 구성된 환경(테스트 대상 서버와 Agent를 포함)

2.6 GHz, N 개 - -

VS Test Agent 하드웨어 기본 사양

구성 CPU HD 메모리

500 이하의 가상 사용자 2.6 GHz 10 GB 2 GB

1000 이하의 가상 사용자 Dual processor 2.6 GHz 10 GB 2 GB

N x 1000 가상 사용자Dual 2.6 Ghz를갖는

N 개의 Agent로스케일 아웃10GB 2GB

VS Test Controller 하드웨어 기본 사양

필요한 소프트웨어및 에이전트 설치

물리적인 환경 구성

모든 컴퓨터에반복적으로 작업

인프라에 대한예산 책정 및 구입

단일 대시보드를통한애플리케이션의성능, 사용현황 파악

진단 대시보드사용자의사용 패턴과 가장많이 쓰는 기능들파악.

차기에 투자해야할 요소를예측

사용현황 대시보드통지 및 상세 분석

무엇인 문제인지파악의심되는코드 및 테스트를통지해준다

http://aka.ms/loadtfs

https://www.facebook.com/groups/MicrosoftALMKorea/