PLNOG14: Ceph w praktyce - Paweł Stefański

praktycznie

[email protected]@pejotes

Stencile i wiele diagramów - Sage Wail [Inktank]

● skalowalny horyzontalnie,

● bez pojedynczego punktu powodującego awarię,

● wysoka dostępność (replikacja, lub EC),

● działa na zwykłym sprzęcie,

● samonaprawialny,

● otwarty kod (LGPL).

Zastosowania

Zastosowania

Cinder

Urządzenie blokowe RBD

Glance

Obrazy systemów

S3/Swift

Usługa przechowania danych z dostępem przez REST

Architektura

komponentyOSD● 10 do 1000cy● jeden na surowy dysk● przechowują i udostępniają dane

MON● utrzymują spójność klastra● mała nieparzysta liczba np. 3, 5 ...● nie są na ścieżce danych

OSD

rozłożenie danych - CRUSH● lokalizacje są wyliczone,● algorytm jest pseudolosowy,

szybki,● stara się być równomierny,● pozwala tworzyć logiczną

reprezentację układu fizycznego DC

Zasadzki

Hardware

“Dostajesz dokładnie to, co sam dasz”● stabilna platforma sprzętowa,● “zwykły vendor” - OK,

np. http://www.supermicro.com/solutions/storage_ceph.cfm

● żywotność SSD,● rozłożenie w DC zgodne z logicznym

odwzorowaniem w CRUSH

przykładowa platforma

OSD:● Xeon 2620v2, 32GB RAM,● 2 x SSD system i journal,● 16 x 3TB HDD SAS,● 10G

deploy

● ceph-deploy,● liczba PG’s,● użycie RAID,● użycie SSD,● CRUSH map, zasady,● system plików.

remapomasakra● modyfikacja klastra

○ rozszerzenie,○ usuwanie OSD,○ awaria OSD,○ reweight by utilization / tunables

● zmiejsz ilość wątków recovery, kiedyś ustaw im priorytet

RadosGW

HAProxy

Apache2

mod_fastcgi

RadosGW

libradossocket

HAProxy

civetweb

RadosGW

libradossocket

F,G,H

upgrade

BOBTAIL CUTTLEFISH DUMPLING

EMPEROR FIREFLY GIANT

przyszłość

● cache tiering,

● erasure coding,

● sumy kontrolne (w hammer tak!),

● wydajność (pule SSD),

● CephFS

Replikacja vs EC

Dziękuję :-)

Budujemy i zatrudniamy ;-) http://beyond.pl/o-beyond-pl/kariera/