Алексей Бережной — «HTTP-протокл»

HTTP-протокол

Бережной Алексей разработчик интерфейсов

HTTP - один из основных протоколов

• Гипертекст

• Гипертекст • Картинки

• Гипертекст • Картинки • Сообщение между программами и серверами

• Видео

• Видео • Музыка

• Видео • Музыка • Торрент-трекеры

• Видео • Музыка • Торрент-трекеры • WebDAV, XML-RPC, SOAP

• Видео • Музыка • Торрент-трекеры • WebDAV, XML-RPC, SOAP • Можно использовать для обмена любыми данными

Некоторые факты

• Применяется в программах для скачивания обновлений

• Часто применяется в программах для скачивания обновлений

• В 2006 году обогнал P2P-сети по доле трафика, доля составила 46%

• Используется для управления сетевыми устройствами, такими как роутеры и принтеры

• Во многих браузерах не отображается в адресной строке

История развития

• HTTP / 0.9 – 1992 год • HTTP / 1.0 – 1996 год • HTTP / 1.1 – 1999 год

Достоинства

• Простота

• Простота • Расширяемость

• Простота • Расширяемость • Распространённость

Недостатки

• Размер

• Размер • Открытость

• Размер • Открытость • Нет механизма сохранения состояния

• Размер • Открытость • Нет механизма сохранения состояния • Сложности с авторизацией

Адресация ресурсов в сети

ftp://ftp.is.co.za/rfc/rfc1808.txt!!http://www.ietf.org/rfc/rfc2396.txt!!ldap://[2001:db8::7]/c=GB?objectClass?one!!mailto:John.Doe@example.com!!news:comp.infosystems.www.servers.unix!!tel:+1-816-555-1212!!telnet://192.0.2.16:80/!!urn:oasis:names:specification:docbook:dtd:xml:4.1.2!!

Структура URL

<схема>://<логин>:<пароль>@<хост>:<порт>/<URL‐путь>?<параметры>#<якорь>

ftp http https file mailto xmpp

<схема>://<логин>:<пароль>@<хост>:<порт>/<URL‐путь>?<параметры>#<якорь> user:password

<схема>://<логин>:<пароль>@<хост>:<порт>/<URL‐путь>?<параметры>#<якорь> localhost:8080

yandex.ru 213.180.204.11

<схема>://<логин>:<пароль>@<хост>:<порт>/<URL‐путь>?<параметры>#<якорь> somedir/somefile.html

<схема>://<логин>:<пароль>@<хост>:<порт>/<URL‐путь>?<параметры>#<якорь> text=http&from=fx3&lr=213

someanchor

Допустимые символы

• Латинские буквы

clck.ru/26aMp clck.ru/27hjp

• Латинские буквы • Цифры

• Латинские буквы • Цифры • Специальные символы $-_.+!*'(),

• Латинские буквы • Цифры • Специальные символы $-_.+!*'(), • Зарезервированные символы ; /? :@=&

Символ ; можно использовать вместо &

URI "http://host/?x=1&y=2"!!<a href="http://host/?x=1&y=2">!!<a href="http://host/?x=1&y=2">!

clck.ru/26B9r

Кодирование URL

1. Кодирование символов

1. Кодирование символов 2. Запись кода в шестнадцатиричном представлении, и знак процента в начале

http://bla.com/Мир => http://bla.com/%D0%9C%D0%B8%D1%80 http://bla.com/мир => http://bla.com/%EC%E8%F0

Структура протокола

1. Стартовая строка (Starting line)

1. Стартовая строка (Starting line) 2. Заголовки (Headers)

1. Стартовая строка (Starting line) 2. Заголовки (Headers) 3. Тело сообщения (Message body)

<Метод> <URI> HTTP/1.1!<Заголовки>!!Referer: http://www.yandex.ru/!

</Заголовки>!<Тело сообщения>!!param=value&a=1&b=2&c=3!

</Тело сообщения>!!

GET /foo/bar!!GET /foo/bar2 HTTP/1.0!!

Стартовая строка запроса

•  GET <URI> (для HTTP / 0.9) •  <метод> <URI> HTTP/<версия> (для HTTP / 1.0-‐1.1)

HTTP/1.0 200 OK!

Стартовая строка ответа

•  HTTP/<версия> <код состояния> <пояснение>

Методы

• GET

Методы

• GET • POST

Методы

• GET • POST • OPTIONS, HEAD, PUT, PATCH, TRACE, LINK,

UNLINK, CONNECT

clck.ru/26B9h clck.ru/26B9j

GET /index.php?param=value&a=1&b=2&c=3 HTTP/1.1!<Заголовки>!

GET и POST

POST /index.php HTTP/1.1!<Заголовки>!<Тело сообщения>!!param=value&a=1&b=2&c=3!

GET /index.php?param=value&a=1&b=2&c=3 HTTP/1.1!<Заголовки>!

GET и POST (отличия)

POST /index.php HTTP/1.1!<Заголовки>!<Тело сообщения>!!param=value&a=1&b=2&c=3!

Коды состояния HTTP

Информационные ответы (1xx)

• 100 Continue • 101 Switching protocols • 102 Progressing

clck.ru/28Tlv

Ответы успеха (2xx)

• 200 OK • 201 Created • 202 Accepted • 203 Non-Authoritative Information • 204 No Content • 205 Reset Content • 206 Partial Content • 207 Multi-Status • 226 IM Used

clck.ru/28Tlv

Ответы успеха (2xx)

Ответы перенаправления (3xx)

• 300 Multiple Choices • 301 Moved Permanently • 302 Moved Temporarily • 302 Found • 303 See Other • 304 Not Modified • 305 Use Proxy • 307 Temporary Redirect

clck.ru/28Tlv

Ответы перенаправления (3xx)

Ошибки клиента (4xx)

• 400 Bad Request • 401 Unauthorized • 402 Payment Required • 403 Forbidden • 404 Not Found • 405 Method Not Allowed • 406 Not Acceptable • 407 Proxy Authentication Required • 408 Request Timeout

clck.ru/28Tlv

• 409 Conflict • 410 Gone • 411 Length Required • 412 Precondition Failed • 413 Request Entity Too Large • 414 Request-URI Too Large • 415 Unsupported Media Type • 416 Requested Range Not Satisfiable • 417 Expectation Failed

clck.ru/28Tlv

• 422 Unprocessable Entity • 423 Locked • 424 Failed Dependency • 425 Unordered Collection • 426 Upgrade Required • 449 Retry With • 456 Unrecoverable Error

clck.ru/28Tlv

Ошибки сервера (5xx)

• 500 Internal Server Error • 501 Not Implemented • 502 Bad Gateway • 503 Service Unavailable • 504 Gateway Timeout • 505 HTTP Version Not Supported

clck.ru/28Tlv

• 506 Variant Also Negotiates • 507 Insufficient Storage • 508 Loop Detected • 509 Bandwidth Limit Exceeded • 510 Not Extended

clck.ru/28Tlv

Заголовки HTTP

• General Headers

• General Headers • Request Headers

• General Headers • Request Headers • Response Headers

• General Headers • Request Headers • Response Headers • Entity Headers

Пример заголовков

!HTTP/1.1 200 OK!Date: Mon, 17 Sep 2012 13:05:11 GMT!Transfer-Encoding: chunked!Connection: keep-alive!Pragma: no-cache!Cache-Control: no-cache, no-store, max-age=0, must-revalidate!Server: nginx!Vary: X-Real-SSL-Protocol!Content-Type: text/html; charset=UTF-8!Expires: Mon, 17 Sep 2012 13:05:11 GMT!Content-Encoding: gzip!

Пример заголовков

General Headers

• Cache-Control • Connection • Date • Pragma • Trailer • Transfer-Encoding • Upgrade • Via • Warning

clck.ru/26Kxu

Request Headers

• Accept • Accept-Charset • Accept-Encoding • Accept-Language • Authorization • Expect • From • Host •  If-Match

clck.ru/26Kxu

Request Headers

•  If-Modified-Since •  If-None-Match •  If-Range •  If-Unmodified-Since • Max-Forwards • Range • Referer • TE • User-Agent

clck.ru/26Kxu

Entity Headers запроса • Content-Encoding • Content-Language • Content-Length • Content-Location • Content-Range • Content-Type • Content-Version • Derived-From • Link • Title clck.ru/26Kxu

Response Headers

• Accept-Ranges • Age • Alternates • Etag • Location • Public • Retry-After • Server • Vary

clck.ru/26Kxu

Entity Headers ответа

• Allow • Content-Encoding • Content-Language • Content-Length • Content-Location • Content-Range • Content-Type • Content-Version

clck.ru/26Kxu

Entity Headers ответа

• Derived-From • Expires • Last-Modified • Link • Title

clck.ru/26Kxu

X-Frame-Options

X-Frame-Options: DENY;!// запретит загрузку через <iframe>!!!!

Нестандартные заголовки

X-Frame-Options

X-Frame-Options: DENY;!// запретит загрузку через <iframe>!!!X-Frame-Options: SAMEORIGIN; !// разрешит загрузку через <iframe>, но только если и <iframe>, и страница, его загружающая, находятся на одном домене!

X-Requested-With

X-Requested-With: XMLHttpRequest!// используется для идентификации ajax запросов

// используются чтобы пошутить =)!X-Awesome: If you found this header please email us about a writing job!!!X-Konkurentam: Preved!!X-ServerNickName: Wolverine!

clck.ru/27QeD

Ключевые заголовки

Кодирование содержимого

• Accept-Encoding: <compress | gzip | deflate | identity>

• Content-Encoding

clck.ru/28Tm5

Кодирование передачи

• Transfer-Encoding: <chunked | compress | deflate | gzip | identity>

clck.ru/28Tm1

HTTP/1.1 200 OK! Server: nginx/1.0.4! Date: Thu, 06 Oct 2011 16:14:01 GMT! Content-Type: text/html! Transfer-Encoding: chunked! Connection: keep-alive! Vary: Accept-Encoding! X-Powered-By: PHP/5.3.6!! 25! This is the data in the first chunk!! 1C! and this is the second one!! 3! con! 8! sequence! 0!

Кодирование передачи

Множественное содержимое

• Content-Type: multipart/<form-data | byteranges | mixed>

clck.ru/26B9t

Кэширование

Заголовок Expires

Expires: Thu, 28 Jul 2022 21:01:19 GMT!

200 OK Expires: Thu, 28 Jul 2022 21:01:19 GMT

Заголовок Last-Modified

Last-Modified: Tue, 18 Sep 2012 13:12:14 GMT!

200 OK Last-Modified: Tue, 18 Sep 2012 13:12:14 GMT

GET If-Modified-Since: Tue, 18 Sep 2012 13:12:14 GMT

304 Not Modified Last-Modified: Tue, 18 Sep 2012 13:12:14 GMT

Заголовок ETag

Etag: "3990584542"!

200 OK Etag: "3990584542"

GET If-None-Match: "3990584542"

304 Not Modified Etag: "3990584542"

Заголовок Cache-Control

Cache-Control: max-age=3600, must-revalidate!

•  max-age=n •  s-maxage=n •  public •  private •  no-cache •  no-store •  must-revalidate •  proxy-revalidate •  no-transform clck.ru/1gJ5

Заголовок Cache-Control

Cookie

• Аутентификация пользователя • Хранение информации о пользователе • Отслеживание переходов пользователя • Ведение статистики

Cookie

200 OK Set-Cookie: name=value

Cookie

GET/POST Cookie: name=value

Кроме пары имя/значение, cookie может содержать срок действия, путь и доменное имя.

yandexuid=8187969851326274991; expires=Sat, 08 Jan 2022 09:43:11 GMT; path=/; domain=.yandex.ru!!userinfo=%7B%22resolution%22%3A%221600x1200%22%7D; expires=Thu, 15 Mar 2012 06:17:06 GMT; path=/; domain=.images.yandex.ru!

Атрибуты cookie

!Set-Cookie: <name>=<value>[; expires=<date>]![; domain=<domain_name>][; path=<some_path>]![; secure][; HttpOnly]!

Атрибуты cookie, безопасность

clck.ru/28TQT

Условия истечения срока хранения

• В конце сессии, если сookie не являются постоянными

• Дата истечения была указана и срок хранения вышел

• Браузер удалил сookie по запросу пользователя

Cookieless domain

Cookie ~ 4KB clck.ru/28TQN

HTTP Comet

clck.ru/27xOR

HTTP Comet

clck.ru/27xOR

HTTP Comet способы реализации

• Частый опрос (polling)

• Частый опрос (polling) • Длинный опрос (long-poll)

• Частый опрос (polling) • Длинный опрос (long-poll) • WebSocket

• Расширение HTTP • HTTP работающий через SSL и TLS • Используются сертификаты • Не кешируется

clck.ru/28TQX

• Расширение HTTP • HTTP работающий через SSL и TLS • Используются сертификаты • Не кешируется (миф clck.ru/28TQh)

clck.ru/28TQX

Инструменты

•  tcpdump • Wireshark • Fiddler • Браузерные инструменты (HttpFox, FireBug,

Chrome DevTools, Opera Dragonfly)

Бережной Алексей

разработчик интерфейсов

collapsus@yandex-team.ru

Спасибо!

Алексей Бережной — «HTTP-протокл»

userinfo 7b 22resolution 22 3a 221600x1200 22 7d

path

language content

starting line

location content

length content

expires sat

cookie

Technology

Сергей Бережной, Варвара...

Сергей Бережной "Про...

Истории про разработку сайтов....

алексей даньшин

Сергей Бережной "Клиентский...

Алексей Рагозин

Алексей Лянгузов

Сергей Бережной — «Система...

Сергей Бережной. Инженерный...

Алексей Гудов

Алексей Улюкаев

Алексей Строганов

Алексей Борычев

Сергей Бережной Почему команда...

бэм! в.харисов, с. бережной. зал 2

Алексей Сергеев