지연 시간과 처리량

두 개의 "빠르다"

"서버가 빠르다"는 말은 두 가지 뜻으로 쓰입니다.

이 둘은 따로 움직입니다. 이게 이 강의의 전부입니다.

창구가 하나인 은행

직원 한 명이 손님 한 명을 25초에 처리한다고 합시다. 이때

• 지연 시간 = 25초
• 처리량 = 시간당 144명

손님이 시간당 100명씩 오면 문제가 없습니다. 창구는 여유가 있고, 손님은 오자마자 바로 처리됩니다. 체감 대기 시간은 25초입니다.

손님이 두 배로 늘면

시간당 288명이 오면 어떻게 될까요? 직원은 여전히 25초에 한 명씩 처리합니다. 지연 시간은 그대로 25초입니다. 직원이 갑자기 느려지지 않습니다.

그런데 손님 입장에서는 어떨까요? 줄을 서야 합니다. 그리고 그 줄은 시간이 갈수록 길어집니다. 들어오는 속도가 나가는 속도보다 빠르니까요.

들어오는 속도 288명/시간
나가는 속도   144명/시간
─────────────────────────
줄이 늘어나는 속도 144명/시간

한 시간 뒤에는 144명이 줄을 서 있습니다. 두 시간 뒤에는 288명입니다. 이 줄은 손님이 줄어들기 전까지 절대 짧아지지 않습니다.

여기서 가장 중요한 사실

줄이 길어지면 손님의 체감 대기 시간이 폭발합니다. 창구 업무는 여전히 25초지만, 대기 시간이 30분이면 손님에게는 30분짜리 서비스입니다.

이것이 시스템이 무너지는 방식입니다. 서버는 멀쩡히 25ms에 요청을 처리하고 있는데 사용자는 30초를 기다립니다. 서버 로그만 보면 아무 문제가 없어 보입니다.

그리고 결국 버린다

줄을 세울 공간에도 한계가 있습니다. 대기실이 꽉 차면 새로 온 손님은 들어오지도 못하고 돌아가야 합니다. 시스템에서는 이걸 요청 유실이라고 합니다. 사용자에게는 오류 화면으로 보입니다.

그래서 어떻게 하는가

처리량이 부족한 문제는 지연 시간을 줄여서 풀 수도 있고, 창구를 늘려서 풀 수도 있습니다.

• 직원 한 명을 25초 → 12.5초로 만들면 처리량이 2배가 됩니다. 하지만 사람이

두 배 빨라지는 데는 한계가 있습니다.

• 창구를 2개로 늘리면 처리량이 2배가 됩니다. 그리고 이건 계속 늘릴 수 있습니다.

현실의 시스템에서 후자가 압도적으로 자주 쓰입니다. 서버 한 대를 두 배 빠르게 만드는 비용은 대개 두 대를 사는 비용보다 큽니다. 이걸 수평 확장이라고 하고, 뒤에서 자세히 다룹니다.

직접 해보세요

아래 과제에서 초당 120건이 들어오는데 서버 하나는 초당 40건밖에 처리하지 못합니다. 실행해서 줄이 쌓이고 요청이 버려지는 것을 먼저 확인한 다음, 서버를 늘려 보세요. 몇 대가 필요한지는 계산이 아니라 실행해서 확인하면 됩니다.