벤치마크 도구

간단한 온라인 벤치마크 도구로 작업의 실행 시간을 비교합니다.

여러 묶음(suite)의 측정값을 넣으면 평균, 분산, 기준 대비 배율을 계산해 순위표로 보여 줍니다.

사용 순서

묶음의 이름을 정하고 Suite values 칸에 측정값을 넣습니다.
필요하면 Add suite로 묶음을 추가하고, Delete suite로 묶음을 지웁니다.
Unit 칸에 ms 같은 단위를 적으면 표의 모든 값 뒤에 함께 붙습니다.
결과 표 아래 버튼으로 마크다운 표나 글머리 기호 목록으로 복사합니다.

예시

Suite 1에 5와 10, Suite 2에 8과 12를 넣고 단위를 비워 두면 Suite 1은 평균 7.5, 분산 6.25이고, Suite 2는 평균 "10 (+2.5 ; x1.333)", 분산 4로 표시됩니다.

한계

분산은 개수로 나눈 모집단 분산이며 표본 분산이 아닙니다. 평균만 보므로 이상값이나 중앙값은 드러나지 않습니다. 평균이 0인 묶음이 가장 빠른 기준이 되어 다른 묶음의 배율이 ∞로 표시됩니다. Add suite로 만든 새 묶음은 기본값이 0이라서, 값을 고치기 전까지 다른 묶음의 배율이 모두 ∞가 됩니다. 배율은 소수점 셋째 자리에서 반올림합니다.

보안 주의

측정값은 직접 입력하므로 표를 복사하면 측정 조건이 빠지기 쉽습니다. 기기, 브라우저, 입력 크기, 반복 횟수를 묶음 이름에 함께 적어 두세요. 조건이 다른 묶음끼리 비교하면 결과는 의미가 없습니다.

배경 지식

평균은 측정값을 모두 더해 개수로 나눈 값입니다. 측정 한 번의 값은 흔들리기 쉬우므로, 여러 번 측정한 평균이 더 안정적인 대표값이 됩니다. 다만 극단적인 값 하나가 평균을 크게 끌어올릴 수 있어서, 이상값이 있을 때는 중앙값을 함께 보는 것이 좋습니다. 평균과 함께 측정값의 가장 큰 값과 가장 작은 값을 보면 흔들림의 범위를 짐작할 수 있습니다.

분산은 각 값이 평균에서 떨어진 거리를 제곱해 평균 낸 값입니다. 이 도구는 개수로 나누는 모집단 분산을 씁니다. 예를 들어 [5, 10]의 평균은 7.5이고 분산은 (2.5² + 2.5²) / 2 = 6.25입니다. 전체가 아니라 일부만 표본으로 측정했다면 n - 1로 나누는 표본 분산을 써야 합니다.

벤치마크 비교에서는 차이를 절대값과 배율로 함께 봅니다. 평균 차이가 2.5ms라도 기준이 1ms라면 3.5배, 기준이 100ms라면 1.025배로 느낌이 크게 달라집니다. 그래서 배율은 기준 묶음과 대비해서 읽고, 보고서에는 측정 횟수와 흔들림을 함께 남기는 편이 좋습니다.

자주 묻는 질문

분산 대신 표준편차를 보면 안 되나요?

표준편차는 분산의 제곱근이라 같은 정보를 원래 값과 같은 단위로 보여 줍니다. 이 도구는 분산만 표시하지만, 표준편차가 필요하면 표의 분산 값에 제곱근을 씌우면 됩니다. Unit 칸에 ms를 적었다면 분산 값에는 ms²가 붙습니다.

측정을 몇 번 해야 믿을 수 있나요?

정해진 기준은 없지만, 값이 크게 흔들린다면 최소 5회에서 10회 이상 측정하는 편이 좋습니다. 횟수를 늘릴 때마다 평균과 분산이 안정되는지 보고, 안정된 시점의 횟수를 기록해 두세요.

평균이 같은데도 결과가 다르게 보일 수 있나요?

가능합니다. 평균이 같아도 분산이 다르면 실제 응답 시간의 흔들림이 다릅니다. 예를 들어 [5, 15]와 [9, 11]은 평균이 모두 10이지만 분산은 25와 1입니다. 평균과 분산을 함께 봐야 합니다.