최소자승법(회귀분석)이란? 데이터에 가장 잘 맞는 직선을 찾는 법

최소자승법(회귀분석)이란?

최소자승법(Ordinary Least Squares, OLS)은 여러 데이터 점들이 흩어져 있을 때, 실제 값과 예측선(회귀선) 사이의 오차를 제곱해서 더한 값이 가장 작아지도록 직선(또는 곡선)을 찾아내는 통계 기법입니다. 회귀분석에서 가장 널리 쓰이는 추정 방법으로, 두 변수 사이의 관계를 하나의 수식으로 요약하는 데 활용됩니다.

왜 오차를 제곱해서 더할까?

단순히 오차(실제값-예측값)를 그대로 더하면 양수 오차와 음수 오차가 서로 상쇄되어 실제 예측이 얼마나 정확한지 제대로 알기 어렵습니다. 오차를 제곱하면 모든 오차가 양수로 바뀌어 상쇄되는 문제가 없어지고, 큰 오차에는 더 큰 페널티를 부여해 예측선이 극단적인 오차를 최소화하는 방향으로 자연스럽게 맞춰지는 효과가 있습니다.

최소자승법은 각 데이터 점과 회귀선 사이의 수직 거리(오차)를 제곱해 합한 값이 최소가 되는 직선을 찾아낸다

퀀트 투자에서의 활용

베타(β) 계산의 기초

개별 종목의 수익률을 시장 지수 수익률에 대해 회귀분석하면, 그 기울기가 바로 해당 종목의 베타값이 됩니다. 최소자승법은 이런 베타 추정을 비롯해 팩터 모형 분석 등 퀀트 투자의 여러 통계적 분석에서 가장 기본이 되는 도구로 활용됩니다.

이상치(아웃라이어)에 민감하다는 한계

오차를 제곱하는 특성상, 극단적으로 튀는 값(이상치) 하나가 전체 회귀선의 기울기를 크게 왜곡시킬 수 있어, 실제 분석에서는 이상치를 사전에 점검하거나 로버스트 회귀 같은 보완 기법을 함께 활용하는 경우가 많습니다.

개념	역할	퀀트 활용 예시
회귀선(직선)	데이터 간 관계를 요약	종목 수익률과 시장 수익률의 관계
기울기(계수)	한 변수 변화에 따른 다른 변수 변화량	베타(시장 민감도)
잔차(오차)	실제값과 예측값의 차이	알파(초과수익) 추정의 기초

자주 묻는 질문

최소자승법은 왜 그렇게 널리 쓰이나요?

계산이 비교적 간단하면서도 통계적으로 우수한 성질(불편성, 최소분산 등)을 갖고 있다는 것이 증명되어 있어, 오랜 기간 회귀분석의 표준적인 방법으로 자리잡았기 때문입니다.

R제곱(결정계수)은 무엇을 의미하나요?

회귀분석 결과 전체 변동 중 회귀선이 설명하는 비율을 나타내는 지표로, 1에 가까울수록 그 직선이 데이터를 잘 설명한다는 뜻입니다.

일반 투자자도 최소자승법을 알아야 하나요?

직접 계산할 필요는 없지만, 베타값이나 팩터 분석 결과가 어떤 원리로 산출되는지 이해하면 퀀트 리포트나 투자 분석 자료를 읽을 때 도움이 될 수 있습니다.

최소자승법의 대안으로는 무엇이 있나요?

이상치에 덜 민감한 로버스트 회귀, 여러 변수를 동시에 고려하는 다중회귀, 시계열 데이터에 특화된 방법 등 상황에 따라 다양한 대안적 회귀 기법이 활용됩니다.

핵심 요약

최소자승법은 오차 제곱합을 최소화해 데이터에 가장 잘 맞는 회귀선을 찾는 통계 기법으로, 베타 계산 등 퀀트 투자 분석의 기초가 됩니다. 이상치에 민감하다는 한계를 함께 이해하고 활용하는 것이 중요합니다. 본 콘텐츠는 정보 제공을 목적으로 하며, 투자 조언에 해당하지 않습니다.