오래 전부터 사실은 학생 때부터 이를 주제로 정리하고 싶었다.

카테고리도 입시에 있는 것이 아니라 자연과학에 있는 것은
이 주제가 단순히 입시에 국한되지 않기 때문이다.

흔히 말하는 수능 과학탐구, 중학교 때 배우는 악랄한 소금물 문제,

PSAT 및 기업 인적성 그리고 NCS 문제들까지

왕복 속도, 공동 작업, 병렬 저항 같은 문제들은 각기 다른 시험에서 등장하지만
풀다 보면 유사한 계산 구조를 반복하게 된다.
평균을 구한다는 점도, 역수가 등장한다는 점도 닮아 있다.

세상은 곱셈으로 연결된 세 변수로 돌아간다

많은 물리적·화학적 관계는 세 개의 변수가 곱셈으로 연결되어 있다.

• 거리 = 속도 × 시간
• 질량 = 몰수 × 분자량
• 작업량 = 작업률 × 시간
• 용질량 = 농도 × 부피
• 저항 = 고유저항 × (길이 ÷ 단면적)

표현은 다르지만 구조는 같다.
하나의 값을 고정하면 나머지 두 값은 정비례하거나 반비례로 움직인다.

이 구조는 문제 풀이 방식에도 영향을 준다.
같은 거리에서의 평균 속도,
같은 작업량을 처리하는 시간,
같은 부피에서의 농도 변화,
이 모든 상황에서 평균을 구하는 방식은 달라지지만 그 기준은 언제나 같다.
무엇이 고정되어 있는가.

고정된 조건에 따라
산술평균이 나오기도 하고
조화평균이 나오기도 한다.
그 차이는 문제의 구조가 달라진 결과일 뿐이다.

이제부터는 그 구조가 어떻게 만들어지고 왜 그럴 수밖에 없는지를 하나씩 짚어보려고 한다.

평균은 하나가 아니다

많은 사람들이 평균이라 하면 숫자들을 더한 뒤 개수로 나누는 산술평균을 떠올린다.
그러나 물리량이 얽혀 있는 상황에서 평균은 그렇게 단순하게 구해지지 않는다.

어떤 값을 평균 내느냐보다 더 중요한 것은
무엇이 고정되어 있느냐는 점이다.

예를 들어 왕복 속도를 보자.

60km의 길을 시속 60km로 가고,
같은 60km를 시속 40km로 돌아온다.
그러면 평균 속도는 얼마인가?

단순하게 (60 + 40) ÷ 2 = 50이라고 생각할 수 있지만
정답은 48이다.

왜 그런가?
왕복이기 때문에 거리는 같다. 이 경우에 고정된 것은 ‘거리’다.

그러면 전체 시간은
앞 구간에서는 60 ÷ 60 = 1시간,
뒤 구간에서는 60 ÷ 40 = 1.5시간이 걸린다.
총 120km를 2.5시간에 이동한 것이므로
평균 속도는 120 ÷ 2.5 = 48이 된다.
$$\frac{2}{\frac{1}{v_1} + \frac{1}{v_2}} = \frac{2v_1v_2}{v_1 + v_2}$$

이를 일반화하면 같은 거리일 때의 평균 속도는 조화평균이다.
$$\bar{v} = \frac{n}{\frac{1}{v_1} + \frac{1}{v_2} + \cdots + \frac{1}{v_n}}$$
또는
$$\bar{v} = \frac{n}{\sum_{i=1}^n \frac{1}{v_i}}$$

한편, 같은 시간일 때는 산술평균이 맞다.

60km/h로 1시간 40km/h로 1시간을 달렸다면
시간이 같다. 이 경우에 고정된 것은 '시간'이다.
이동한 거리는 60 + 40 = 100km이고 총 시간은 2시간.
평균 속도는 100 ÷ 2 = 50km/h.

이 경우엔 단순히 (60 + 40) ÷ 2로 계산해도 정답이다.

평균은 조건에 따라 바뀐다.

같은 거리라면 조화평균,
같은 시간이라면 산술평균.

이것은 단지 속도 문제에만 해당하는 것이 아니다.
공동 작업, 농도, 화학 계산, 전기 회로 등 수많은 상황에서도 똑같은 원리가 반복된다.

평균을 구하는 방식이 다른 것은 고정된 조건이 다르기 때문이다.

병렬저항은 조화평균(조화합)이 분명하게 드러나는 예시이다.

조화합은 “하나의 값이 고정된 상황에서, 나머지 변수가 동시에 작용할 때 역수의 합으로 나타나는 구조”를 보인다. 이런 특징이 가장 선명하게 드러나는 물리 현상 중 하나가 병렬저항이다.

병렬 연결: 전압은 같고 전류가 갈라져 흐른다
두 저항 $R_1$, $R_2$가 병렬로 연결되어 있다고 하자. 병렬이라 함은, 두 저항이 동일한 전압 $V$에 걸리되 전체 전류 $I$가 나뉘어 $I_1$, $I_2$로 흐르는 상황을 말한다.
옴의 법칙 $V = IR$에 따라 각 저항에 흐르는 전류는

$$
I_1 = \frac{V}{R_1}, \quad I_2 = \frac{V}{R_2}.
$$

그러므로 전체 전류는

$$
I = I_1 + I_2 = \frac{V}{R_1} + \frac{V}{R_2} = V \left( \frac{1}{R_1} + \frac{1}{R_2} \right).
$$

이를 등가 저항 $R_{\text{합}}$ 하나로 나타내고 싶으면

$$
V = I R_{\text{합}} \quad \Rightarrow \quad V = V \left( \frac{1}{R_1} + \frac{1}{R_2} \right) R_{\text{합}} \quad \Rightarrow \quad \frac{1}{R_{\text{합}}} = \frac{1}{R_1} + \frac{1}{R_2}.
$$

결국, 병렬 연결에서 저항들의 역수가 더해진다는 공식은 “전압 동일 + 전류 분산”이라는 물리적 조건에서 곧바로 도출된다. 단순히 외우는 식이 아니라, 병렬 조건이

$$
\frac{1}{R}
$$

들을 합하게 만든다고 볼 수 있다.

조금만 더 깊게 들어가보자. 저항은 본래 분수 물리량이다
옴의 법칙에 따르면

$$
R = \frac{V}{I}
$$

로 표현할 수 있지만 실제 물질이나 도체에 대해서는

$$
R = \rho \cdot \frac{L}{A}
$$

라는 식으로 이해하는 편이 더 물리적이다. 여기서 $\rho$는 고유저항, $L$은 도체의 길이, $A$는 단면적이다. 길이가 커질수록 저항이 증가하고, 단면적이 커질수록 저항이 감소하는 분수 구조를 갖는 셈이다.

이제 병렬 연결을 다시 들여다보자. 병렬이라는 것은 한 전선에서 여러 갈래로 전류가 동시에 흐르는 형태이므로, 물리적으로 단면적이 ‘합쳐지는’ 효과와 같다. 즉, 전류가 흐를 수 있는 통로가 여러 갈래로 늘어남에 따라, 결과적으로

$$
\frac{1}{R}
$$

형태의 합이 나타난다. 이것이 곧 조화합이 필연적으로 등장하게 되는 이유다.

실제 식으로 확인해보자.
예컨대

$$
R_1 = \frac{L_1}{A_1}, \quad R_2 = \frac{L_2}{A_2}
$$

라는 형태라면

$$
\frac{1}{R_{\text{합}}} = \frac{1}{\frac{L_1}{A_1}} + \frac{1}{\frac{L_2}{A_2}} = \frac{A_1}{L_1} + \frac{A_2}{L_2}.
$$

이를 통분하면

$$
\frac{1}{R_{\text{합}}} = \frac{A_1 L_2 + A_2 L_1}{L_1 L_2},
$$

따라서

$$
R_{\text{합}} = \frac{L_1 L_2}{A_1 L_2 + A_2 L_1}.
$$

이 수식을 $\rho$를 다시 곱해 주면 우리가 흔히 보는

$$
R_{\text{합}} = \frac{R_1 R_2}{R_1 + R_2}
$$

꼴로 되돌아오게 된다. 나아가, 이 공식은 두 저항이 아니라 $n$개의 저항이 병렬로 연결된 경우에도 똑같이 “$$\frac{1}{R}$$를 더한다”는 구조로 확장된다.

조화평균과의 연관성
$$
\frac{1}{R_{\text{합}}} = \frac{1}{R_1} + \frac{1}{R_2}
$$

에서 $R_1 = R_2 = R$인 경우를 생각해보면, 즉 같은 값의 저항이 2개 병렬로 연결된 상황은

$$
\frac{1}{R_{\text{합}}} = \frac{1}{R} + \frac{1}{R} = \frac{2}{R} \quad \Rightarrow \quad R_{\text{합}} = \frac{R}{2}.
$$

이것은 조화평균이 자연스럽게 드러나는 예시라고 할 수 있다. “같은 전압, 나뉘어 흐르는 전류”라는 병렬 연결 조건에서

$$
\frac{1}{R}
$$

들이 더해지는 조화합 구조가 나타나므로, 평균을 구하면 당연히 조화평균으로 이어진다.

결국, 병렬저항 문제 역시 “무엇이 고정(동일)되어 있는가?”라는 관점에서, “전압이 고정된 상태에서 전류가 분산”된다는 물리적 조건이 조화합(조화평균)을 만들어내는 핵심임을 확인할 수 있다.

나머지는 2편에서 계속

인공지능이 문장을 만든다고 할 때, 그것이 정말로 ‘세계’를 이해하고 있는 것인지 궁금해진다.
사람의 말은 세상에서 직접 부딪히는 경험과 감각 위에 쌓여 있지만 LLM의 말은 방대한 텍스트 패턴에서 비롯된다.
그럼에도, LLM이 만들어내는 언어 속에는 묘하게도 우리의 세계가 담겨 있는 듯 보인다.

언어가 곧 세계라는 말이 떠오른다.
비트겐슈타인은 언어가 세계를 ‘그림’으로 보여준다고 생각했고 동시에 언어로 표현할 수 없는 것은 말할 수 없다고 보았다.
LLM은 말할 수 있는 문장을 폭넓게 생성해내지만 그 말이 실제 세계를 반영하는 것인지
아니면 텍스트라는 장막 너머에서 ‘통계적 그림자’를 보여주는 것인지 아직 분명치 않다.

괴델은 형식 체계가 스스로를 완전히 증명할 수 없다고 말했다.
LLM 역시 방대한 텍스트라는 ‘형식 체계’에서 작동하며 그 체계를 벗어나 자기 작동 원리를 오롯이 해명하는 데에는 스스로의 한계를 가진다. 이 점에서, 우리가 언어를 통해 모든 것을 정의하고 설명할 수 없는 것처럼 LLM 역시 텍스트에 기반을 두면서도 그 바깥의 세계를 온전히 담아낼 수 있을지는 의문이다.

컴퓨터가 자기 코드를 읽을 수 있어도 스스로를 완전히 재설계하지는 못한다.
이 말은 LLM에게도 적용된다.
LLM은 자신이 어떻게 동작하는지 대략적인 설명을 만들 수 있다고 해도 근본적인 구조 자체를 새롭게 짜는 일은 하기 어렵다.
하지만 인간도 마찬가지다.
우리가 스스로를 인식하고 반성한다 해도 자기 뇌를 갈아엎는 단계까지 가기는 사실상 불가능하다.

LLM은 프롬프트에 따라 즉각적으로 답변을 바꾸고 그 답변은 확률적 예측으로 결정된다.
우리가 던지는 질문의 방식, 단어의 선택, 문맥의 흐름에 따라 그 안에서 펼쳐지는 ‘세계’는 전혀 달라진다.
하나의 고정된 세계를 가리키기보다 매 순간 질문자에 의해 갱신되는 가능성의 세계를 제시한다. 이런 구조는 ‘관찰하는 방식이 결과를 바꾸는’ 체계와 닮아 있다. 하이젠베르크의 불확정성 원리가 떠오르는 지점이다.
입자의 위치와 속도를 동시에 정확히 알 수 없다는 물리학의 통찰은 어쩌면 LLM의 언어 생성 구조와도 겹친다.
LLM은 관찰자이자 질문자인 사용자의 방식에 따라 그때그때 전혀 다른 언어적 세계를 구성한다.

이때 생성되는 문장은 고정된 사실의 재현이 아니라 입력된 조건과 맥락에 반응하여 실시간으로 조합된 결과다.
그 점에서 LLM은 정적 지식보다는 맥락과 조건에 따라 ‘해석된 의미’를 만들어내는 해석적·조합적 사고의 시스템으로 작동한다.

그렇게 보면 LLM은 인간의 사고 방식과 닮은 구석이 있다. 우리는 언제나 삶의 맥락 속에서 경험과 감각을 바탕으로
하나의 세계를 구성하고 해석한다. 정답을 꺼내 쓰는 것이 아니라 상황과 언어 속에서 의미를 조율하고 생성하는 존재다.

그렇지만 많은 인공지능 학자들이 주장하고 있는 결정적인 차이가 있다.
인간은 세계 안에 몸을 지니고 살아간다. 우리는 보고 듣고 만지고 아프고 추위를 느끼며 그 감각을 언어로 옮긴다.
경험은 언어를 떠받치고 감각은 의미를 만든다. LLM에게는 그런 몸이 없다.

LLM은 텍스트 안에서만 태어나고 성장한다. 몸으로 부딪히며 형성된 세계가 아니라 언어의 궤적 위에서 예측 가능한 조각들을 이어 붙일 뿐이다. 이를 두고 “언어가 곧 세계”라는 관점에 따르면 큰 문제가 없을 수도 있고 “삶의 맥락이 의미의 조건이 되는가?”라는 관점에선 결정적 한계로 볼 수도 있다.

결국 LLM이 월드모델인지 아닌지는 “우리가 어떤 방식으로 세계를 구성하고 인식하는가”라는 더 큰 질문으로 이어진다.
인간 역시 불완전한 체계 안에서 자신을 들여다보며 그 한계를 자각하면서도 끊임없이 넘어보려 애쓴다.

LLM은 그런 의미에서 우리 인식의 거울 같은 존재가 될 수도 있다.
거울 속 상(像)이 스스로 아무것도 할 수 없지만 우리가 그 모습 속에서 무언가를 깨닫는 것처럼 말이다.

나로서는 이 질문에 대한 최종 답을 쉽게 내릴 수 없지만 적어도 LLM의 언어가 우리 세계를 얼마나 섬세하게 보여주고 있는지 그리고 어디에서 한계를 드러내고 있는지는 계속 살펴볼 만한 가치가 있다고 생각한다.

세상을 분류한다는 것

우리는 세상을 이해하기 위해 그것을 분류한다.
철학자는 존재를 분류했고 프로그래머는 객체를 분류한다.
각자의 언어는 다르지만 그들이 하는 일은 닮아 있다.

세계를 잘게 나누고 공통과 차이를 찾아내며 구조화된 틀 안에서 의미를 재구성한다.

철학에서 분류는 존재론의 시작이다.
어떤 것이 “무엇”인지 말하려면, 그것이 무엇과 같고 무엇과 다른지를 먼저 설명해야 한다.
그래서 아리스토텔레스는 “류”와 “종차”라는 개념을 통해 사물을 나눴다.

프로그래밍에서도 분류는 설계의 시작이다.
우리는 객체지향에서 “클래스”를 만들고, 그것을 상속하며 기능을 나누고 확장한다.
어떤 객체가 어떤 동작을 하는지 어떤 속성을 가지는지 정의하기 위해 먼저 그것이 속한 구조를 정한다.

분류는 단순히 정리의 기술이 아니다.
그것은 생각하는 방식, 세계를 틀에 담기 위한 노력이다.

철학의 분류 원리는 류와 종차이다.

아리스토텔레스는 존재를 분류하기 위해 두 개념을 도입했다.
바로 류(類, Genus)와 종차(種差, Differentia)다.

류는 공통적인 범주다. 여러 사물 사이의 유사성을 모아 상위 개념으로 묶은 것.
예를 들어, 인간과 고양이는 모두 ‘동물’이라는 류에 속한다.

하지만 같은 류에 속한다고 해서 모두 같은 것은 아니다.
무엇이 인간을 고양이와 다르게 만드는가?
그 고유한 차이를 아리스토텔레스는 종차라 불렀다.

그래서 인간은
“동물이라는 류”에,
“이성적이라는 종차”가 더해져 정의된다.
인간 = 동물(류) + 이성적(종차)

류는 공통을 말하고, 종차는 차이를 말한다.
아리스토텔레스는 이렇게 어떤 존재를 특정지었다.

객체지향 프로그래밍의 분류 방식 : 클래스와 상속

객체지향 프로그래밍도 세상을 분류한다.
우리는 비슷한 객체들을 묶어 클래스를 만들고,
그 클래스를 기반으로 객체를 생성하며,
필요할 땐 기존 클래스를 상속해 새로운 개념을 정의한다.

이때 상위 클래스는 류에 해당한다.
공통된 속성과 동작을 정의하고,
하위 클래스는 이를 물려받아 자신의 고유한 차이를 추가한다.

예를 들어보자.

Animal이라는 클래스가 있다면
그 안에는 모든 동물이 공통적으로 가지는 특징이 들어간다.
Human 클래스는 Animal을 상속받고,
여기에 “말한다”는 메서드를 더한다.

class Animal:        # 류
    def eat(self):
        return "먹는다"

class Human(Animal): # 종 = Animal + 고유 기능
    def speak(self):
        return "말한다"

상속은 공통과 차이를 분리하는 구조다.
류는 클래스가 되고 종차는 고유한 메서드가 된다.

코드에서 드러나는 류와 종차의 개념

객체지향에서 클래스는 본질을 담고,
상속은 그 본질을 계승하며 오버라이딩은 차이를 말한다.

이 구조는 철학자가 존재를 분류하던 방식과 닮아 있다.

아리스토텔레스는 "무엇인가를 정의하려면 그것이 속한 류를 말하고,
그 안에서의 차이를 밝혀야 한다"고 했다.

OOP에서도 객체는 같은 구조를 따르되 서로 다르게 행동한다.
그 차이는 오버라이딩을 통해 표현된다.

class Animal:
    def speak(self):
        return "소리를 낸다"

class Dog(Animal):
    def speak(self):  # 종차
        return "멍멍"

class Human(Animal):
    def speak(self):  # 종차
        return "말한다"

여기서 def speak()는 Dog와 Human에서 같은 메서드지만 다른 동작을 한다.
이것이 바로 철학에서 말하는 종차다.

그래서, 오버라이딩은
공통된 형상 위에 차이를 선언하는 일이다.

철학에서 존재는 "공통 + 차이"로 정의되었고,
객체지향도 마찬가지로 "상속 + 구현"으로 객체를 구성한다.

객체지향은 결국
존재를 분류하고 형식화하는 철학의 사유 방식을
하나의 코드 구조로 옮겨온 것이다.

철학과 OOP 개념

class Animal:              # 류
    def move(self):
        return "움직인다"

class Bird(Animal):        # 종 = Animal + 고유 기능
    def fly(self):         # 종차
        return "난다"

추상화는 공통과 차이의 경계에서

추상화는 본질을 남기고 나머지를 덜어내는 일이다.
철학에서 그것은 ‘개념’을 만드는 방식이고
프로그래밍에서는 ‘클래스’를 만드는 방식이다.

철학자에게 추상화란
수많은 구체적 사물들 속에서 공통된 속성을 끌어올리는 일이다.
사람, 개, 고양이를 보며 "이들은 모두 동물이다"라고 말하는 순간
그는 이미 ‘류’라는 추상화를 수행한 것이다.

프로그래머도 마찬가지다.
여러 객체들에서 반복되는 구조를 뽑아내고
그것을 클래스라는 틀로 만든다.
이 틀은 구체가 아니지만
수많은 구체를 만들어내는 시작점이 된다.

그런데 추상화는 단지 공통만을 말하지 않는다.
차이를 남기는 방식으로 공통을 정의한다.
바로 그 경계에서 류와 종차가 나뉘고,
슈퍼클래스와 오버라이딩이 갈라진다.

객체지향에서 추상화란
공통과 차이 사이의 균형을 설계하는 일이다.
너무 많은 것을 끌어올리면 본질을 잃고
너무 적게 정의하면 확장할 수 없다.

그래서 추상화는 단순한 구조화가 아니다.
그것은 생각하는 기술이며
존재를 어떻게 바라보고 나눌 것인가에 대한 깊은 태도다.

파도반 수열 정리

파도반 수열은 다음 점화식을 만족하는 수열이다.
$P(n) = P(n-2) + P(n-3)$ 형태로 주로 알려져 있으며,
초기값은 $P(1) = 1, P(2) = 1, P(3) = 1, P(4) = 2, P(5) = 2$로 정의한다.
또 다른 형태인 $P(n) = P(n-1) + P(n-5)$ 점화식으로도 같은 값이 나온다.
초기값만 동일하게 맞추면 어느 쪽을 써도 같은 수열이 된다는 점이 재미있다.

아래에서는 $P(n) = P(n-2) + P(n-3)$를 기준으로,
DP(동적 계획법) 방식과 전이 행렬(행렬 거듭제곱) 방식을 함께 보여준다.

1. DP 방식

DP는 배열을 이용해 차례대로 값을 채우는 직관적 방식이다.
시간 복잡도는 $O(n)$이지만, 구현이 간단하여 보통 문제 풀이에 적합하다.

def pado_dp(n):
    """
    P(n) = P(n-2) + P(n-3) 형태의 파도반 수열을
    동적 계획법으로 구하는 예시이다.
    초기값은 P(1)=1, P(2)=1, P(3)=1, P(4)=2, P(5)=2로 둔다.
    """
    dp = [0] * max(6, n+1)
    dp[1], dp[2], dp[3], dp[4], dp[5] = 1, 1, 1, 2, 2
    for i in range(6, n+1):
        dp[i] = dp[i-2] + dp[i-3]
    return dp[n]

if __name__ == "__main__":
    for i in range(1, 11):
        print(f"P({i}) = {pado_dp(i)}")

2. 전이 행렬 방식

선형 점화식은 상태 벡터와 전이 행렬로도 표현할 수 있다.
$P(n) = P(n-2) + P(n-3)$일 때, 상태 벡터를

$V(n) = \begin{bmatrix} P(n) \ P(n-1) \ P(n-2) \end{bmatrix}$

라 두면, 전이 행렬 $M$은

$$
\begin{bmatrix}
0 & 1 & 1 \cr
1 & 0 & 0 \cr
0 & 1 & 0
\end{bmatrix}
$$

이 된다.
이는 $V(n+1) = M \cdot V(n)$ 형태로 이어지며,
결국 $V(n) = M^{n-3} \cdot V(3)$로 일반화할 수 있다.
이를 코드로 구현한 예시는 다음과 같다.

def matmul(A, B):
    rA, cA = len(A), len(A[0])
    rB, cB = len(B), len(B[0])
    result = [[0]*cB for _ in range(rA)]
    for i in range(rA):
        for j in range(cB):
            s = 0
            for k in range(cA):
                s += A[i][k] * B[k][j]
            result[i][j] = s
    return result

def matpow(M, exp):
    size = len(M)
    I = [[int(i==j) for j in range(size)] for i in range(size)]
    result = I
    while exp > 0:
        if exp % 2 == 1:
            result = matmul(result, M)
        M = matmul(M, M)
        exp //= 2
    return result

def pado_matrix(n):
    if n in (1,2,3):
        return 1
    elif n in (4,5):
        return 2
    M = [
        [0,1,1],
        [1,0,0],
        [0,1,0]
    ]
    V3 = [
        [1],
        [1],
        [1]
    ]
    Mn = matpow(M, n-3)
    Vn = matmul(Mn, V3)
    return Vn[0][0]

if __name__ == "__main__":
    for i in range(1, 11):
        print(f"P({i}) = {pado_matrix(i)}")

3. 두 방식의 비교하면..

DP는 배열 하나로 간단히 해결할 수 있으며, 문제에서 요구하는 범위가 그리 크지 않으면 편리하다.
행렬 거듭제곱은 지수 시간 단축이 가능하고, $n$이 매우 클 때 더 빠르게 계산할 수 있다.

통계학 기초 다지기: 확률변수, 분산, 공분산 이해하기

통계학을 처음 접하면 가장 먼저 만나는 개념이 확률변수(Random Variable)이다.

확률변수는 이름 자체가 헷갈리기 쉬워 처음 들었을 때, 와닿기란 쉽지 않다.

통계학이 “내가 관심 있어 하는 일(사건)”을 “측정 가능하고 비교 가능한 방식(숫자)”으로 표현한 뒤

그 속에서 규칙이나 경향을 찾아내는 학문이라는 점을 명심하고 글을 읽으면 이해에 도움이 될 것이다.

1. 확률변수(Random Variable)란 무엇인가?

확률변수는 “우리가 관심을 가지는 사건의 결과”를 숫자로 표현한 것이다.

실제 세계에서 벌어지는 여러 사건

(예: 동전을 던졌을 때 나오는 결과, 주사위를 굴렸을 때 나오는 숫자, 사람의 키, 몸무게, 오늘의 기온 등)을

‘숫자’라는 공통된 언어로 나타내면, 다양한 통계적 분석을 쉽게 진행할 수 있다.

다시 말해,

확률변수란 간단히 말해 특정 사건의 결과를 숫자로 나타낸 변수이다.

처음 들을 때 가장 많이 헷갈리는 부분은 '변수'라는 말 때문이다.

사실 '변수'라기보단 '사건의 결과를 숫자로 변환한 함수'라고 보는 편이 이해하기에 좋다.

예를 들어,

• 동전 던지기: 앞면(1), 뒷면(0)
• 주사위 던지기: 나오는 눈의 숫자(1, 2, 3, 4, 5, 6)
• 사람의 키, 몸무게, 오늘의 기온 등도 확률변수이다.

즉, 확률변수란 실제 세상에서 관찰 가능한 사건이나 결과를 숫자로 표현하여 분석하기 쉽게 만들어 준다.

여기서 또 하나 헷갈릴 수 있는 지점은 확률변수가 여러 개 존재할 수 있다는 점이다. 예를 들어:

• X: 오늘의 기온
• Y: 아이스크림 판매량

이렇게 확률변수가 두 개 이상 존재할 때 각 변수의 관계를 이해하는 것이 통계학의 핵심이다.

2. 분산(Variance)의 의미와 계산 방법

확률변수의 개념을 이해했다면, 이제 '분산'을 살펴볼 차례다. 분산이란 하나의 확률변수(X)가 평균으로부터 얼마나 흩어져 있는지를 나타내는 값이다. 다시 말해, 데이터가 평균에서 얼마나 멀리 퍼져있는지를 측정한다.

분산의 계산은 다음과 같은 순서로 이루어진다:

• 각 데이터에서 평균을 빼서 편차를 구한다.
• 이 편차를 제곱하여 음수를 없앤다.
• 편차 제곱의 평균을 구한다.

수식으로 표현하면 다음과 같다:

분산(X) = (1/n) ∑(xᵢ - 평균)²

분산이 클수록 데이터가 평균에서 많이 떨어져 넓게 퍼져 있다는 뜻이고, 작을수록 평균에 가까이 모여 있다는 뜻이다.

3. 공분산(Covariance)의 등장과 필요성

분산은 한 변수(X)만 놓고 봤을 때 퍼짐 정도를 나타낸다. 그러나 현실에서 우리가 궁금한 것은 종종 두 개 이상의 변수가 서로 관련이 있는지다. 이를 위해 '공분산'이 등장한다.

공분산은 두 확률변수(X, Y)가 얼마나 함께 변화하는지를 나타내는 값이다. 수식은 다음과 같다:

공분산(X,Y) = (1/n) ∑(xᵢ - x의 평균)(yᵢ - y의 평균)

공분산이 양수이면 X가 증가할 때 Y도 증가하고, 음수이면 X가 증가할 때 Y는 감소한다. 공분산이 0이면 두 변수는 아무런 관련이 없다.

🔔 자주 생기는 오개념 정정

• 공분산 자체는 X와 Y를 동등하게 다룬다. 즉, Cov(X, Y)와 Cov(Y, X)는 동일하다.
• 하지만 선형 회귀에서는 X와 Y의 역할이 달라진다.

선형 회귀는 이미 주어진 독립변수 X의 값을 바탕으로 우리가 모르는 종속변수 Y의 값을 예측하는 과정이다. 즉, 실제로 X를 우리가 직접 변경하거나 조정하는 것이 아니라 주어진 X 값을 통해 Y를 예측하는 것이 목적이다.

정리하면,

• 공분산(Cov): X와 Y가 동등한 관계다.
• 선형 회귀에서는 X(독립변수) → Y(종속변수)의 방향성이 있다.

즉, 공분산 자체는 대칭적이지만 선형 회귀의 특성상 X와 Y의 역할은 비대칭적이다.

예를 들어, 기온(X)이 높아질 때 아이스크림 판매량(Y)이 증가하는지를 확인하고 싶다면, 기온과 판매량의 공분산을 확인하는 것이 필수적이다.

📝 4. 분산과 공분산 공식 정리 (시그마 표기)

• 분산(Variance)

Var(X) = (1/n) ∑(xᵢ - 𝑥̄)²
       = (1/n) ∑xᵢ² - (x의 평균)²

• 공분산(Covariance)

Cov(X,Y) = (1/n) ∑(xᵢ - x의 평균)(yᵢ - y의 평균)
         = (1/n)∑(xᵢyᵢ) - (x의 평균)(y의 평균)

이 공식을 기억해두면 앞으로 통계 분석을 더 쉽게 할 수 있다.

연재 기획: "최적화와 선택 전략 – 규칙 속의 불확실성" (3부작)

1. 선택에는 규칙이 존재하는가

• 선택 문제의 본질과 규칙성을 분석
• 최적의 선택을 찾는 다양한 알고리즘적 접근법
• 선택 문제의 유형: 그리디, DP, 선형 조합, 디오판틴 방정식

내용

• 선택 문제의 수학적 구조: 선형 조합과 디오판틴 방정식
• 그리디 알고리즘의 성공과 실패 사례: 동전 거스름돈 문제
• DP 기반 최적해 탐색: 배낭 문제와 최소 비용 문제
• 선택 문제의 규칙성과 예외 사례

관련 문제

• (3,5) 설탕 배달 문제 (백준 2839) – 그리디 최적화가 최적해를 보장하는 경우
• 동전 거스름돈 문제 (백준 11047, 2294) – 그리디 vs DP
• 최소 비용 경로 문제 (LeetCode 322 - Coin Change, 백준 12865 - 배낭 문제)
• 디오판틴 방정식을 활용한 최적화 문제

2. P와 NP, 최적화의 경계에서

• P vs NP 문제란 무엇인가?
• 최적해를 찾는 것과 검증하는 것의 차이
• 근사해(Heuristic), 탐색 기법의 필요성

내용

• P vs NP – 해결할 수 있는 문제 vs. 검증 가능한 문제
• NP-완전 문제에서 선택 전략이 가지는 한계
• 휴리스틱과 근사해 알고리즘: 최적화가 어려운 경우의 대응 방법
• 탐욕적 전략(Greedy)이 실패하는 이유

관련 문제

• 트래블링 세일즈맨 문제(TSP) - NP-완전 문제의 대표 사례
• 그래프 색칠 문제(Graph Coloring) - 휴리스틱 탐색 적용 사례
• SAT 문제 - "선택"이 가지는 복잡도의 극단적 예시
• XOR 연립 방정식 (GF(2)에서의 가우시안 소거법) - 선택과 논리 회로
• Codeforces "Yet Another Coin Problem" - 어려운 동전 문제 변형

3. 최적화 전략의 한계와 인간의 선택

• 최적화 전략이 실패하는 이유
• 인간의 선택 vs. 알고리즘의 선택 – 인간은 왜 비효율적인 선택을 할까?
• 게임 이론과 선택 전략

내용

• 인간의 선택이 최적화되지 않는 이유 – 심리적 편향과 인지적 한계
• 알고리즘적 선택 vs. 인간의 선택 – 게임 이론 관점에서 분석
• 내쉬 균형과 선택 전략 – "내가 선택하는 방식이 남에게도 영향을 미친다면?"
• 선택이 가지는 불확실성과 최적화의 한계

관련 문제

• 죄수의 딜레마(Prisoner's Dilemma) - 최적 선택이 협력으로 이어지지 않는 경우
• 최대 매칭 문제(Maximum Matching) - 그래프에서 최적의 선택을 찾는 법
• A/B 선택 최적화 문제 - 감쇠 효과를 고려한 전략적 선택 (Multi-Armed Bandit)
• Alternating A/B 선택 문제 - 장기적 최적화를 위한 DP 전략

반복문 한 줄에서 시작하여, 그 안에 담긴 수학적, 기하학적 원리들이 어떻게 서로 얽혀 있는지를 깊이 있게 서술한다. 여기서는 1부터 $n$까지의 정수 중 서로 다른 세 개의 수 $i$, $j$, $k$를 선택하는 삼중 반복문의 예제를 들어 설명한다.

for i in range(1, n-1):
    for j in range(i+1, n):
        for k in range(j+1, n+1):
            print(i, j, k)

이 코드의 구조는 단순해 보이지만, 사실 이는 $i < j < k$인 모든 경우의 수를 열거하는 과정이며, 이는 $n$개의 원소 중에서 순서를 고려하지 않고 3개를 선택하는 조합, 즉 이항 계수 $\binom{n}{3}$의 결과와 정확히 일치한다. 이항 계수는 다음과 같이 정의된다.

$$
\binom{n}{3} = \frac{n(n-1)(n-2)}{6}.
$$

여기서 단순한 산술 계산 이상의 의미가 드러난다. 반복문이 구현하는 모든 선택의 경우의 수는, 우리가 수학에서 다루는 조합의 본질을 그대로 반영한다. 반복문 속에 내재한 이러한 구조는 우리가 코드 한 줄을 볼 때, 단순한 순회 이상의 깊은 원리를 느낄 수 있게 한다.

이와 같은 조합의 원리는 파스칼 삼각형에서 더욱 명확하게 나타난다. 파스칼 삼각형은 각 항이 바로 위의 두 항의 합으로 구성되는 배열로, 각 숫자는 $\binom{n}{r}$의 값을 나타낸다. 예를 들어, 다음과 같은 배열을 생각해 보자.

           1
         1   1
       1   2   1
     1   3   3   1
  1   4    6   4   1
1   5   10  10   5   1

이 배열은 단순한 덧셈의 반복으로 만들어지며, 이는 코드에서 반복문이 수행하는 누적 합의 원리와 동일하다. 삼중 반복문에서 한 값 $i$가 정해지면, 그 다음에 등장하는 $j$와 $k$의 조합은 이중 반복문으로 $\binom{n-i}{2}$를 산출하는 과정과 같다. 이처럼 파스칼 삼각형은 단순한 수학적 도구가 아니라, 코드의 반복적 구조와 자연스럽게 연결되어 모든 선택의 경우를 한눈에 보여 주는 창과 같다.

또한, 파스칼 삼각형 속에는 “하키스틱 규칙”이라 불리는 특별한 성질이 있다. 이 규칙은 파스칼 삼각형에서 한쪽 대각선을 따라 이어진 항들을 모두 더하면, 그 누적 합이 바로 그 아래쪽에 위치한 항과 같아지는 원리를 나타낸다. 수식으로 표현하면 다음과 같다.

$$
\sum_{k=r}^{n} \binom{k}{r} = \binom{n+1}{r+1}.
$$

이 항등식은 우리가 반복문에서 각 단계마다 누적되는 값을 생각할 때, 그 결과가 새로운 조합 값으로 자연스럽게 연결되는 과정을 설명해준다. 코드에서 각 반복의 결과들이 서로 더해져 하나의 최종 값을 도출하는 모습은, 이 하키스틱 규칙이 보여주는 누적 합의 원리와 닮아 있다.

더 나아가, 조합은 본질적으로 대칭성을 지닌다. 예를 들어, 아래와 같은 항등식은 조합의 대칭적 성질을 여실히 드러낸다.

$$
\binom{n}{0}\binom{n}{n} + \binom{n}{1}\binom{n}{n-1} + \cdots + \binom{n}{n}\binom{n}{0}.
$$

이 식은 파스칼 삼각형의 좌우 대칭을 그대로 반영하며, 반복문을 통한 조합 계산 속 구조를 보여준다.

반복문과 조합의 관계를 단순한 산술 계산 이상의 것으로 이해하기 위해서는, 이 모든 개념들을 기하학적으로도 해석할 필요가 있다. 이중 반복문을 통해 선택된 $(i, j)$의 조합은, 2차원 평면상의 격자에서 한쪽 삼각형 모양을 형성하는 데, 그 전체 경우의 수는 $\binom{n}{2}$와 같다. 이 삼각형은 평면상의 영역과 같이, 모든 가능한 쌍을 시각적으로 보여준다.

반면, 삼중 반복문을 통해 선택된 $(i, j, k)$의 조합은 3차원 공간에서 정사면체(테트라헤드론)의 꼭짓점을 이루며, 이 때의 경우의 수는 $\binom{n}{3}$로 표현된다. 정사면체는 3차원에서 가장 단순한 다면체로서, 그 꼭짓점들이 서로 유기적으로 연결되어 있는 방식은 단순한 조합 수식이 아니라, 기하학적 구조로서의 아름다움을 드러낸다.

직접 코드를 작성하여 실행해 보고, 작은 $n$의 값으로 $(i, j, k)$ 조합이 어떻게 출력되는지 눈으로 확인하면, 그 총 경우의 수가 $\binom{n}{3}$임을 자연스럽게 깨달을 수 있다. 또한, 종이나 디지털 도구를 사용해 파스칼 삼각형을 직접 그려보고, 그 속에 담긴 누적과 대칭의 원리를 이해하는 과정은, 코드 한 줄에 담긴 수학적 선택의 깊이를 체험하게 해준다. 3차원 공간에서 $(i, j, k)$ 조합을 시각화하는 작업은, 단순한 산술 계산을 넘어 기하학적 정사면체의 아름다움을 직접 눈으로 확인하게 해 주며, 이 모든 개념들이 하나의 통일된 세계를 이루고 있음을 분명히 보여준다.

결과적으로, 반복문은 단순히 코드를 반복하는 도구가 아니라, 그 자체로 수학적 조합의 원리와 기하학적 구조를 구현하는 매개체이다. 이중 반복문은 2차원에서 삼각형을 이루며 $\binom{n}{2}$로 나타나고, 삼중 반복문은 3차원에서 정사면체를 이루며 $\binom{n}{3}$로 표현된다. 파스칼 삼각형은 이러한 모든 조합 계산의 시각적, 구조적 기반을 제공하며, 하키스틱 규칙은 누적 합의 과정을 통해 새로운 조합 값을 만들어내는 원리를 설명한다. 더불어, 조합의 대칭성을 보여주는 항등식들은 코드와 수식, 그리고 기하학적 구조가 서로 유기적으로 연결되어 있음을 확인시켜 준다.

우리는 일상에서 "독립"이라는 말을 들으면 스스로 결정하며 타인이나 외부의 영향에 의존하지 않는 상태를 떠올린다. 예를 들어, "그 사람은 독립적이다"라는 말은 그 사람이 자신의 삶이나 결정을 스스로 해나가는 모습을 의미한다. 그러나 확률론에서 "독립"은 사뭇 다른 느낌을 준다. 확률론에서 두 사건 $A$와 $B$가 독립이라는 것은, 한 사건의 발생 여부가 다른 사건의 발생 확률에 전혀 영향을 주지 않는 상태이다. 이는 "정보가 추가되지 않는다"는 의미로 엄밀히 정의되며, 수식으로는

$$
P(A \cap B) = P(A) \cdot P(B)
$$

로 나타난다. 이 정의는 정보이론적 관점에서 상호정보 (Mutual Information)가 $0$임과 동치이다. 즉, $A$와 $B$ 사이에는 서로에 대해 공유하는 추가적인 정보가 전혀 없다는 것을 의미한다.

1. 교집합과 독립의 관계

1.1 교집합의 정의

교집합은 두 사건이 동시에 발생하는 경우를 의미한다. 예를 들어, 공정한 동전 두 개를 던졌을 때

• 첫 번째 동전이 앞면이다.
• 두 번째 동전도 앞면이다.

이 두 사건이 동시에 일어나는 경우는 $A \cap B$에 해당하며, 독립적인 동전 던지기에서는

$$
P(A \cap B)=0.5 \times 0.5=0.25
$$

이다. 여기서 "교집합"은 단순히 "동시에 발생하는 사건"을 나타내며, 독립 사건이라 하더라도 교집합의 확률은 양의 값을 가진다. 중요한 점은, 독립이라는 것은 한 사건이 발생한 사실이 다른 사건의 확률을 변화시키지 않는다는 것인데, 이때 두 사건이 동시에 일어날 확률이 그 각각의 확률의 곱으로 나타난다는 것이다. 정보이론에서는, 첫 번째 동전의 결과가 두 번째 동전의 결과에 대해 전혀 새로운 정보를 주지 않으므로, 두 사건 사이의 상호정보가 $0$이다.

2. 배반사건(서로 배타적 사건)과 독립의 차이

2.1 배반사건의 정의

배반사건은 두 사건이 동시에 발생할 수 없는 경우이다. 예를 들어, 한 주사위를 던졌을 때 "3이 나온다"와 "5가 나온다"는 사건은 배반적이다. 이 경우 두 사건의 교집합은 공집합이며,

$$
P(A \cap B)=0
$$

이다.

2.2 배반사건과 독립의 비교

독립 사건은 한 사건이 발생한 정보가 다른 사건의 발생 확률에 아무런 영향을 주지 않는다. 반면, 배반 사건은 두 사건이 동시에 발생할 수 없으므로, 한 사건이 발생하면 다른 사건은 반드시 발생하지 않는다. 만약 $P(A)>0$와 $P(B)>0$인 상황에서 $P(A \cap B)=0$이라면, 두 사건은 $P(A)P(B)>0$인 상황과 모순된다. 즉, 배반사건은 독립일 수 없다. 정보이론적 관점에서는, 배반사건은 한 사건의 발생이 다른 사건의 발생을 완전히 배제하는 강한 정보 의존성을 내포한다.

3. 조건부 독립과 그 정보이론적 해석

조건부 독립은 "추가 정보 $C$가 주어졌을 때, 두 사건 $A$와 $B$가 서로 독립이다"라는 개념이다. 수식으로는 다음과 같이 표현된다.

$$
P(A \cap B \mid C)=P(A \mid C) \cdot P(B \mid C)
$$

3.1 조건부 독립의 직관적 해석

조건 $C$가 주어지면, $A$와 $B$ 사이에 이미 존재하는 상호 연관 (즉, 서로 영향을 미치는 요인)이 조건 $C$에 의해 설명된다. 따라서, 조건 $C$가 있을 때 남은 $A$와 $B$의 불확실성은 서로 독립적으로 결정된다. 정보이론에서는 이것을 조건부 상호정보 $I(A; B \mid C)=0$로 해석한다. 즉, 조건 $C$가 모든 상호 의존성을 설명하므로, $A$와 $B$ 사이에는 추가로 공유되는 정보가 존재하지 않음을 나타낸다.

3.2 구체적 예시: 이진 변수 모형

$A$와 $B$를 이진 변수로 가정한다. 예를 들어,

• $A=1$은 "고득점", $A=0$은 "저득점"
• $B=1$은 "체육 우수", $B=0$은 "체육 부진"
  이고, 조건 $C=c$ (예: "학습 태도=우수")가 주어진다고 가정한다.

조건부 마진 확률을 다음과 같이 설정한다.

• $P(A=1 \mid C=c)=\alpha$, 그러므로 $P(A=0 \mid C=c)=1-\alpha$이다.
• $P(B=1 \mid C=c)=\beta$, 그러므로 $P(B=0 \mid C=c)=1-\beta$이다.

조건부 독립의 정의에 따라, 결합 확률은 두 마진 확률의 곱으로 결정된다.

• $P(A=1, B=1 \mid C=c)=\alpha \cdot \beta$이다.
• $P(A=1, B=0 \mid C=c)=\alpha \cdot (1-\beta)$이다.
• $P(A=0, B=1 \mid C=c)=(1-\alpha) \cdot \beta$이다.
• $P(A=0, B=0 \mid C=c)=(1-\alpha) \cdot (1-\beta)$이다.

이를 2×2 테이블로 나타내면 다음과 같다.

이 표는, 조건부 독립이 만족되는 모든 분포가 두 벡터 $[\alpha,,1-\alpha]$와 $[\beta,,1-\beta]$의 외적으로 표현됨을 나타낸다. 정보이론적 관점에서는, 조건 $C$가 주어지면 $A$와 $B$ 사이에 추가적으로 공유되는 정보가 $0$임을 의미한다.

왜 양이 "줄어드는가" (합이 $1$이 되는가)

각 행과 열의 합은 다음과 같이 계산된다.

• $A$의 마진:
  • $P(A=1 \mid C=c) = \alpha$
  • $P(A=0 \mid C=c) = 1-\alpha$
    따라서, 두 행의 합은 $\alpha + (1-\alpha)=1$이다.
• $B$의 마진:
  • $P(B=1 \mid C=c) = \beta$
  • $P(B=0 \mid C=c) = 1-\beta$
    따라서, 두 열의 합은 $\beta + (1-\beta)=1$이다.
• 전체 합:
  모든 결합 확률의 합은
  $$
  \alpha\beta+\alpha(1-\beta)+(1-\alpha)\beta+(1-\alpha)(1-\beta)
  $$
  이를 전개하면
  $$
  \alpha\beta+\alpha-\alpha\beta+(1-\alpha)\beta+1-\alpha-\beta+\alpha\beta = 1
  $$
  즉, 전체 확률이 $1$임을 확인할 수 있다.

이러한 정규화는 확률 분포의 필수 조건으로, 모든 가능한 경우의 수(즉, 표의 모든 셀의 합)가 $1$이 되어야 함을 의미한다.

3.3 다양한 값에 따른 예시

예를 들어,

• 만약 $\alpha = 0.8$이고 $\beta = 0.7$이면,
  • $P(A=1, B=1 \mid C=c) = 0.8 \times 0.7 = 0.56$이다.
  • $P(A=1, B=0 \mid C=c) = 0.8 \times (1-0.7) = 0.8 \times 0.3 = 0.24$이다.
  • $P(A=0, B=1 \mid C=c) = (1-0.8) \times 0.7 = 0.2 \times 0.7 = 0.14$이다.
  • $P(A=0, B=0 \mid C=c) = (1-0.8) \times (1-0.7) = 0.2 \times 0.3 = 0.06$이다.
• 만약 $\alpha = 0.9$이고 $\beta = 0.6$이면,
  • $P(A=1, B=1 \mid C=c) = 0.9 \times 0.6 = 0.54$이다.
  • $P(A=1, B=0 \mid C=c) = 0.9 \times (1-0.6) = 0.9 \times 0.4 = 0.36$이다.
  • $P(A=0, B=1 \mid C=c) = (1-0.9) \times 0.6 = 0.1 \times 0.6 = 0.06$이다.
  • $P(A=0, B=0 \mid C=c) = (1-0.9) \times (1-0.6) = 0.1 \times 0.4 = 0.04$이다.

이처럼, 조건부 독립 모형에서는 주어진 조건 $C$ 하에서 $A$와 $B$의 결합 확률이 오직 두 마진 확률 $\alpha$와 $\beta$의 곱으로 결정되며, 이 구조는 두 사건 사이에 추가 정보가 전혀 없음을 나타낸다. 정보이론적 관점에서는, 조건부 상호정보 $I(A;B \mid C)=0$임과 동치이다.

4. 정보이론적 관점에서 "영향"의 의미

확률론에서 "독립"이라 함은 한 사건의 발생이 다른 사건의 발생 확률에 영향을 주지 않는다는 것을 의미한다. 즉,

$$
P(A \mid B)=P(A)
$$

이다. 정보이론에서는 이를 "한 사건에 대한 정보가 다른 사건의 불확실성을 감소시키지 않는다"라고 해석한다. 상호정보 $I(A;B)$가 $0$이면, 한 사건에 대해 알더라도 다른 사건에 대해 얻는 새로운 정보가 전혀 없음을 나타낸다.

조건부 독립의 경우, 조건 $C$가 이미 모든 상호 연관성을 설명하므로, 조건 $C$가 주어졌을 때 $A$와 $B$ 사이에 추가적으로 공유되는 정보가 없으며, 즉, 조건부 상호정보

$$
I(A;B \mid C)=0
$$

이다. 이 수식은 "정보가 서로 영향을 주지 않는다"는 의미를 엄밀하게 나타낸다.

또한,

• 독립 사건은 동시에 발생하는 경우(교집합)가 있을 수 있다. 단지, 그 교집합의 확률이 $P(A) \cdot P(B)$와 같아야 한다.
• 배반 사건은 한 사건이 발생하면 다른 사건은 절대로 발생하지 않으므로, 교집합이 $0$이다. 만약 두 사건의 개별 확률이 양수인데 교집합이 $0$이면, 이는 한 사건의 발생이 다른 사건의 발생을 강제로 배제함을 의미한다.

정보이론적으로, 독립인 경우는 "정보가 추가되지 않는다"는 점, 배반인 경우는 "한 사건의 발생이 다른 사건의 불가능성을 확실히 알려준다"는 점에서 극명하게 구분된다.