확률 1

확률

어떤 일에 대해서

• 반드시 일어나지 않는 가능성은 0
• 반드시 일어날 가능성은 1

1. 표본공간

• 통계적 실험에서 발생가능한 모든 결과들의 집합

동전 두 개를 던져서 나올 수 있는 표본공간은

S = {앞앞, 뒤뒤, 앞뒤, 뒤앞}

2. 사건 = 어떠한 이벤트

• 표본공간은 모든 결과의 집합을 나타냄
• 그렇기 때문에 결과들로 부분집합을 만들수 있음
• 그것이 "사건" 이다.

어떤 제품 중 3개를 뽑아서 검사하고, 정상과 비정상을 구분할 때,
비정상 개수가 1개 이상인 사건을 구하자

1. 표본공간 (정상 T, 비정상 F)
S = {TTT, TTF, TFT, FTT, TFF, FTF, FFT, FFF}

2. 사건 구하기
비정상이 한 개라도 포함되어 있는 것들
사건A = {TTF, TFT, FTT, TFF, FTF, FFT, FFF}

 

⇒ 사건은 표본공간의 부분집합이기 때문에 밖에서는 만들어질 수 없다.

(1). 전사건, 공사건

• 전사건 : S의 모든 원소를 포함하는 사건
• 공사건 : S의 어떤 원소도 포함하지 않는 사건

• 합사건 (Union Event) : 두 사건 A, B에 대하여 A 또는 B 중 적어도 한 쪽은 일어나는 사건
• 곱사건 (Intersection Event) : 두 사건 A와 B에 대하여 A와 B가 동시에 일어나는 사건
• 배반사건 (Mutually Exclusive Event) : 두 사건 A, B에 대하여 A와 B 중 한 쪽이 일어나면 다른 한 쪽은 일어나지 않을 때, A, B는 서로 배반이라 한다. ⇒ 공통 부분이 없다!
• 여사건 (Complementary Event) : 표본공간 S의 사건 A에 속하지 않는 S의 모든 원소들의 집합인 사건

주사위 실험에서 A = {4, 5, 6}, B = {1, 3, 5}라 할 때,
표본공간, 합사건, 곱사건, A의 여사건을 구하자

1. S = {1, 2, 3, 4, 5, 6} => 주사위로 나올 수 있는 숫자들

2. A∪B = {1,3,4,5,6}

3. A∩B = {5}

4. A의 여사건 : A에 속하지 않는 S의 모든 원소들의 집합
= {1, 2, 3}

5. 사건의 개수 = 부분집합의 개수 = 2^x
2^6 = 64

(2). 확률 변수 (확률 + 변수)

• 측정 값이 변할 수 있는 확률이 주어진 변수가 확률변수
• 결과를 숫자로 표현한 것

⇒ 표본추출을 어떻게 하느냐에 따라 통계량이 달라지는 표본평균이나 표본분산과 같은 것이 확률변수라고 할 수 있다.

- 표본 추출

 

- 표본 평균

 

- 표본 분산

 

(3). 이산 확률 변수 (Discrete Random Variable)

• 가질 수 있는 값이 셀 수 있을 때(유한 개 또는 무한하지만 셀 수 있음) ⇒ 이산 확률 변수

 이산 확률 변수는 확률 질량 함수(*PMF)를 가진다

• P(X = x)

모든 확률의 합은 1

• ∑P(X=x)=1

⇒ P(X = 2) = 0.3

정확히 이 값일 확률을 계산할 수 있다.

 

예 : 

• 주사위 눈의 수
• 불량품의 개수
• 시험에서 맞힌 문제 수

? PMF(Probability Mass Function, 확률 질량 함수)

하나하나 셀 수 있는 값들의 확률를 의미한다.

 

예를 들면 이산확률 변수에 해당되는 주사위, 동전 앞/뒷면, 사고 횟수 등이 될 수 있다.

 

특징은

• 특정 값 x에서의 함숫값 f(x)가 곧 그 값이 나올 확률이다.
• 모든 확률을 더하면 1이 된다. ( ∑ P(X=x) = 1)

즉, 확률 질량 함수 PMF는 함숫값이 곧 확률이다.

(4). 연속 확률 변수 (Continuous Random Variable)

가질 수 있는 값이 연속적이고 셀 수 없을 때를 의미

 

확률 밀도 함수(PDF)를 가짐

• f(x)

특정 값 하나일 확률은 0

• P(X = a) = 0

구간의 확률로 계산

• P(a≤X≤b)=∫abf(x)dx

 

예를 들면

• 키가 170cm일 확률은 0
• 키가 169~172cm 사이일 확률을 의미가 있다.

즉, 연속 변수는 구간으로 확률을 계산한다. 

 

PDF (Probability Density Function, 확률 밀도 함수)

셀 수 없이 연속적인 값들의 확률를 의미한다.

 

예를 들면 연속 확률 변수의 키, 몸무계, 시간, 온도 등이 해당된다.

 

특징은

• 특정 값 x에서의 함숫값은 확률이 아니라 밀도이다. (특정 지점의 확률은 항상 0)
• 확률은 특정 구간의 넓이(적분값)로 구한다.
• 그래프 전체의 넓이는 1이다. 

즉, 그래프의 넓이가 곧 확률이다.

• 이산 확률 변수와 연속 확률 변수 차이점

 

• PMF와 PDF 차이점

3. 단일 사건의 확률

주사위 눈문 '1'이 나오는 것처럼 단 하나의 특정 결과로만 구성된 사건이 발생할 확률이다.

⇒ 기본 사건, 원자 사건이라고 불림

 

전체 가능한 결과(표본 공간)의 집합 속에서 특정 결과가 나올 가능성을 나타내며, 일반적인 사건(여러 결과의 집합)과는 구별된다.

예를 들면 동전 던지기에서 '뒷면'이 나오는 사건과 주사위에서 '5'가 나오는 사건 등이 단일 사건의 예시이다.

(1). 사건 vs 단일 사건

- 사건 :

• 여러 결과의 집합

- 단일 사건 :

• 단 하나의 결과로만 이루어진 사건
• 단일 사건끼리의 독립 여부는 실험의 구조에 따라 달라진다.
• 주사위를 두 번 던질 때 첫 번째 '1'이 나오는 사건은 두 번째 '1'이 나오는 사건과 독립적이다.

4. 합의 법칙 = 상호 배반

• 상호 배반이란 두 사건이 동시에 일어날 수 없는 경우를 말한다.

즉, 하나가 일어나면 다른 하나는 절대 일어날 수 없다.

• 또는 (OR)의 개념을 기반으로 한다.
• 서로 겹치지 않는 여러 경우중 하나가 일어날 때는, 그냥 각각의 경우 수를 더하면 된다.  

두 개의 주사위를 던졌을 때 합계가 8 이상, 또는 3의 배수일 경우의 수를 구하자

- 합이 8 이상인 경우의 수 15가지
8 : (2, 6), (3, 5), (4, 4), (5, 3), (6, 2)
9 : (3, 6), (4, 5), (5, 4), (6, 3)
10 : (4, 6), (5, 5), (6, 4)
11 : (5, 6), (6, 5)
12 : (6, 6)

- 3의 배수 12가지
3 : (1, 2), (2, 1)
6 : (1, 5), (2, 4), (3, 3), (4, 2), (5, 1)
9 : (3, 6), (4, 5), (5, 4), (6, 3)
12 : (6, 6)

- 겹치는 수 5개
(3, 6), (4, 5), (5, 4), (6, 3), (6, 6)

합이 8인 경우의 수 = 15개
3의 배우가 나올 경우의 수 = 12개
두 주사위의 합이 12일 때 경우의 수는 겹치므로, 겹치는 수는 빼줌

그래서 총 경우의 수는 15 + 12 - 5 = 22

5. 곱의 법칙

• 그리고 (AND)의 개념을 기반으로 한다.
• 경우의 수를 구하는 방법은 아래와 같다. 

경우의 수 = m x n

사건A, 동전을 던지면 나올 수 있는 가지 수는 앞, 뒤 => n1 = 2
사건B, 주사위를 던지면 나올 수 있는 가지 수는 6가지 => n2 = 6

동전 한 개와 주사위 한 개를 동시에 던졌을 때 발생할 수 있는 경우의 수는?
n1 x n2 = 2 x 6 = 12

이제 두 개씩 던졌을 떄 경우의 수를 구해보자
동전에서 발생하는 사건 A1, A2
주사위에서 발생하는 사건 B1, B2
각 사건에 발생하는 가지 수는
A1 = 2, A2 = 2, B1 = 6, B2 = 6
따라서 경우의 수는

2 x 2 x 6 x 6 = 144

 

한국의 차량 번호판으로 등록할 수 있는 모든 자동차의 수

1. 앞의 세 자리는 999까지 올 수 있다
2. 4번째 자리 한글은 총 40가지가 올 수 있다.
3. 5~8번째 자리 중 5번째는 0이 올 수 없다고 (가정)
(0123, 0234, 0421 등 0이 올 수 없음)

번호판 앞 세 자리의 가짓수 n1 = 999
번호판 네 번째 한글의 가짓수 n2 = 40
나머지 네 자리 중 맨 앞자리 숫자의 가짓수 n3 = 9
네 자리 중 두 번째 자리 숫자의 가짓수 n4 = 10
네 자리 중 세 번째 자리 숫자의 가짓수 n5 = 10
네 자리 중 마지막 자리 숫자의 가짓수 n6 = 10

=> 999 x 40 x 9 x 10 x 10 x 10 = 359,640,000

6. 조건부 확률 

A 사건이 일어났다고 이미 알고 있을 때, B 사건도 일어날 확률

즉, A 안에서만 확률을 다시 계산하는 것

원 A는 A가 일어난 모든 경우

원 B는 B가 일어난 모든 경우 

A ∩ B는 A도 일어나고, B도 일어날 경우

 

A가 일어난 경우들만 놓고 따지기 때문에 아래와 같은 식이 된다.

학생들 중
A : 안경 쓴 학생
B : 남학생

이 중에 안경을 쓴 학생 중 남학생일 확률은?

- 여학생은 신경 안써도 됨

안경 쓴 학생(A)만 모아서
그 중 남학생(B) 비율을 보는 것 

분자: 안경 쓰고 + 남학생 (A ∩ B) 
----------------------------------
분모: 안경 쓴 학생 전체 (A)

7. 전체 확률 

• 어떤 사건이 여러 가지 경우 중 하나로 일어날 때, 각 경우에서 그 사건이 일어날 확률을 모두 더한 것 
• 경로별 확률을 계산해서 모두 더한 것

상호배반(배반사건)  → 전사건, 공사건, 합의 공식에서 나옴

• 두 사건이 동시에 일어날 수 없음
• 겹치는 부분이 없음

전체 확률? 왜 필요함?

어떤 사건 A가

• 경우1 : A1이 일어날 상태에서 발생하거나
• 경우2 : A2이 일어난 상태에서 발생하거나
• 경우3 : A3이 일어날 상태에서 발생

여러 경로로 일어날 수 있을 때가 많다. 

 

근데 A1, A2, A3는 서로 상호배반이며 전체를 다 덮는다.

두 개의 가방이 있다.
- A1 가방 : 전체의 40%
	- 불량품 확률 10%
    
- A2 가방 : 전체의 60%
	- 불량품 확률 5%
===========================
가방 A1에서 불량품이 나올 확률
0.4 x 0.1 = 0.04
가방 A2에서 불량품이 나올 확률
0.6 x 0.05 = 0.03
============================
P(불량) = 0.04 + 0.03 = 0.07

만약 상호배반이 없으면?

A1, A2가 겹치면 같은 경우를 두 번 더하게 됨 ⇒ 결과가 이상하게 나옴

그래서 전체 확률은 반드시 상호배반 사건으로 나눠야 한다. 

 

음.. 좀 더 쉽게 말해서

전체 확률을 구할 떄 사건들을 상호배반으로 나누는 이유는 하나의 사건을 두 번 세지 않는 중복 방지를 위해서 이자 모든 가능성을 빠짐없이 확인하기 위해서 이다. 즉, 전체를 겹치지 않는 조각들로 완벽하게 쪼개야만 정확한 합산이 가능하다는 말이다.

 

예를 들면

피자 한 판의 전체 칼로리를 계산한다고 하자

상호배반 : 1번 조간 칼로리 + 2번 조각 칼로리 +.. 8번 조각 칼로리 = 전체 칼로리

상호배반이 아님 : 조각이 겹치게 잘려서 겹치는 부분의 토핑과 도우는 두 번 계산이 된다. 그럼 실제 피자 한 판의 칼로리 보다 높게 나오는 오류가 생긴다.  

8. 결합 확률

• 두 개의 사건이 동시에 일어날 확률
• 두 사건 A, B가 동시에 일어나는 확률을 P(A∩B)라 하며, 이를 결합확률이라 한다.

예를 들면

주머니에 공이 들어 있다.

• 빨간 공 7개
• 파란 공 3개

한 개를 뽑는다

• 사건 A : 빨간 공
• 사건 B : 번호가 1번인 공

⇒ 빨간 1번 공이 1개 있다고 하자

= P(A∩B) = 1/10

 

즉, 결합 확률은

• 사건 A도 일어나고, 사건 B도 일어나는 확률을 말한다.
• 교집합 개념과 같다
• 기호는 P(A∩B)

9. 주변 확률

• 여러 조건 중, 한 사건만 보고 계산한 확률
• 다른 사건은 신경 안 쓰고 관심 있는 사건 하나만 남긴 확률
• P(A), P(B)

결합확률 표를 만들면 표의 가장자리에 남는 확률이라서 그렇게 부름

• A가일어나는 모든 경우에 대해 B가 뭐가 됐든 다 더한다. 

예를 들면

동전 + 주사위가 있다.

• 동전 1회, 주사위 1회를 던졌을 때 각 경우의 확률은 1/2, 1/6이다.
• 동전 결과와 주사위 결과는 서로 영향을 주지 않는다.

동전 결과가 뭐든, 주사위 확률은 그대로

주사위 결과가 뭐든, 동전 확률은 그대로

각 칸은 결합 확률이기 때문에 P(A∩B)=P(A)×P(B) 이 공식을 적용하면

P(앞면 ∩ 3)= 1/2 x 1/6 = 1/12가 된다. 그렇기 때문에  표 전체가 전부 1/12로 채워진 것이다.

 

다시 정리하면 동전과 주사위는 독립이므로, 앞면 + 주사위 3 같은 각 조합의 확률은 1/2 x 1/6 = 1/12가 된다. 또한 전체 가능한 경우의 수가 동전 2가지 x 주사위 6가지 = 12가지이며, 이 모든 경우가 동일하게 가능하므로 각 경우의 확률은 모두 1/12가 된다.

이렇게 만들어진 결합 확률 표에서 관심 있는 사건만 남기고 나머지를 모두 더한 것이 주변 확률이다. 

10. 확률의 연쇄법칙

• 여러 사건이 모두 일어날 확률을 앞에서부터 조건부 확률로 이어서 곱하는 법칙
• 결합 확률을 조건부 확률로 쪼개는 공식이라고 보면 됨 

(1). 확률의 연쇄 법칙 기본

두 사건 A, B에 대해 

A가 일어나고, 그 다음 B가 일어날 확률

(2). 사건이 3개 일 때

• A가 일어날 확률 x
• A가 일어난 상태에서 B가 일어날 확률
• A와 B가 일어난 상태에서 C가 일어날 확률

⇒ 이 세 개를 모두 곱한 것이다. 

(3). N개의 사건

보통의 사건은 한 두 개로 이루어지지 않고 N개의 사건으로 이루어질 때가 많다. 

⇒ 앞에서 일어난 사건들을 조건으로 계속 이어 붙이는 구조를 갖는다. 

(4). 연쇄 법칙은 왜 사용하냐?

결합 확률을 한 번에 계산하기 어려우니까 순서대로 잘게 쪼개서 사슬처럼 연결하는 것이다.

 

예를 들면

 

카드 3장 연속 뽑기

카드 52장에서 3장을 연속으로 뽑는다

• A : 첫 카드가 하트
• B : 두 번째 카드가 하트
• C : 세 번째 카드가 하트

이걸 연쇄 법칙에 적용하면

⇒ 앞에서 뽑을수록 조건이 누적되므로, 종속 사건이 된다.

(5) 연쇄 법칙을 독립 사건으로?

만약 사건들이 서로 독립이면

⇒ 연쇄 법칙은 단순해진다.

예를 들어

동전 3번을 던져보자

• 뒷면 확률 = 1/2

• 주변 확률 : 첫 사건
• 조건부 확률 : 그 이후 사건들
• 연쇄 법칙 : 전부 연결하는 규칙

 

확률의 연쇄 법칙은 여러 사건이 모두 일어날 결합 확률을 앞에서부터 조건부 확률로 분해하여 곱하는 법칙이다. 

결론

확률은 불확실한 상황에서 가장 합리적인 결론을 내리기 위해 사용한다. 오늘 정리한 내용은 세 가지로 나뉜다.

(1). 기본 도구 갖추기 (이산 vs 연속)

데이터의 성격에 따라 확률을 계산하는 도구가 다르다

• 이산 변수(PMF) : 딱딱 끊어지는 값. 함숫값이 곧 확률이다. (예 : 주사위)
• 연속 변수(PDF) : 매끄럽게 이어지는 값. 구간의 넓이가 확률이다. (예 : 키, 시간)

(2). 사건의 관계 파악하기 (합 vs 곱)

사건들이 서로 어떤 사이인지에 따라 계산법이 달라진다.

• 합의 법칙(OR) : 겹치는 게 없다면 그냥 더함 (상호배반)
• 곱의 법칙(AND) : 사건들을 곱해서 경우의 수를 구하자

(3). 복잡한 확률 (조건부 vs 전체 vs 연쇄)

현실의 문제는 여러 사건이 얽혀 있다.

• 조건부 확률 : A가 일어났을 때 B는? → 기준을 A로 좁혀서 생각
• 전체 확률 : 여러 경로로 일어나는 사건을 조가(상호배반)으로 나눠서 다 더하기
• 연쇄 법칙 : 법잡한 결합 확률을 조건부 확률의 사슬로 쪼개서 계산하기

 

베이즈 정리도 정리해야 되는데 글이 너무 길어져서 다음 글에서 정리하려고 한다. 베이즈 정리는 새로운 정보(데이터)가 주어졌을 때, 기존의 믿음(확률)을 업데이트하는 공식이다. 베이즈 정리는 두 개의 관점을 갖는데

• 역확률의 관점 : 결과(현상)를 보고 그 원인이 무엇이었을지 거꾸로 역추론하는 과정
• 데이터 분석의 관전 : 기존의 사전 확률에 새로운 증거(Likelihood)를 곱해 더 정확한 사후 확률을 찾아내는 방법)

이걸 공부하는 이유는 데이터 분석이나 AI 모델이 새로운 정보를 학습하여 예측치를 업데이트하는 원리가 이 흐름에 있다.

---

https://velog.io/@chlwlsgh93/확률과-통계-1.-표본공간-사건-곱의-법칙

[확률과 통계] 1. 표본공간, 사건, 곱의 법칙

 

https://m.blog.naver.com/angryking/222383671753

확률변수와 확률분포의 개념 알아보기

 

https://borntodevelop.tistory.com/entry/확률과-통계-합의-법칙과-곱의-법칙-이해하기

[확률과 통계] 합의 법칙과 곱의 법칙 이해하기

 

https://devinserengeti.tistory.com/6

[수학 - 경우의 수] 합의 법칙 & 곱의 법칙

 

https://jobmanager1.tistory.com/62 https://datalabbit.tistory.com/17

[기초통계학] 확률(Probability) 2 - 결합확률, 주변확률, 조건부확률

 

 

https://bigdatamaster.tistory.com/153

확률 밀도 함수 PDF (Probability Density Function)