๊ทธ๋ก์ค๋ง์ผํ ์์ ์ด๋ค ํ๋ก์ธ์ค๋ก ์๊ด๋ถ์/ํ๊ท๋ถ์ ํ์ฉ์ด ๊ฐ๋ฅํ์ง ์ฐธ๊ณ ์ฉ์ผ๋ก ์์ฑํ์์ต๋๋ค.
1. ๋ชฉํ
๊ด๊ณ ์บ ํ์ธ์ผ๋ก ์ ์ ๋ ์ฌ์ฉ์์ ํ์๊ฐ์ ์ ๋๋ฆฌ๋ ค๊ณ ํฉ๋๋ค.
๐ก ๋ชฉํ์ ๋ฐ๋ผ ๋ฐ์ดํฐ ๋ถ์์ ๋ฐฉํฅ์ด ๊ฒฐ์ ๋๋ฏ๋ก, ๋ชฉํ ์ค์ ์ ๋งค์ฐ ์ค์ํฉ๋๋ค.
2. ๋ฐ์ดํฐ ํ์ธ
์ํ๋ ๋ชจ๋ ๋ฐ์ดํฐ๊ฐ ์๋ค๋ฉด ์ข๊ฒ ์ง๋ง, ์ ์ฌ๋ ๋ฐ์ดํฐ๋ ์ ํ์ ์ผ ์ ์์ต๋๋ค.
ํ์ฌ ์ํฉ์์ ํ์ฉ๊ฐ๋ฅํ ๋ฐ์ดํฐ๊ฐ ๋ฌด์์ด ์๊ณ , ์ด๋ค ๊ตฌ์กฐ๋ฅผ ๊ฐ์ง๊ณ ์๋์ง ํ์ธํฉ๋๋ค.
๊ด๊ณ ์บ ํ์ธ๋ณ ๊ณ ์ ID๊ฐ ์๊ณ , ๊ฐ ๊ด๊ณ ์บ ํ์ธ๋ณ ์ ๋ณด๊ฐ 1row์ฉ ์๋ '์บ ํ์ธ'์ ๋ฐ์ดํฐ์ ๋๋ค.
๐ก ๋ถ์์ ์ํด์๋ ๊ฒฐ์ธก์น์ ์ด์์น๋ฅผ ํ์ธํ๊ณ , ๊ฐ์ ๋์ฒดํ๊ฑฐ๋ ์ ๊ฑฐํ๋ ๋จ๊ณ๊ฐ ํ์ํฉ๋๋ค.
์ค์ ๋ฐ์ดํฐ๋ฅผ ์์๋ก ์์ ํ๋ ๊ฒ์ด๊ธฐ ๋๋ฌธ์, ๋ฐ์ดํฐ์ ์๊ณก์ด ๋ฐ์ํ์ง ์๋๋ก ์ ์คํ๊ฒ ํ๋จํด์ผํฉ๋๋ค.
(ํด๋น ๊ณผ์ ์๋ต)
3. ํ์๊ฐ์ ๊ณผ ๊ด๋ จ์๋ ๋ณ์๋?
ํ์๊ฐ์ ์ ์ํฅ์ ์ฃผ๋ ๋ณ์๋ฅผ ํ์ธํ๊ณ ์ถ๋ค๋ฉด, ์๊ด๊ณ์๋ฅผ ํ์ฉํ ์ ์์ต๋๋ค.
โผ์๊ด๊ณ์๋?
์๊ด๊ณ์: ๋ ๋ณ์์ ์ ํ๊ด๊ณ๋ฅผ ์ค๋ช ํ๋ ์งํ

- X๊ฐ ์ปค์ง ๋, Y๊ฐ ์ปค์ง๊ฑฐ๋ ์์์ง๋ ์ฑ๊ฒฉ(์ ํ์ฑ)์ด ๊ฐํ ์ ๋๋ฅผ ๋ํ๋
- ์ฐ์ํฅํ๋ฉด ์์(+), ์ฐํํฅํ๋ฉด ์์(-)
- ๊ฐํ ์ ํ๊ด๊ณ์ผ์๋ก ์ ๋๊ฐ์ด ํผ
๊ฐ์ ์์ ๋ค๋ฅธ ๋ณ์๋ค๊ฐ์ ์๊ด๊ณ์๋ฅผ ํ์ธํด๋ณด๋, ๋น๊ต์ ๊ด๊ณ ๋น์ ์ด๋ฒคํธ์ฐธ์ฌ์๊ฐ ์๊ด๊ณ์๊ฐ ๋์ ํธ์ ๋๋ค.
๊ทธ๋ฌ๋ ์๊ด๊ณ์๋ง ๋ณด๊ณ ๋ฐ๋ก ์๊ด๊ด๊ณ๊ฐ ์๋ค ํน์ ์๋ค๊ณ ํ๋จํ ์๋ ์์ต๋๋ค.
์๋๋ ์๊ด๊ณ์๊ฐ 0์ธ ๋ฐ์ดํฐ๋ก ๊ทธ๋ฆฐ ์ฐ์ ๋์ ๋๋ค.
X์ Y๊ฐ ๊ด๊ณ๊ฐ ๋ถ๋ช ํ ์กด์ฌํฉ๋๋ค(X ์ฆ๊ฐ ์ Y๊ฐ ๊ฐ์ํ๋ค๊ฐ ๋ค์ ์ฆ๊ฐ). ๊ทธ๋ฌ๋ ์๊ด๊ณ์๋ 0์ ๋๋ค.
์๊ด๊ณ์๋ ๋น์ ํ๊ด๊ณ๊ฐ ์๋ ์ ํ๊ด๊ณ๋ง์ ๊ณ ๋ คํ๋ฏ๋ก,
X์ Y์ ๊ด๊ณ๋ฅผ ํ์ธํ๊ณ ์ถ๋ค๋ฉด ์ฐ์ ๋๋ฅผ ์ฐ์ ์ ์ผ๋ก ๊ทธ๋ ค๋ณด๋ ๊ฒ์ด ์ค์ํฉ๋๋ค.
๋ ๋ณ์๊ฐ ์ด๋ค ๊ด๊ณ๊ฐ ์๋์ง ์ฐ์ ๋๋ก ํ์ธํ๊ณ , ์์น(์๊ด๊ณ์)๋ฅผ ํ์ธํ๋ ๊ฒ์ด ์ผ๋ฐ์ ์ ๋๋ค.
ํ์ฌ ๋ฐ์ดํฐ๋ ๊ด๊ณ ๋น์ ๊ฐ์ ์๊ฐ ์ฝํ ์ ํ๊ด๊ณ๊ฐ ์๋ ๊ฒ์ผ๋ก ๋ณด์ ๋๋ค.
๊ทธ๋ ๋ค๋ฉด ์ง๊ธ ๊ด๊ณ ๋น๋ฅผ ๋๋ฆฌ๋ฉด ๊ฐ์ ์๊ฐ ์ฆ๊ฐํ๋ค๊ณ ํ ์ ์์๊น์? ๊ทธ๋ ์ง ์์ต๋๋ค.
์๊ด๊ด๊ณ๋ "X๊ฐ ๋ณํํ ๋ Y๊ฐ ์ ํ์ ์ผ๋ก ๋ณํ๋ ๊ฒฝํฅ์ด ์๋ค"๋ ๊ฒ์ด๊ณ , "X๊ฐ ๋ณํํ๋ฉด Y๊ฐ ๋ณํํ๋ค"๋ ๋ป์ด ๋ ์ ์์ต๋๋ค.
๐ก ๊ณ ์ ์ ์ธ ์๋ก๋,
์์ด์คํฌ๋ฆผ ํ๋งค๋์ด ์ฆ๊ฐํ๋ฉด ์ต์ฌ ์ฌ๊ณ ๊ฐ ์ฆ๊ฐํ๋ ๊ฒฝํฅ์ด ์์ต๋๋ค. (์์ ์๊ด๊ด๊ณ ์กด์ฌ)
๊ทธ๋ฌ๋ ์์ด์คํฌ๋ฆผ ํ๋งค๋์ ์ค์ธ๋ค๊ณ ๋ฐ๋ผ ์ต์ฌ ์ฌ๊ณ ๊ฐ ์ค์ด๋ค์ง ์์ ๊ฒ์ ๋๋ค. (์ธ๊ณผ๊ด๊ณ ์์)
์์ด์คํฌ๋ฆผ ํ๋งค๋์ ์ต์ฌ ์ฌ๊ณ ์ ์๊ด๊ด๊ณ๊ฐ ์์ง๋ง, ์ง์ ์ ์ผ๋ก ์ํฅ์ ์ฃผ๋ ๋ณ์๋ ์๋๋๋ค.
4. ํ์๊ฐ์ ์ ์ํฅ์ ์ฃผ๋ ๋ณ์๋?
ํ์๊ฐ์ ์ ์ํฅ์ ์ฃผ๋ ๋ณ์๋ฅผ ํ์ธํ๊ธฐ ์ํด์๋ ํ๊ท๋ถ์์ ํ์ฉํ ์ ์์ต๋๋ค.
๊ฐ์ ์(Y)๋ฅผ ์ ์ธํ ๋ชจ๋ ๋ณ์๋ฅผ ๋ ๋ฆฝ๋ณ์๋ก ์ถ๊ฐํ ํ๊ท๋ถ์ ๊ฒฐ๊ณผ์ ๋๋ค.
[ ๋ชจ๋ธ ํ๊ฐ์งํ ]
์งํ | ์งํ ์๋ฏธ | ๊ฐ |
R² | ๋ชจ๋ธ์ด ๋ฐ์ดํฐ๋ฅผ ์ค๋ช ํ๋ ์ ๋ | 0.174 |
adjust R² | ๋ณ์ ๊ฐ์์ ๋ฐ์ดํฐ ํฌ๊ธฐ๋ฅผ ๊ณ ๋ คํ R² | 0.173 |
F-stat์ ๋ํ p-value | ํ๊ท๋ชจ๋ธ์ด ํต๊ณ์ ์ผ๋ก ์ ์ํ์ง | 4.13e-201 (< 0.05) |
- R²: 0.174๋ก, ๋ฐ์ดํฐ์ ์ ์ฒด ๋ณ๋ ์ค 17.4%๋ฅผ ๋ชจ๋ธ์ด ์ค๋ช → ๋ชจ๋ธ์ ์ค๋ช ๋ ฅ์ ๋์ง ์์
- adjust R²: 0.173 → ๋ชจ๋ธ์ ์ค๋ช ๋ ฅ์ ๋์ง ์์
- F-ํต๊ณ๋์ ๋ํ p-value: < 0.05 → ๋ชจ๋ธ์ ์ฒด๋ ํต๊ณ์ ์ผ๋ก ์ ์๋ฏธํจ
๐ก ์์ ๋ ๊ฒฐ์ ๊ณ์(adjust R²)๋ฅผ ์ฌ์ฉํ๋ ์ด์ ?
R²๋ ๋ณ์๊ฐ ์ถ๊ฐ๋๋ฉด ์ถ๊ฐ๋ ์๋ก ์ปค์ง๋๋ค.
๋ฌดํ๋์ ๋ณ์๊ฐ ๋ค์ด๊ฐ๋ฉด R²๋ 1์ ๊ฐ๊น์์ง์ง๋ง, ๊ทธ๊ฒ์ ์ข์ ๋ชจ๋ธ์ด๋ผ๊ณ ํ ์ ์์ต๋๋ค.
๋ชจ๋ธ์ด ๋งค์ฐ ๋ณต์กํ์ฌ ์ค๋ช ์ด ์ด๋ ต๊ณ , ํ์ตํ ๋ฐ์ดํฐ์ ๊ณผ์ ํฉ๋์ด ์๋ก์ด ๋ฐ์ดํฐ์ ๋ํด์ ์ข์ ์์ธก์ ํ์ง ๋ชปํ๊ฒ๋ฉ๋๋ค.
๋ฐ๋ผ์ ๋ณ์๊ฐ์์ ํ๋ณธ ํฌ๊ธฐ๋ฅผ ๊ณ ๋ คํ์ฌ R²๋ฅผ ์กฐ์ ํ ๊ฐ์ ์ฌ์ฉํฉ๋๋ค.
[ ๋ณ์ ๊ฒฐ๊ณผ ํด์ ]
๋ณ์๋ช | ๊ณ์(coef) | p-value | ํด์ |
๊ด๊ณ ๋น | 0.0021 | 0.000 | ๊ด๊ณ ๋น 1๋ฌ๋ฌ ์ฆ๊ฐ ์ ๊ฐ์ ์ 0.0021 ์ฆ๊ฐ. ์ ์๋ฏธํ ์์ ์ํฅ. |
์ธ์ ์ | 0.0365 | 0.000 | ์ธ์ 1ํ ์ฆ๊ฐ ์ ๊ฐ์ ์ ์ฝ 0.037 ์ฆ๊ฐ. ๊ธ์ ์ ์ํฅ. |
ํด๋ฆญ๋ฅ | 0.1816 | 0.001 | ํด๋ฆญ๋ฅ 1%p ์์น ์ ๊ฐ์ ์ ์ฝ 0.18 ์ฆ๊ฐ. ์ ์๋ฏธํ ์์ ์ํฅ. |
ํ๊ท ์ฒด๋ฅ์๊ฐ | 0.0002 | p > 0.05 → ์ ์ํ์ง ์์. ์ํฅ ์์. | |
์ด๋ฒคํธ์ฐธ์ฌ์ | 0.2260 | 0.000 | ์ด๋ฒคํธ 1ํ ์ฐธ์ฌ ์ ๊ฐ์
์ ์ฝ 0.23 ์ฆ๊ฐ. ์ ์๋ฏธํ๋ฉฐ ๊ฐํ ์์ ์ํฅ. |
์ฐ์ | -0.0552 | p > 0.05 → ์ ์ํ์ง ์์. ์ํฅ ์์. | |
ํธ์์์ ์ | -0.0323 | p > 0.05 → ์ ์ํ์ง ์์. ์ํฅ ์์. | |
์๋ฆผํด๋ฆญ์ | 0.2205 | 0.002 | ์๋ฆผ ํด๋ฆญ 1ํ ์ฆ๊ฐ ์ ๊ฐ์
์ ์ฝ 0.22 ์ฆ๊ฐ. ์ ์๋ฏธํ๋ฉฐ ๊ฐํ ์์ ์ํฅ. |
๊ฐ์ ์์ ์ ์๋ฏธํ ์ํฅ์ ์ฃผ๋ ๋ณ์๋ ๊ด๊ณ ๋น, ์ธ์ ์, ํด๋ฆญ๋ฅ , ์ด๋ฒคํธ์ฐธ์ฌ์, ์๋ฆผํด๋ฆญ์ ์ ๋๋ค.
๋ฐ๋ผ์, ํ์๊ฐ์ ์ ๋๋ฆฌ๊ธฐ ์ํด์๋ ๊ด๊ณ ํจ์จ ๊ด๋ฆฌ, ์ธ์ ์ ๋, ์ด๋ฒคํธ ์ด์, ์๋ฆผ ํด๋ฆญ ์ต์ ํ์ ์ง์คํ ํ์๊ฐ ์์ต๋๋ค.
๐ก ํ๊ท๋ถ์์ ์ธ๊ณผ๊ด๊ณ๋ฅผ "๋ณด์ฅ"ํ์ง ์์ต๋๋ค.
๋จ์ง "ํต๊ณ์ ์ผ๋ก ์ ์๋ฏธํ ๊ด๋ จ์ฑ"์ด ์๋ค๋ ๊ฒ๋ง ์๋ ค์ค ๋ฟ์ ๋๋ค.
ํ๊ท๋ถ์์ด ํ๋ ์ผ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค:
- X์ Y ์ฌ์ด์ ์ ํ๊ด๊ณ๊ฐ ์๋์ง๋ฅผ ํ์ธํ๊ณ
- ๊ทธ ๊ด๊ณ๊ฐ ํต๊ณ์ ์ผ๋ก ์ฐ์ฐ์ด ์๋ ํ๋ฅ ์ด ๋์์ง (p-value) ํ๋จํฉ๋๋ค.
ํ์ง๋ง ํ๊ท๋ชจ๋ธ์ ๋ค์ ์ธ ๊ฐ์ง๋ฅผ ๋ณด์ฅํ์ง ์์ต๋๋ค:
- ๋ชจ๋ ์ค์ํ ๋ณ์๊ฐ ํฌํจ๋์ด ์๋ค
→ ์ค์ ์ธ๊ณผ ๋ณ์๋ค์ด ๋น ์ ธ์๋ค๋ฉด, ํ๊ท์์ ์๋ชป๋ ์ธ๊ณผ ํด์์ ์ค ์ ์์ต๋๋ค. (์: ์๋ต ๋ณ์ ํธํฅ) - ๋ณ์ ๊ฐ์ ๋ฐฉํฅ์ฑ
→ A๊ฐ B๋ฅผ ์ผ์ผํค๋ ๊ฑด์ง, B๊ฐ A๋ฅผ ์ผ์ผํค๋ ๊ฑด์ง๋ ํ๊ท๋ง์ผ๋ก๋ ๋ชจ๋ฆ ๋๋ค. (์: ์ญ์ธ๊ณผ ๋ฌธ์ ) - ๊ณต๋ณ(confounder) ํต์
→ ์จ์ ๋ณ์๋ค์ด X์ Y ๋ ๋ค์ ์ํฅ์ ์ค ์ ์์ต๋๋ค. ์ด ๊ฒฝ์ฐ, X์ Y๊ฐ ์ฐ๊ด๋ผ ๋ณด์ฌ๋ ์ฌ์ค์ ๋ ๋ค Z ๋๋ฌธ์ผ ์ ์์ด์.
โ ๊ทธ๋ ๋ค๋ฉด ํ๊ท๋ถ์์ ์ธ์ ๋ฏฟ์ ์ ์๋?
- ์ข์ ์ด๋ก ์ ๋ฐฐ๊ฒฝ์ด ์๋ ๊ฒฝ์ฐ
- ์: ๊ด๊ณ ๋น ์ฆ๊ฐ → ์ ์ ์ฆ๊ฐ → ๊ฐ์ ์ฆ๊ฐ
- ์ค๋ฌด์์์ ์ธ๊ณผ ๊ฐ์ค์ ํต๊ณ์ ๊ด๊ณ๋ก ๋ณด๊ฐํ๋ ์ฉ๋๋ก ์ฌ์ฉ
- ์ถฉ๋ถํ ๋ณ์ ํต์ ๊ฐ ์๋ ๊ฒฝ์ฐ
- confounder๋ฅผ ์ ํต์ ํ๊ฑฐ๋, ๋๋คํ๋ ์คํ ๋ฐ์ดํฐ๋ฅผ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ
- ์: A/B ํ ์คํธ ๊ฒฐ๊ณผ ๋ถ์
- ์๊ฐ์ ์ ํ ๊ด๊ณ๊ฐ ๋ช
ํํ ๊ฒฝ์ฐ
- ์: "์ง๋๋ฌ ๊ด๊ณ ๋น"๊ฐ "์ด๋ฒ๋ฌ ๊ฐ์ ์"์ ์ํฅ์ ์ค๋ค๋ฉด, ๋ฐฉํฅ์ฑ์ ๊ทผ๊ฑฐ๊ฐ ์๊น๋๋ค.
๐ ๋ฐ๋ผ์, ํ๊ท๋ถ์ ๊ฒฐ๊ณผ๋ฅผ ์ธ๊ณผ๋ก ํด์ํ๋ ค๋ฉด ๋ฐ๋์ ๋ค์์ด ๋ฐ๋ผ์ผ ํด์:
- ์ด๋ก ์ ๊ฐ์ ์ด ์์ด์ผ ํ๊ณ ,
- ์ค์ํ ๋ณ์ ๋๋ฝ์ด ์์ด์ผ ํ๋ฉฐ,
- ์ ํ๊ด๊ณ์ ๋งฅ๋ฝ์ ๊ณ ๋ คํด์ผ ํด์.
๐ก ํ๋ฆ์ ์ค๋ช ํ๊ธฐ ์ํด ์๋ตํ์ง๋ง ...
1) ํ๊ท๋ถ์์ ๊ฐ ๋ ๋ฆฝ๋ณ์๋ค๊ฐ ๋ ๋ฆฝ์ ๊ฐ์ ํฉ๋๋ค. ์ฆ, X๋ผ๋ฆฌ ์๊ด๊ด๊ณ๊ฐ ์์ด์ผํฉ๋๋ค.
๋ง์ฝ ์๊ด๊ณ์๊ฐ ๋์ ๋ Xโ, Xโ๊ฐ ๋ค์ด๊ฐ๋ค๋ฉด, ๊ฐ์ ๋ณ์๋ฅผ ๋ ๋ฒ ๋ฃ๋ ํจ๊ณผ๊ฐ ๋ฐ์ํฉ๋๋ค.
์ด๋ก์ธํด ๊ณ์ฐ๊ณผ์ ์์ ๋ ๋ณ์์ ๊ณ์๊ฐ ๋ฎ์์ ธ ์๋ชป๋ ํด์์ ํ๊ฒ ๋ ์ ์์ต๋๋ค.
์ด๋ฅผ ๋ค์ค๊ณต์ ์ฑ์ด๋ผ๊ณ ํฉ๋๋ค.
๋ฐ๋ผ์ ์์ธก๋ณด๋ค ํด์์ด ์ค์ํ ๊ฒฝ์ฐ, ๋ค์ค๊ณต์ ์ฑ์ ์ ๊ฑฐํ๊ณ ํ๊ท๋ถ์์ ์งํํด์ผ ์ ํ๋ ๋์ ํด์์ ํ ์ ์์ต๋๋ค.
๋ค์ค๊ณต์ ์ฑ ์ ๊ฑฐ ๋ฐฉ๋ฒ์ ์๊ด๊ณ์๊ฐ ๋์ ๋ณ์ ์ ๊ฑฐ, ์์ธ๋ถ์(FA) ๋ฑ์ด ์์ต๋๋ค.
2) ๋ณ์ ์ ํ์ด ํ์ํฉ๋๋ค.
๋ชจ๋ธ ํด์์ ๊ณ ๋ คํ๋ค๋ฉด ๋ณต์กํ ๋ชจ๋ธ๋ณด๋ค๋ ๋จ์ํ ๋ชจ๋ธ์ด ์ข์ ๋ชจ๋ธ์ ๋๋ค.
๋ฐ๋ผ์ ์ต๋ํ ์ ์ ๋ณ์๋ฅผ ์ฌ์ฉํ๋ ๊ฒ์ด ์ข์ต๋๋ค.
์ ๊ฒฐ๊ณผ๋ก ์ ์๋ฏธํ ๋ณ์๋ง์ ์ ํํด ๋ค์ ๋ชจ๋ธ์ ์ ํฉํ์ฌ ๊ธฐ์กด ๋ชจ๋ธ๊ณผ ๋น๊ตํ๊ฐํ ์ ์์ต๋๋ค.(adjsut R², AIC, BIC ์ฌ์ฉ)
์ผ๋ฐ์ ์ผ๋ก๋ ๋ณ์์ ํ๊ธฐ๋ฒ(Lasso, forward, backward, stepwise)์ ์ฌ์ฉํ์ฌ ๊ฐ์ฅ ์ข์ ๋ชจ๋ธ์ ์ฐพ์๋ ๋๋ค.