빅데이터 (큰 데이터)

요약

등장배경

전 세계 디지털 정보량은 빠르게 증가해왔다. 이 추이가 바로 빅데이터라는 개념이 등장한 배경이다.

개념

빅데이터란 일반적인 데이터베이스가 다루는 규모를 넘어선, 매우 큰 규모의 데이터로부터 가치를 추출하고 결과를 분석하는 기술이다.

학자, 기관에 따른 정의

빅데이터를 바라보는 시각은 기관마다 조금씩 다르다.

• 가트너: 향상된 시사점과 더 나은 의사결정을 위해 사용되는 정보자산으로, 비용 효율이 높고 혁신적이며 대용량·고속·다양성의 특성을 갖는다.
• 맥킨지: 일반적인 데이터베이스 소프트웨어가 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터다.
• IDC: 다양한 종류의 대규모 데이터에서 저렴한 비용으로 가치를 추출하고, 초고속 수집·발굴·분석을 지원하도록 고안된 차세대 기술 및 아키텍처다.

데이터와 빅데이터의 차이점

구분	데이터	빅데이터
데이터 양	테라바이트	테라바이트~제타바이트
유형	정형 데이터	정형 데이터 및 비정형 데이터
처리과정	단순한 원인-결과 관계를 규명하는 데 중점	복잡하고 분산처리 기술이 필요하며, 상관관계를 규명하는 데 중점

빅데이터 이해

빅데이터는 기존 데이터와 규모, 다양성, 처리 속도 면에서 차이가 있다. 기업이 축적한 데이터양이 늘고 학계의 관심이 커지면서 발전했고, 디지털 기술과 저장장치 가격 하락, 클라우드 컴퓨팅 기술의 발전이 맞물리면서 경제성까지 확보했다. 차세대 혁신의 에너지원이자, 필요한 부분을 확대해서 볼 수 있는 렌즈 역할, 그리고 개발자들에게 다양한 사업 기회를 주는 플랫폼 역할까지 기대할 수 있다.

빅데이터의 정의

빅데이터는 보는 관점에 따라 세 가지로 정의할 수 있다. 데이터 규모에 중점을 두면, 일반적인 데이터베이스 소프트웨어로 저장·관리·분석할 수 있는 범위를 초과하는 규모의 데이터다. 데이터 처리 기술에 중점을 두면, 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고 초고속 수집·발굴·분석을 지원하도록 고안된 차세대 기술 및 아키텍처다. 사회·정치·경제·문화적 변화까지 포괄하는 의미로 보면, 대용량 데이터를 활용해 작은 용량에서는 얻을 수 없었던 새로운 통찰이나 가치를 추출하고, 나아가 시장과 기업, 시민과 정부의 관계 등 여러 분야에 변화를 가져오는 일이다.

빅데이터에 의한 근본적인 변화

빅데이터는 우선순위 자체를 바꿔놓았다. 전수조사가 표본조사보다, 데이터의 양이 데이터의 질보다, 상관관계가 이론적 인과관계보다 중요해졌다.

빅데이터의 가치와 영향

빅데이터는 반복적으로 재사용되고 다양하게 조합되어 쓰이기 때문에, 애초에 수집 원가를 산정하기가 어렵다. 그럼에도 그 가치는 여러 주체에 걸쳐 나타난다. 기업에는 경쟁력 강화와 생산성 향상이라는 혁신을, 정부에는 미래 대응 수단과 환경 탐색·상황 분석 역량을, 소비자와 국민에게는 생활 전반의 스마트화를 가져다준다.

빅데이터의 영향

생활 전반이 스마트화되면서, 저렴한 비용으로도 맞춤형 서비스를 제공할 수 있게 되었다. 기업은 혁신과 경쟁력 제고, 생산성 향상을 얻고, 정부는 환경 탐색과 상황 분석, 미래 대응 역량을 얻으며, 개인은 저마다의 목적에 맞게 데이터를 활용한다.

빅데이터의 변화 및 효과

빅데이터는 세 축에서 변화를 일으킨다. 데이터 자체는 규모, 형태, 속도 면에서 달라졌고, 기술은 새로운 처리·저장·분석 기법과 아키텍처, 클라우드 컴퓨팅 활용으로 진화했으며, 인재와 조직 측면에서는 데이터사이언티스트 같은 새로운 역할과 데이터 중심 조직이 요구된다. 이 세 변화가 맞물려 기존 방식으로는 얻을 수 없었던 통찰과 가치를 만들어내고, 사업 방식과 시장, 사회, 정부 전반에서 변화와 혁신을 이끈다.

출현배경

데이터를 처리하는 기술이 발전하면서 패러다임 자체가 전환되었다. 산업계에서는 고객 데이터가 축적되며 경영·경쟁 전략에 사용자·소비자 행태 정보 분석을 활용하는 양질전환이 일어났고, 학계에서는 게놈 프로젝트 등 거대 데이터를 활용하는 사례가 늘었으며, 기술계에서는 디지털화, 저장 기술, 인터넷 보급, 모바일 혁명, 클라우드 컴퓨팅 등 관련 기술이 발전했다.

빅데이터의 기능

빅데이터는 차세대 산업 혁신에 필요한 요소로 자주 비유된다. 산업혁명 시기의 석탄이나 철처럼 제조업과 서비스업의 생산성을 획기적으로 개선해 사회·경제·문화·생활 전반의 변화를 가져올 것으로 기대되고, 21세기의 원유처럼 새로운 산업을 창출할 에너지원 역할을 하며, 동식물의 메커니즘을 해석하는 렌즈(예: 구글의 Ngram Viewer)이자, 다양한 사업자가 API 형태로 활용하는 공용 플랫폼 역할도 한다.

빅데이터의 특성

• 데이터의 규모: 데이터 크기가 일정 수준 이상이어야 의미 있는 정보를 얻을 수 있다.
• 데이터의 변화 속도: 빅데이터는 잘 가공된 데이터가 아니라, 가공되지 않고 계속 변하는 원시 데이터에서 가치를 찾는다.
• 데이터의 다양성: 빅데이터가 다루는 정보의 가치는 사실에 가깝고, 사람들이 체감하고 공감하는 내용에 가깝다.

빅데이터 처리 프로세스와 분석기술

빅데이터는 텍스트 마이닝, 가시화, 시멘틱스, 통계, 기계학습, 자연어 처리, 정보검색, 클라우드, 크롤링이라는 아홉 가지 기술이 맞물려 처리된다.

비즈니스 모델 (7가지 분석기술)

• 연관규칙학습: 커피를 구매하는 사람이 탄산음료도 더 많이 사는가처럼, 항목 간의 연관성을 찾는다.
• 유형분석: 사용자가 특정 집단에 속하는지 판단한다. 기존 자료를 기반으로 한 학습용 분류틀이 필요하다.
• 유전알고리즘: 응급실 의사 배치 문제처럼, 자연선택 방식을 빌려 최적화가 필요한 문제를 푼다.
• 기계학습(머신러닝): 훈련 데이터로부터 학습해 알려진 특성을 활용, 예측 업무에 적용한다.
• 회귀분석: 구매자의 나이에 따른 차량 선택, 만족도에 따른 충성도처럼, 독립 변수를 조작해 종속 변수 변화와의 상관관계를 분석한다.
• 감성분석: 글쓴이의 감정을 분석한다. 소셜 미디어에 나타난 의견을 바탕으로 고객 요구를 판단한다.
• 소셜 네트워크: 특정인과 다른 사람 사이의 촌수를 계산하거나, 오피니언 리더의 영향력을 분석한다.

위기요인

• 사생활 침해: 일상생활을 감시할 수 있는 시스템이 만들어질 수 있다.
• 책임 원칙 훼손: 예측의 정확도가 높아질수록, 분석 대상이 되는 사람이 그 예측 알고리즘에 영향을 받을 수 있다.
• 데이터 오용: 빅데이터 활용자가 데이터를 맹신하면서 문제가 생길 소지가 크다.

통제방안

• 동의에서 책임으로: 개인정보 제공자의 동의보다, 개인정보 사용자의 책임으로 문제를 해결한다.
• 결과기반 책임원칙 고수: 성향에 따라 처벌하는 것이 아니라, 행동 결과를 보고 처벌한다.
• 알고리즘 접근 허용: 알고리즘 접근 외에 객관적인 인증 방안을 함께 도입하고, 알고리즘의 부당성을 반증할 수 있는 방법도 마련해야 한다.

본질적인 변화

빅데이터는 네 가지 측면에서 본질적인 변화를 가져왔다.

1. 사전 처리보다 사후 처리: 가치 있어 보이는 특정 정보만 골라 모으는 대신, 가능한 한 많은 데이터를 모아 정보를 얻는다.
2. 표본조사보다 전수조사: 처리 비용이 낮아지면서 전수조사가 현실적인 선택지가 되었다.
3. 질보다 양: 데이터가 많아질수록 오류 정보보다 양질의 정보가 늘어나 더 좋은 결과를 얻을 수 있다.
4. 인과관계보다 상관관계: 샘플링에 기반한 인과관계로 원리를 설명하기보다는, 전수조사에 기반한 상관관계 분석으로 신속한 의사결정을 내려 수익을 창출하는 방향으로 발전했다. 데이터 기반 상관관계로 특정 현상의 발생 가능성을 발견하고, 그에 맞는 행동을 추천하는 방식이다.

미래의 빅데이터

데이터는 모든 것이 데이터화되는 방향으로, 기술은 진화하는 알고리즘과 인공지능으로, 인력은 데이터사이언티스트라는 새로운 역할로 계속 나아갈 것이다.

구간추정

점추정은 모수가 특정한 값이라고 가정하는데, 이를 보완하는 것이 구간추정이다. 모수(평균, 편차, 최빈치, 중앙치 등)가 현실적으로 특정 값인지 판단하기는 어렵다. 구간추정은 모수의 참값이 존재할 것으로 추정되는 구간을 표본으로부터 구하는 방법이다. 일정한 신뢰수준으로 특정 구간에 모수가 존재한다고 볼 때, 그 구간을 신뢰구간이라 부른다.

절차는 이렇다. 한 모집단에서 같은 방법으로 동일한 개수의 확률표본을 여러 번 추출하고, 각 확률분포마다 신뢰구간을 구한다. 이렇게 구한 여러 신뢰구간 중 95%의 신뢰구간이 미지의 모수를 포함한다는 의미가 95% 신뢰구간이다. 다만 신뢰구간 하나는 특정 숫자로 표현되고 모수도 미지의 값이므로, 이를 확률로 해석하기는 애매하다. 그래서 구간추정도 100% 신뢰할 수 있는 것은 아니다. 일반적으로 점추정보다는 신뢰도가 높지만, 신뢰성을 높이겠다고 구간을 무작정 넓게 잡는 것도 바람직하지 않다.

가설검정

통계적 가설검정

통계적 가설검정은 표본 정보를 사용해 가설의 합당성 여부를 판정하는 과정이다. 모집단의 실제 값이 얼마라는 가설의 타당성을 통계적 추측으로 판단한다. 통계적 가설이란 하나의 주장을 모수(수치값)로 나타낸 형태를 말하며, 귀무가설과 대립가설이라는 두 종류로 나뉜다. 절차는 유의수준 결정(귀무가설, 대립가설) → 검정통계량 설정 → 기각역(유의범위, 유의값) 설정 → 검정통계량 계산 → 통계적 의사결정 순으로 진행된다.

추론통계는 현실적인 제약 때문에 모집단 전체가 아니라 표본을 추출해 활용하고, 이를 통해 모집단의 특성(모수)을 추론한 뒤 그 결과가 신뢰할 만한지 판정하는 작업이다.

빅데이터 관점에서의 모집단과 표본

빅데이터에서는 현재 가지고 있는 데이터를 표본으로 놓고, 아직 수집하지 못한 현실 세계의 모든 데이터나 미래에 수집될 데이터를 모집단으로 본다.

관심영역

가설검정에서 특히 눈여겨봐야 할 지점은 세 가지다. 표본추출 된 표본이 모집단을 대표할 수 있는지(추정에 표본을 쓰는 만큼, 표본이 모집단 특성을 잘 반영해야 한다), 표본의 확률분포가 무엇인지(확률분포에 따라 적용 방법이 다르며, 표본 수가 많아질수록 정규분포에 가까워진다), 그리고 추정된 결과값이 신뢰할 만하고 실제로 활용할 수 있는지다.

귀무가설

귀무가설은 일반적으로 맞다고 가정하는 가설이다. '영으로 돌아간다’는 의미로, 통계학에서는 애초에 버릴 것으로 예상하는 가설을 뜻한다. 차이가 없거나 의미 있는 차이가 없다고 보는 가설이며, 이것이 맞는지 아닌지를 통계적 증거로 증명하려 한다. 두 주장 중 하나를 참이라 놓고 그 참·거짓을 검증하되, 실제로 참임을 검증하고 싶은 주장과 반대되는 주장을 귀무가설로 세운다. 반대 주장(귀무가설)이 참으로 판정되면 원래 검증하고 싶었던 주장은 버리고, 귀무가설이 거짓으로 판정되면 검증하고 싶었던 주장이 맞는 것으로 받아들인다. 분석을 시작하는 시점에 귀무가설과 대립가설은 이미 정해져 있다.

표본분포

표본분포는 표본통계량이 분포된 형태로, 모집단에서 반복적으로 표본을 추출할 때 그 통계량이 이루는 분포를 말한다. 표본통계량이란 모집단에서 일정한 크기의 표본을 무작위로 추출했을 때 나타나는 통계량이다. 시간과 비용이라는 현실적인 문제 때문에 전수조사보다는 표본조사를 선호한다. 확률 계산에는 정규분포를, 가설검정에는 카이제곱 분포·t분포·f분포를 사용한다.

정규분포

정규분포는 1733년 아브라암 드무아브르가 이항분포의 n값이 클 때 그 근사치를 계산하면서 처음 소개했다. 이후 1809년 카를 프리드리히 가우스가 실험 오차가 정규분포를 따를 때 최소제곱법 이론의 타당성을 입증했고, 1810년 라플라스가 실험 오차를 분석할 때 정규분포를 활용해 이를 정당화했다.

개념

정규분포(가우스 분포)는 연속확률분포의 하나로, 수집된 자료를 근사화하는 데 활용한다. 독립적인 확률변수들의 평균은 정규분포에 가까워지는 성질이 있으며, 분포곡선의 모양은 평균과 표준편차로 결정된다. 평균이 0이고 표준편차가 1인 정규분포 N(0,1)을 표준정규분포라 부른다.

성질

정규분포에서는 기대값, 최빈값, 중앙값이 모두 평균(μ)과 같고, 분산은 표준편차의 제곱(σ²)이다. 평균과 표준편차가 주어졌을 때 엔트로피가 최대인 분포이며, 정규분포는 이론적으로만 완전히 성립한다. 좌우 대칭이고 꼭짓점이 하나이며, 사건들이 중앙치 근처에 몰려 있고 x축 양 끝으로 갈수록 x축에 무한히 가까워지지만 결코 닿지는 않는다.

카이제곱 분포

카이제곱 분포는 K개의 서로 다른 표준정규분포 확률변수를 제곱해 더한 값으로 얻어지는 이론적인 분포다. K는 자유도이며 카이제곱 분포의 매개변수가 된다. 신뢰구간이나 가설검정, 적합도 검정, 동질성 검정, 독립성 검정에 활용한다. 모집단을 분석할 때 질적 변화를 양적 변화로 바꾸는 데 유리하다(예: A가 B보다 크다, B는 A의 50%, A는 B의 2배). 여기서 비율과 무게중심은 평균값과 같은 개념이며, 표본분포에서 중심 위치는 곧 평균값이다. 분산은 데이터가 평균에서 얼마나 흩어져 있는지를 제곱값으로 나타낸 것이다.

성질

카이제곱 분포는 제곱값이라 항상 양의 값만 존재하고, 한쪽으로 치우친 비대칭 분포를 이룬다. 0에 가까울수록 값이 많고, 0에서 멀어질수록 값이 적어진다.

t분포

t분포는 표본 수가 적을 때 신뢰도를 정의하는 데 쓰는 연속확률분포로, 자유도가 커질수록 정규분포에 가까워진다. 표본 수가 적어 신뢰도에 문제가 생길 수 있는 상황에서, 분산을 추정하고 검정하는 데 사용한다.

f분포

f분포도 분산을 추정하고 검정할 때 쓰지만, 카이제곱 분포가 모집단이 하나일 때 쓰이는 것과 달리 모집단이 두 집단일 때 사용한다. 두 모집단의 분산이 치우친 정도가 같은지 비교하고 판단할 때 쓰인다.

확률

통계학은 모든 과학적 분석 방법의 기본이며, 빅데이터 분석의 목표도 결국 의사결정 지원 지표 도출, 최적화 수행, 비즈니스 인텔리전스나 데이터마이닝 같은 알고리즘의 자동화 수행으로 이어진다. 확률은 어떤 사건이 일어날 것인지, 혹은 일어났는지를 나타내는 방법이며, 같은 원인에서 특정 결과가 나타나는 비율이다. 수학, 통계학, 회계, 도박, 과학과 철학 전반에서 잠재적 사건이 일어날 가능성과 복잡한 시스템의 구조를 해석하는 데 쓰인다.

• 발생빈도주의: 고전 확률이론에서, 가능한 경우의 수 중 원하는 경우의 수가 차지하는 비로 확률을 본다.
• 고전적 확률(수학적 확률): 어떤 시행에서 나타날 수 있는 결과가 모두 동일한 가능성을 갖는다고 가정하고, 각 결과의 확률을 1/X로 본다.
• 통계적 확률: 동일한 조건에서 같은 실험을 N번 반복해 사건 A의 발생 빈도를 조사한다. N이 커질수록 A의 빈도는 실제 확률 P(A)에 가까워진다.

확률공간

확률공간은 전체 측정값의 합이 1인 공간에서, 확률 현상의 발생 빈도값을 확률로 나타낸 것이다. 표본공간은 확률공간을 이루는 점들의 집합, 즉 출현 가능한 모든 결과의 모임을 말한다. 사건(Event)은 확률공간의 측정 집합(S∊F)으로, 측정 가능한 점들의 모임이다. 어떤 사건이 일어나지 않는 사건을 여사건, 두 집합의 교집합에 해당하는 사건을 곱사건이라 한다. 공집합은 일어날 수 없는 사건을, 전체집합은 반드시 일어나는 사건을 나타내며, 두 사건이 서로의 발생에 영향을 주지 않으면 독립사건이라 부른다.

표본공간

표본공간은 실험 결과값 하나하나를 모은 것으로, 보통 기호 S로 표시한다. 어떤 시행에서 일어날 수 있는 모든 결과의 모임을 전사상이라 하며, 통계학에서는 이를 표본공간이라 부른다. 표본공간을 S, 조사 대상 집단의 총합인 모집단을 Ω로 표현하며, 표본공간에서의 임의 부분을 사건, 단 하나의 요소만 갖는 부분집합을 근원사건이라 한다.

확률실험

어떤 실험이 확률실험이 되려면 세 조건을 만족해야 한다. 실험 결과를 미리 알 수 없어야 하고, 알 수는 없지만 나타날 수 있는 가능한 경우들은 알고 있어야 하며, 동일한 실험을 몇 번이고 반복할 수 있어야 한다.

확률분포

통계량

자료 전체의 형태를 파악할 때는 그래프(시각화)를, 자료 속에 숨은 특성을 파악할 때는 숫자를 활용한다. 자료가 많아지면 전체 모습을 한눈에 파악하기 어려워지므로 시각화 단계가 특히 중요해진다. 크기 순으로 나열했을 때 가장 큰 값과 작은 값을 각각 최대값, 최소값이라 부른다. 자료의 중심을 나타내는 값으로는 평균과 중앙값이 있는데, 평균은 무게(값의 크기)를 고려한 중심이고 중앙값은 순서상의 중심이다.

확률변수

확률변수는 확률적인 과정에 따라 값이 결정되는 변수로, 확률공간에서 사건이 발생하는 공간으로 정의된 함수이자, 그 변수가 특정 값을 가질 확률을 나타내는 함수이기도 하다. 확률변수가 가지는 값의 종류에 따라 이산확률분포와 연속확률분포로 나뉜다.

이산확률변수는 가질 수 있는 값의 개수가 여러 개(셀 수 있게) 있는 변수로, 확률질량함수로 표현할 수 있고 누적분포함수로 나타내면 계단식으로 불연속하게 증가한다. 반대로 확률밀도함수로 분포를 표현할 수 있는 변수는 연속확률변수라 부른다. 가우스 분포는 연속확률분포의 하나로, 평균과 표준편차로 모양이 결정되며 수집된 자료의 분포를 근사화하는 데 쓰인다. 확률변수들의 평균은 정규분포에 가까워지는 성질이 있다.

중심극한정리

중심극한정리는 동일한 확률분포를 가진 독립 확률변수 n개의 평균이 이루는 분포가, n이 충분히 크다면 정규분포에 가까워진다는 정리다. 수학자 피에르시몽 라플라스가 1774년부터 1786년 사이 일련의 논문에서 이 정리를 발견하고 증명하려 시도했다. 표본을 무작위로 많이 추출할수록 그 분포가 정규분포에 수렴한다는 의미이며, 대부분의 통계 기법이 이 정규분포 함수를 전제로 한다. 어떤 모집단이 정규분포를 따른다는 가설이 성립하면 다양한 분석법을 적용할 수 있다. 평균이 μ이고 분산이 σ²인 모집단에서 추출한 크기 n의 확률표본이 만드는 표본평균이 바로 이 정리가 다루는 대상이다.

통계학과 인과관계

인과관계(인과, 인과율, 인과성)는 원인과 결과의 관계를 말한다. 하나의 사건이 다른 사건을 일으킬 때, 이 둘의 관계를 인과관계라 부른다.

상관관계

상관관계는 이것과 저것 사이에 관계가 있는지 없는지를 나타낸다. 어떤 변수가 증가할 때 다른 변수가 함께 증가하거나 감소하는 관계로, 체중과 신장의 관계, 나이가 젊을수록 보험료가 비싸지는 경향, 인중이 길면 장수한다는 속설 등이 그 예다.

인과관계 성립 조건

인과관계가 성립하려면 몇 가지 조건이 필요하다. 원인이 결과보다 시간적으로 앞서야 하고, 원인과 결과는 서로 관련이 있어야 하며, 결과는 오직 그 원인이 되는 변수만으로 설명할 수 있어야 하고 다른 변수에 의한 설명 가능성은 배제되어야 한다. 다만 현실에서는 두 변수 사이에 실질적인 관계가 없어도 아주 약한 상관관계 정도는 발견되는 경우가 많다.

인과관계 분석 유의점

인과관계를 분석할 때는 통계 지표(모수)를 명확히 이해하고, 데이터를 점이 아니라 구간으로 바라보며, 애초에 어떤 값을 분석하기 위해 자료를 정리해야 하는지를 먼저 고민해야 한다.

활용

성과지표(아웃컴, 결과변수, 목적변수, 종속변수, 외적기준)는 최종적으로 조절하고 싶은 결과를 뜻하고, 설명변수(원인변수)는 그 성과지표에 영향을 미치거나 차이를 설명할 수 있는 요인을 뜻한다. 분석 과정에서 경계할 점은, 인과관계가 너무 당연해서 새로운 통찰을 주지 못하는 수준에 머물러서는 안 된다는 것이다.

점추정

점추정은 분포를 알지 못하는 상황에서 가장 근사한 값을 구하는 방법으로, 모수의 값을 하나의 값으로 추측한다. 표본으로 계산된 값이기 때문에 어떤 표본을 추출하느냐에 따라 오류가 생길 수 있다. 통계적 방법론이 궁극적으로 구하고자 하는 것은 모집단의 확률분포이며, 모수(Parameter)는 이 확률분포를 나타내는 특정 값이다. 모집단에서 추출한 표본을 이용해 모수에 대한 통계적 추론을 진행하는데, 이 추론은 결국 가장 참에 가깝다고 여겨지는 모수 값 하나를 택하는 작업이다.

점추정은 입력 자료가 불완전하거나 불확실한 상황에서도 계산된 결과의 근사치를 낼 수 있다는 실용적 장점이 있다. 추정량은 표본값으로부터 모수값을 추정하는 방법이고, 추정이론은 측정·관찰된 자료로부터 모수값을 구하는 이론이다. 신호처리에서는 잡음이 섞인 측정 신호에서 원신호에 가까운 근사값을 찾는 데 같은 원리가 쓰인다.

예측, 예견

충분히 관측되지 않은 대상에 대해 값을 추정하는 것을 예측 또는 예견이라 한다.

추측통계학

추측통계학은 표본에서 관찰한 특성을 바탕으로 모집단의 특성을 유추하는 통계학이다. 실제 상황에서는 모집단의 특성을 모르는 경우가 대부분이므로, 표본에서 구한 통계량으로 모수를 추정할 수밖에 없다. 이 추정과 가설검정이 바로 모수에 대한 추측 이론을 이룬다.

추정

추정은 모집단에서 추출한 표본의 특성을 파악해 모수를 유추하는 작업이며, 점추정과 구간추정으로 나뉜다.

가설검정

가설검정은 모수에 대한 가설을 세우고, 이를 근거로 어떤 가설을 채택할지 통계적으로 결정하는 과정이다.

추정량

추정량은 모수를 알아내기 위해 표본에서 관찰한 값으로 계산하는 통계량이다. 모집단의 평균과 분산을 추정하는 대표적인 추정량은 표본평균과 표본분산이다. 하나의 모수에 대해 여러 추정량을 만들 수 있지만, 그중에서도 모수를 가장 잘 추정하는 좋은 추정량을 골라 쓰는 것이 중요하다. 평균, 분산, 비율 등이 대표적으로 좋은 추정량으로 꼽힌다. __불편성__은 추정량이 한쪽으로 치우치지 않는다는 기본 성질로, 추정량의 기대값이 모수와 같다는 뜻이다.

유효성

모수에 대한 불편 추정량은 여러 개 존재할 수 있는데, 그중 어떤 것이 가장 좋은지 결정하는 성질이 유효성이다. 모집단의 추정량으로는 산출 평균, 중앙치, 최빈치 등 여러 선택지가 있는데, 이 중 어떤 것을 추정치로 삼을지가 관건이다. 통계량의 확률분포를 이용해, 표준오차가 가장 적은 통계량이 모평균에 가장 가깝다는 원리로 판단한다.

일치성

일치성은 표본의 크기와 관련된 추정량의 성질이다. 일치추정량은 표본의 크기가 커질수록 추정량의 추정치가 모수와 확률적으로 같아지는 성질을 갖는다.