확률이 낮을수록 어떤 정보일지는 불확실하게 될 때 엔트로피가 높다고 표현하나요?
정보 엔트로피
요약: 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
정보 엔트로피
간혹, 위 정의에서 자연로그 대신 이진로그 log 2 {\displaystyle \log _{2}} 를 사용하는 경우가 있다. 이 경우 정보 엔트로피의 단위는 비트이고, 자연로그의 경우에는 단위 내트(nat)를 사용한다.
정보 이득
머신 러닝에서 이 개념은 X의 상태를 가장 빠르게 좁히기 위해 조사할 속성의 기본 시퀀스를 정의하는 데 사용할 수 있다. 이러한 시퀀스 (각 단계에서 이전 속성 조사의 결과에 따라 다름)를 의사 결정 트리 라고한다. 일반적으로 상호 정보가 높은 속성은 다른 속성보다 선호되어야 한다.
일반적으로, 기대되는 정보 이득은 이전 상태에서 주어진 정보를 갖는 상태로 바뀔 때 정보 엔트로피 H의 변화이다:
엔탈피
엔탈피()는 열역학적 계에서 뽑을 수 있는 에너지다. 내부 에너지와, 계가 부피를 차지함으로부터 얻을 수 있는 에너지(부피와 압력의 곱)의 합이다. 대기압이나 수압과 같이 압력에 둘러싸인 계를 다룰 때 쓴다. 기호는 대개 라틴 대문자 "H"이다.
휴리스틱 이론
트버스키와 카너먼(Tversky & Kahneman, 1973)은 가용성 휴리스틱과 관련된 다음과 같은 실험을 했다. 피 실험자들에게 1분 동안 네 페이지 분량의 소설을 보여주고 아래의 질문을 했다.
실험 결과 피 실험자들은 1번 질문에 평균적으로 13.4개라고 답하였고, 2번 질문에는 4.7개라고 답하였다.
응답자들의 예측 결과는 논리적으로 맞지 않는다. ing로 끝나는 단어는 떠올리기가 쉽고, 여섯 번째가 n인 단어는 상대적으로 잘 생각나지 않기 때문에 전자가 더 많다고 생각하기 쉽다. 그러나 철자가 7개인 단어 중 ing로 끝나는 단어는 여섯 번째 문자가 반드시 n이다. 그러므로 합리적으로 판단한다면 ①번 질문의 답은 ②번 질문의 답 안에 포함되기 때문에, ①번 질문의 답은 ②번 질문의 답과 같거나 더 적을 수밖에 없다. 이것은 사람들이 기억에 잘 떠오르는, 즉 가용성이 높은 정보를 가지고 판단했기 때문에 판단의 오류가 일어난 것이다.
인과관계
필연적인 인과관계가 아직 인식되지 못한 경우나 여러 조건이 얽혀 있을 경우, 어떤 일이 일어날 것인가 일어나지 않는가는 우연적이라 하겠다. 개연성이란 이때의 있을 듯함을 말한다. 즉 가능성과 우연성이 서로 얽힌 것이 개연성이다. 그리고 그것을 수량적(數量的)으로 표현한 것이 확률(確率)이다.
논리학에서 개연성의 상대어로 필연성이라는 말이 쓰인다. 흔히 귀납추리적 결론의 성격은 개연적이라고 하고 연역추리적 결론의 성격은 필연적이라고 한다.
한편 문학의 영역 안에서 개연성의 상대어는 필연성이 아니라(필연성은 오히려 개연성과 비슷한 뜻으로 사용됨) 전기성(傳奇性, 기이를 서술하다)이다. 흔히 고대소설의 결점으로 불리는 것이 전기성으로 현실에서 도저히 일어날 수 없는 사실을 기술할 때 사용된다.
주위
이때 우변의 U+PV를 엔탈피(enthalpy) H라고 정의한다. 이때 엔탈피는 어떤 물질이 가지고 있는 고유한 총 에너지 함량이라고도 생각할 수 있다. 그렇기 때문에 화학 반응이 일어나면 엔탈피도 변하게 된다. 계의 엔탈피가 감소하는 반응을 발열반응, 그리고 계의 엔탈피가 증가하는 반응을 흡열반응이라 한다.
정보 엔트로피
무손실 압축은 압축된 메시지를 복원함으로써 원래 메시지를 온전히 복원할 수 있음을 의미한다. 무손실 압축된 메시지는 원본 메시지와 정보량은 같지만 더 적은 문자를 가진다. 많은 정보량은 높은 엔트로피를 가지고 있다는 말과 같다. 중복성이 거의 없다는 뜻이다. 개략적으로 말해서, 섀년의 소스 코딩 정리는 무손실 압축이 문자 1비트가 1비트 이상의 정보를 포함하도록 할 수는 없지만, 어떤 코딩 방법에 의해 문자 1비트당 1비트 이하만큼의 정보를 포함하도록 할 수 있다고 말한다. 비트당 메시지의 엔트로피와 메시지 길이의 곱은 전체 메시지가 얼마나 많은 정보를 담고 있는지를 알려준다.
엔트로피 (동음이의)
엔트로피의 다른 뜻은 다음과 같다.
기브스 역설
마지막으로 2"N" 개의 입자가 좌우방에 각각 "N" 개씩 놓여있는 경우를 생각해보자. 그러면 엔트로피 변화는 위와 같이 계산될 수 있으므로 엔트로피의 변화가 2"Nk" ln 2 만큼 있다. 하지만 이 경우는 칸막이를 다시 하여 원래대로 상태를 되돌릴 수 있으므로 엔트로피의 변화는 0 이어야 한다. 여기서 역설이 발생하며 미국 물리학자 Josiah Gibbs에 의해 처음 논의된 것으로 Gibbs paradox라고 한다. 이 역설은 단지 동일한 입자의 교환만 변화한 시스템의 모든 상태는 같은 상태로 생각된다는 구분불가능에 대한 이해로 극복될 수 있다. 이에 따르면 입자 "N" 개를 교환하는 방법은 "N" ! 개로 처음의 계산은 "N" ! 개의 상태가 중복되어 세어진 것이다. 따라서 이를 반영하면 엔트로피 "S" 는 다음과 같이 수정할 수 있다.
정보 엔트로피
그러므로 획득을 증가시켜 불확실성을 감소시키는것은 변수가 줄어드는것으로 볼수있는데 이것은 결과적으로 엔트로피의 크기를 감소시는 정보 이득과 관계있다.[2]
불투명도
불투명도가 최저이면 모든 빛이 통과가 가능하여 투명(transparent)한 것이고, 일부의 빛만 통과가 가능하면 반투명(translucent)한 것이다. 불투명도가 최대에 달해 아무것도 통과할 수 없을 때 불투명(opaque)하다고 한다. 불투명한 물질은 모든 복사를 전달하지 않고 반사 또는 분산 또는 흡수해 버린다. 거울과 카본 블랙은 모두 불투명한 물체이다. 같은 물체라도 빛의 진동수에 따라 불투명도는 달라진다. 예컨대 건물의 벽은 바깥을 볼 수 없게 빛을 차단하지만, 건물 안에서도 라디오 방송을 들을 수 있다. 이를 과학적으로 서술하면 건물 벽은 가시광선에 대해서는 불투명하고, 전파에 대해서는 투명하다.
정보 엔트로피
그러나 여러 학문분야에 걸쳐 종합적인 분석을 해보면, 열역학적 엔트로피와 정보 엔트로피 사이에서는 연결고리가 만들어질 수 있다. 사실 1957년 제인스()의 의견에 의하면, 열역학은 섀넌의 정보 이론의 ‘응용’으로 간주될 수 있다.[4] 열역학에서의 엔트로피는 시스템의 더욱 자세한 미시적인 상태를 정의하기 위해 더 필요한 섀넌 정보 양의 추정으로 해석될 수 있다. 이는 고전열역학의 미시변수란 개념으로는 설명될 수 없는 것이었다. 예를 들면 시스템에 열을 가하는 것은 열역학적 엔트로피를 증가하는 것이다. 왜냐하면 이것은 미세 상태의 가능한 가짓수를 증가시키기 때문이다. 제임스 클러크 맥스웰은 이론적으로 시스템의 열역학적 엔트로피를 개별적인 분자 상태에 대한 정보를 사용함으로써 감소시킬 수 있다고 주장하였다. 이는 맥스웰의 도깨비란 이름으로 널리 알려져 있다. 그러나 란다우어(Landauer)와 그의 동료들은 총 엔트로피는 줄지 않는다는 것을 보이며 이 역설을 해결하였다.
열역학
엔트로피는 절대영도에 가까워질수록 변화량이 0에 수렴하며, 절대영도에서 완전한 결정상태의 엔트로피는 0이다. 다만 자연계에서 절대영도는 존재할 수 없고 단지 0으로 수렴할 뿐이다.
베이즈 확률론
베이즈 확률론(Bayesian probability)은 확률을 '지식 또는 믿음의 정도를 나타내는 양'으로 해석하는 확률론이다. 확률을 발생 빈도(frequency)나 어떤 시스템의 물리적 속성으로 여기는 것과는 다른 해석이다. 이 분야의 선구자인 18세기 통계학자 토머스 베이즈의 이름을 따서 명명되었다.
정보 이득
정보 획득이 일반적으로 속성의 관련성을 결정하는 좋은 방법이지만 완벽한 것은 아니다. 주목할 만한 문제는 많은 양의 고유한 값을 가질 수 있는 속성에 정보 이득이 적용될 때 발생한다. 예를 들어 비즈니스 고객을 설명하는 일부 데이터에 대한 의사 결정 트리를 작성한다고 가정한다면, 정보 획득은 종종 어떤 속성이 가장 관련이 있는지를 결정하는 데 사용되므로 트리의 루트 근처에서 테스트 할 수 있다. 입력 속성 중 하나는 고객의 신용 카드 번호일 수 있다. 이 속성은 각 고객을 고유하게 식별하기 때문에 상호 정보가 많지만 의사 결정 트리에 포함하지 않는다. 신용 카드 번호를 기반으로 고객을 취급하는 방법을 결정하는 것은 그렇지 않은 고객에게 일반화하기 어렵다. (과잉 적합, overfitting)
루트비히 볼츠만
이는 열적인 평형상태에 있는 계에 대하여 열역학적인 성질을 구하는 방법을 제시한 것이다. 엔트로피는 계의 주어진 거시적인 상태에 해당하는 가능한 모든 미시적인 상태의 수의 대수를 취한 양에 비례함을 나태낸 것이다. 이 관계식은 모든 미시적인 상태들의 사전확률이 같다는 가정에 근거를 두고 있으나 이 가정을 보완하기 위하여 볼츠만은 에르고드 가정을 도입하였다. 이 가정에 의하면 하나의 계가 궁극적으로 모든 가능한 미시적인 상태를 두루 거치게 된다는 것이다.
정보 엔트로피
문자 배열로 간주되는 영어 텍스트의 경우, 꽤 낮은 엔트로피를 가지고 있다. 즉, 예상하기 쉽다는 의미이다. 에를 들어 우리가 다음 문자로 무엇이 올지 정확히는 몰라도, ‘e’가 ‘z’보다는 많이 쓰이고 ‘qu’라는 조합은 ‘q’와 다른 문자의 조합보다는 훨씬 많다는 것을 알고 있다. 처음 문자 몇 개를 알려주면 나머지 문자를 추측하여 글자를 알아맞히는 일은 어렵지 않다. 영어 문장은 연구 방법에 따라 다르지만 일반적으로 메시지의 글자당 0.6에서 1.3비트의 엔트로피를 갖는다고 알려져 있다.
정보 이득
정보 이득의 기댓값은 X와 A의 상호의존정보 I(X; A)이다. 즉 무작위 변수 A의 상태를 관찰함으로써 얻어지는 X의 엔트로피 감소이다.
요동정리
요동정리(搖動定理, fluctuation theorem; FT)는 통계역학에서 출발한 것으로, 열역학적 평형(i.e. 최대 엔트로피) 상태가 아닌 계의 엔트로피가 주어진 시간이 흐름에 따라 증가할지 또는 감소할지 그 상대 확률을 다루는 정리이다. 열역학 제2법칙에서 고립계의 엔트로피는 평형에 도달할 때까지 계속 증가한다고 예측하고 있으나, 제2법칙 역시 통계적 법칙임이 통계역학의 성과로 밝혀짐에 따라 고립계의 엔트로피가 자발 감소할 확률은 언제나 0이 아니어야 한다. 요동정리는 이 확률을 정량적으로 다루는 것이다.
BQP
BQP에서 확률을 1/4로 제한하는 데 특별한 의미가 있는 것은 아니다. 이 상수를 0 < k < 1/2 인 임의의 실수 k로 바꾸어도 BQP 집합이 변하는 것은 아니다. 어느 정도 잘못된 결과가 나올 확률이 있어도, 알고리즘을 여러 번 시행하면 잘못된 결과가 많이 나올 확률이 기하급수적으로 감소하기 때문이다.
엔트로피
계와 주위가 갖는 엔트로피는 다음과 같이 표현할 수 있다
불확실성
철학에서 불확실성은 확실성이 결여된 상태로 확실성은 논리적, 물리적, 수학적으로 예상할 수 있는 상태를 뜻한다. 철학에서는 고틀로프 프레게가 처음으로 확실성이란 상태에 의문을 가졌고 수학자 쿠르트 괴델이 가장 간단한 산수를 제외하고는 모든 것이 확실성을 갖는다고 주장했다. 이에 반해 위험은 장차 일어날 수도 있는 원치 않는 사건 중에 예상할 수 있는 사건을 뜻한다.
쿨백-라이블러 발산
쿨백-라이블러 발산은 어떠한 확률분포 formula_7가 있을 때, 샘플링 과정에서 그 분포를 근사적으로 표현하는 확률분포 formula_6를 formula_7 대신 사용할 경우 엔트로피 변화를 의미한다. 따라서, 원래의 분포가 가지는 엔트로피 formula_13와 formula_7 대신 formula_6를 사용할 때의 교차 엔트로피(cross entropy) formula_16의 차이를 구하면,
로, 원래 정의했던 식과 같은 결과가 나온다.
주위
이때 계의 엔트로피 변화와 주위의 엔트로피 변화를 모두 알기 어렵기 때문에 반응의 자발성을 알기 위해서 새로운 상태함수인 H-TS로 정의되는 자유에너지 G를 생각하자.
하플로타입
이 모호함을 해결하는 유일한 방법은 직접 서열을 결정하는 것이다. 그러나 개체별 샘플정보를 이용하면 이 모호한 상태의 특정한 하플로타입의 확률을 추정하는 것이 가능하다.
정보 엔트로피
두 확률변수 ( X , Y ) : P → E X × E Y {\displaystyle (X,Y)\colon P\to E_{X}\times E_{Y}} 가 주어졌고, 그 확률 분포 f : E X × E Y → R {\displaystyle f\colon E_{X}\times E_{Y}\to \mathbb {R} } 가 주어졌다고 하자. 그렇다면, Y {\displaystyle Y} 가 주어졌을 때 X {\displaystyle X} 의 조건부 엔트로피()는 다음과 같다.
정보 이득
속성값 각각에 대해 결과 속성에 대한 고유한 분류를 만들 수 있는 경우 상호 의존 정보는 속성에 대한 총 엔트로피와 같다. 이 경우 전체 엔트로피에서 빼는 상대 엔트로피는 0이다.
랜덤 포레스트
훈련 단계에서 트리의 각 노드는 들어오는 데이터 포인트들을 최적으로 분리하기 위해 정보 획득량()을 측정 기준으로 사용한다. 구체적으로 각 노드에서 정보 획득량(신뢰, confidence)을 최대화하는 것이다. 정보 획득량은 다음과 같이 정의된다.
여기서, formula_22는 한 노드에 도달하는 데이터 집합을, formula_23는 이 노드의 formula_24, 왼쪽 혹은 오른쪽 방향 자식 노드로 들어가는 데이터 집합을 나타낸다(formula_22와 formula_23의 관계식은 훈련과 테스트 과정 참조). 또한, formula_27와 formula_28는 각각 데이터 집합에 속한 데이터 개수와 섀넌 엔트로피()를 가리킨다.
위 수식에서 볼 수 있듯이, 정보 획득량을 최대화하기 위해서는 결국 섀넌 엔트로피가 최소화 되어야 한다. 섀넌 엔트로피는 확률 변수의 조합으로 정보원(여기서는 formula_22)에 대한 불확실성을 보여주는 것으로 아래와 같이 정의된다.
여기서 formula_31는 전체 부류() 집합을 나타내며, formula_32는 각 부류에 대한 확률 질량 함수이다.
은닉 마르코프 모델
그러므로, 두 단계의 모델은 독립적인 조절을 (1) 전체적인 전이 행렬의 밀도와 (2) 어느 전이가 가능할 지에 대한 상태의 밀도에 대해 가능하게 한다. 어느 특정 상황이 더 일어 날 지를 무시함을 가정해도 두 가지 경우에 이것은 실행된다. 만약 이 정보를 모델에 추가하는 것이 바람직하다면 확률 벡터 는 직접적으로 결정 될 수 있다. 만약 이 상대적 확률들에 확신이 적다면, 비대칭 가 에 대한 사전 분포로 쓰일 수 있다. 즉, 단일 모수 를 가지는 대칭 디리클레 분포를 사용하는 대신에(동치로, 모든 값이 인 벡터를 가지는 일반 디리클레), 어떤 상태가 더 혹은 덜 선호 되는 가에 따라 보다 다양하게 크거나 작은 값들을 가지는 일반적인 디리클레를 사용하는 것이다.
정보 엔트로피
기술적인 관점에서 보면 정보는 발생 가능한 사건이나 메시지의 확률분포의 음의 로그로 정의할 수 있다. 각 사건의 정보량은 그 기댓값, 또는 평균이 섀넌 엔트로피인 확률변수를 형성한다. 엔트로피의 단위는 정의에 사용된 로그의 밑이 무엇인지에 따라 섀넌(shannon), 내트(nat) 또는 하틀리(hartely)를 사용한다. 단, 섀넌의 경우 보통 비트(bit)로 표현한다.
깁스 자유 에너지
독립된 계에서 기브스 자유 에너지 방정식을 얻기 위해서 엔트로피는 계와 주변의 열이나 질량의 합이 변화가 없는 계의 전체 엔트로피를 이용한다.
열역학 제 2법칙에 의해 ΔS>=0 이다. 가역반응인 경우에만 등호가 성립된다. 계와 주위가 연결되어 있기 때문에 닫힌 계에서 주위가 잃은 엔트로피는 계가 얻는다.
formula_22 이다. 엔트로피에서 formula_23 인 관계가 성립되므로
주위에서 엔트로피 변화는 다음과 같이 나타낼 수 있다.
열역학 제2법칙을 이용하면
양변에 온도를 곱해주면
formula_26
이 된다. 여기에서 Q는 계로부터 이동된 열이기 때문에 등압 과정에서 Q = ΔH이고
이다.
기브스 자유 에너지 변화량은 다음과 같이 나타내어지므로,
주위의 엔트로피가 낮아지는 경우 즉, 계의 엔트로피가 높아지는 경우 formula_29 이므로 정반응이 자발적인 반응이 되는 것이다.
야코프 베르누이
이 책의 가장 핵심적인 부분은 제4부다. 여기서 베르누이는 비로소 확률을 처음으로 정의하는데 그 정의에 따르면, 확률이란 ‘확실성이 어느 정도인가’를 말하는 것이다. 확률과 함께 제4부에서 중심이 되는 내용은 나중에 ‘약대수의 법칙(weak law of large numbers)’이라고 불리게 되는 중요한 정리와 그 증명이다. 이 정리는 확률 이론의 역사에서 최초로 등장한 극한 정리일 뿐 아니라 수학사 전체를 통틀어 보더라도 가장 먼저 등장한 극한 이론이었다. 이 정리를 베르누이가 어떻게 제시하고 증명했는지 베르누이 자신의 글을 통해 살펴보면 그가 생각한 정리는 여러 세부적인 면에서 오늘날 교과서에서 볼 수 있는 정리와 차이가 나며, 증명 또한 오늘날의 밋밋하고 단순한 증명과는 매우 다름을 확인할 수 있을 것이다.
엔트로피 부호화
엔트로피 인코딩 혹은 엔트로피 부호화()는 심볼이 나올 확률에 따라 심볼을 나타내는 코드의 길이를 달리하는 부호화 방법이다. 보통 엔트로피 인코더는 모든 심볼에 대해 같은 길이를 갖는 코드를 심볼이 나올 확률값의 음의 로그에 비례하는 서로 다른 길이의 코드로 바꾸어 부호화한다. 즉 가장 자주 나오는 심볼에 대한 코드가 가장 짧다.
정보 엔트로피
여기서 ρ로 는 양자역학 시스템에서의 밀도 행렬을 나타내며 Tr은 행적을 나타낸다.
통계역학
고전 통계역학은 볼츠만이 처음 정립했다. 이를 이해하기 위해서는 우선 엔트로피에 대한 개념이 필요하다. 엔트로피는 쉽게 말해서 어떠한 계의 무질서도 또는 거시상태에 대응되는 미시상태의 가지수라고 할 수 있다. 예를 들어 주사위 3개를 던지는 계를 생각해보자. 3 주사위 눈의 합이 3인 경우는 각각의 주사위가 모두 1의 눈인 경우만 가능하다. 하지만, 주사위 눈의 합이 6인 경우는 총 10가지 경우가 있다. 따라서 위의 정의에 따라 주사위 눈의 합이 3인 거시상태는 합이 6인 거시상태보다 엔트로피가 낮다고 볼 수 있다. 이렇게 엔트로피가 높을수록 해당하는 거시상태가 나타날 확률은 높아진다. 볼츠만은 물리적인 계의 엔트로피를 계산하여 해당하는 계가 어떤 특정한 거시상태에 있을 확률을 유도하였다. 이에 에너지와 계의 온도를 변수로하는 볼츠만 인자를 도입하였다.
정보물리
엔트로피는 관심있는 시스템에 포함 된 (고전적) 물리적 정보의 일부분 (전체 물리적 시스템이든 또는 가능한 메시지 세트로 구분 된 서브 시스템이든) 특정 지식의 관점에서)
기브스 역설
이제 엔트로피의 변화를 계산해보면 
상호의존정보
확률 이론 과 정보 이론 에서 두 개의 무작위 변수 의 상호의존정보(또는 상호 정보, Mutual information , MI)는 두 변수 사이의 상호 의존성을 측정 한 것이다. 보다 구체적으로 말하면 , 다른 무작위 변수를 통해 하나의 무작위 변수에 대해 얻어진 "정보량"( 섀넌과 같은 단위 , 더 일반적으로 비트라고 부름)을 정량화(계량화) 한다. 상호 정보의 개념은 무작위 변수의 엔트로피의 개념과 복잡하게 연관되어 있으며, 무작위 변수의 "정보량"을 정의하는 정보 이론의 기본 개념이다.
정보의 단위
컴퓨팅 및 통신에서, 정보의 단위 수용량의 기준은 데이터 스토리지 시스템 또는 서로 다른 용량 사이의 통신 채널이었다. 정보 이론, 단위의 정보 또한 측정하는 정보 또는 엔트로피를 이용한 임의 변수이다.
고무 탄성
고무 탄성 이론에서 고무 폴리머 체인은 흔히 "엔트로피 스프링(entropy spring)"이라고 불린다. 체인이 외부의 힘에 의해 팽창하면 고무 폴리머들의 배치가 크게 제한되고, 엔트로피는 감소하다. 자연에서 어떤 물질의 상태는 엔트로피는 낮은 상태 높은 상태로 변하려는 경향성을 지니고 있기 때문에 고무에서 복원력이 생겨 원래 상태로 돌아간다. 과학자들은 고무 폴리머들의 엔트로피를 수학적으로 계산하기 위한 모델들을 만들었다. 대표적으로는 자유 연결 체인 모델(Freely-jointed Chain Model)과 지렁이 체인 모델(Worm-like Chain Model)이 있다.
정보 엔트로피
만약 표본 공간 E {\displaystyle E} 가 이산공간
정보 엔트로피
ln ⁡ ( m n ) = ln ⁡ m + ln ⁡ n {\displaystyle \ln(mn)=\ln m+\ln n}
은닉 마르코프 모델
이 코드에서, codice_1는 초기 확률 분포로서 철수가 영희에게 첫 번째 전화를 했을 때 은닉 마르코프 모델이 어떤 상태에 있을 것이라는 그녀의 믿음을 의미한다. (그녀는 철수가 사는 지역이 주로 비가 온다는 사실을 알고 있다) codice_2이다. codice_3는 마르코프 연쇄에서 행해지는 날씨의 변화를 나타낸다. 위의 예시에서 오늘 비가 오면 내일 맑을 확률은 30%이다. codice_4는 매일 철수가 어떤 행동을 할지를 나타낸다. 만약 비가 온다면, 철수는 50%의 확률로 집을 청소할 것이고, 그렇지 않고 날씨가 맑다면 60%의 확률로 산책을 나갈 것이다.
블랙홀
한 가지 혼란스러울 수 있는 점은 보통의 엔트로피는 계의 부피와 선형의 관계를 갖는 크기 성질인 데 반해 블랙홀의 엔트로피는 그 부피가 아닌 면적에 비례한다는 사실이다. 이 특이함을 설명하기 위해 헤라르뒤스 엇호프트와 레너드 서스킨드는 시공간상의 어떤 부피 안에서 일어나는 일은 그 부피의 경계의 데이터로 설명될 수 있다는 홀로그래피 원리를 제안했다.[141]
정보 엔트로피
일상생활의 실용적인 수준에서는 정보이론의 엔트로피와 열역학적 엔트로피의 관계가 그리 깊지는 않다. 물리학자나 화학자는 자발적으로 초기상태에서 멀어지는 시스템에서의 엔트로피 ‘변화’에 더욱 관심이 있다. 이는 열역학 제2법칙에 부합하는 내용으로, 불변하는 확률분포에 집중하는 정보엔트로피와는 포커싱이 사뭇 다르다.
라플라스의 도깨비
만일 우주가 닫힌 계라면 켈빈의 주장은 옳을지도 모른다. 그러나 우리의 열려있고 확장되는 우주에서 데이비드 레이저(David Layzer)는 가능한 최대의 엔트로피는 실제의 엔트로피보다 더 빠르게 증가하고 있다는 것을 보여주었다. 가능한 최대의 엔트로피와 현재의 엔트로피 간의 차이점은 부의 엔트로피라고 불리고, 이는 복잡하고 안정된 정보구조에 대한 가능성을 열어놓는다. 아래는 데이비드 레이저의 개념이다.
엔트로피
정보 이론에서의 엔트로피는 확률 변수의 무질서도의 척도이다.
엔트로피
엔트로피()는 열역학적 계의 유용하지 않은 (일로 변환할 수 없는) 에너지의 흐름을 설명할 때 이용되는 상태 함수다. 통계역학적으로, 주어진 거시적 상태에 대응하는 미시적 상태의 수의 로그로 생각할 수 있다. 엔트로피는 일반적으로 보존되지 않고, 열역학 제2법칙에 따라 시간에 따라 증가한다. 독일의 물리학자 루돌프 클라우지우스가 1850년대 초에 도입하였다. 대개 기호로 라틴 대문자 "S"를 쓴다.
브라운 운동
따라서 고전 열역학에서는 거시적 성질만을 설명할 수 있었던 반면 통계역학은 미시적 수준에서 확률이론을 사용하여 분자의 자발적 움직임을 이해할 수 있게 한다. 브라운 운동에 대한 이론은 열역학 법칙들이 통계적이라는 사실을 보여줌으로써 볼츠만이 주장한 엔트로피에 대한 확률적, 통계적 해석의 타당성을 뒷받침해주게 된다. 
작은 바른틀 앙상블
작은 바른틀 앙상블은 고립계의 상태들로 구성되어 있다. 분석은 간단하다. 어떤 계가 고립되어 있다고 가정하면, 앙상블의 각 계는 공통적으로 일정한 에너지("E")를 가지게 된다. 계는 한 에너지 "E"에 대해 여러 가지의 다른 미시상태를 가질 수 있다. 열역학의 기본 가정에 따르면 시스템이 같은 에너지를 가진 각각의 미시상태들에 있을 확률은 모두 같다. 그러므로 만약 formula_1가 접근 가능한 미시상태의 수라면, 작은 바른틀 앙상블에서 임의적으로 선택된 한 시스템이 한 미시상태에 있을 확률은 단순히 formula_2이다. 여기서 엔트로피에 대한 식이 유도된다(아래).
휴리스틱 이론
결합 오류란 단일 사건의 발생 확률이 실제로 더 높음에도 불구하고 두 사건이 동시에 발생하는 경우의 확률을 더 높다고 생각하는 것을 말한다. 이러한 오류가 발생하는 이유는 사람들이 정보가 구체적인 쪽을 더 실제에 가깝다고 믿는 경향을 가지고 있기 때문이다. 결합오류는 ‘연결오류’, ‘연합오류’라고 불리기도 한다.
확률
확률(確率)은 어떤 사건이 실제로 일어날 것인지 혹은 일어났는지에 대한 지식 혹은 믿음을 표현하는 방법이며 같은 원인에서 특정한 결과가 나타나는 비율을 뜻하기도 한다. 수학에서는 확률론에서 설명하고 있으며 수학, 통계학, 회계, 도박, 과학과 철학에서 어떤 잠재적 사건이 일어날 경우의 가능성과 이 가능성 안에 있는 복잡한 시스템의 구조에 대한 답을 이끌어내기 위해 사용되고 있다.
합리적 기대
만약 정부 정책에 대한 신뢰도가 높다면, 합리적 기대가 달성될 가능성이 높아진다. 예를 들어, 정부가 내년에 물가를 낮출 것이라고 발표한다면, 합리적 기대를 하는 사람들은 그에 맞게 자신의 기대 인플레이션을 조절하며, 기업들은 정부의 발표에 맞게 가격을 조정할 것이다. 반면에, 정부 정책에 대한 신뢰도가 낮다면, 사람들은 정부의 목표 인플레이션과 다른 기대 인플레이션을 설정하게 되며, 이로 인해 체계적인 오차가 발생하게 된다.
기댓값 최대화 알고리즘
상황에 따라서는, 기댓값 최대화 알고리즘을 다음의 두 최대화 단계로 보는 것이 편리하다. "q"는 미관측 데이터 "z"를 나타내는 임의의 확률 분포, "p"(· |"x";"θ")는 관측 데이터 "x"가 주어졌을 때의 조건부 확률 분포, "H"를 엔트로피, 그리고 "D"를 쿨백-라이블러 발산이라고 할 때, 다음 식을 고려한다.
사전 확률
사전 확률은 일반적으로 실험하는 대상에 대해 잘 알고 있는 전문가가 선택하거나(informative prior), 혹은 전문적인 정보가 없는 무정보적 분포(uninformative prior)로 주어진다. 또한 특정한 가능도 분포에 대해서는 켤레 사전 확률(conjugate prior)을 선택하여 계산적인 이점을 얻을 수 있다.
라플라스의 도깨비
최근 들어 우주의 계산능력의 한계 -무한한 양의 정보를 계산하기 위해서 라플라스의 도깨비가 가져야 할 계산능력- 이 제안되었다. 그 한계값은 우주의 최대 엔트로피값, 빛의 속도, 플랑크 길이만큼 정보를 움직이는 데 드는 최소한의 시간에 기초를 두고 있으며, 그 값은 대략적으로 10^120 비트 정도 될 것으로 보였다. 이에 따르면 위에서 계산된 것보다 많은 데이터의 양을 가지고 있는 모든 물체는 지금까지 우주에서 흐른 시간을 모두 소요한다 하더라도 정확히 계산될 수 없다.
기브스 역설
formula_2
이제는 한쪽 방에는 "N" 개의 입자가 있고 다른 쪽 방에는 다른 입자 "N" 개가 있는 상황을 생각해보자. 그러면 엔트로피의 변화는 다음과 같이 계산되어야 할 것이다.
엔트로피
위와 같이 분류한 엔트로피를 계의 관점에서 본 알짜엔트로피 변화를 나타낼 때 이용할 수 있다.
잠재 디리클레 할당
예를 들어 [양자역학, 힉스 입자, 맥스웰 방정식, 상대성 이론, 불확정성 원리]등의 단어들이 많이 쓰인 문서와 [셰익스피어, 톨스토이, 파우스트, 1984]등의 단어들이 많이 쓰인 문서가 있다고 해보자. 우리는 첫번째 문서가 물리학에 관련된 내용이고, 두번째 문서가 문학에 관련된 내용으로 추측할 수 있다. 그 이유는 우리는 문서에 들어가 있는 단어들이 해당 해당 주제들을 표현하고 있음을 알기 때문이다. 이러한 사전 정보가 없다면 주제를 예측할 수 없다. 하지만 사전정보가 없어도 단어들과 주제들은 연관성이 있다. 주제는 의미나 인식으로 결정되는 것이 아니고, 지도 학습으로 라벨링된 단어들의 가능도로 결정된다.
앨런 튜링
정보 개념, 혹은 데이터의 중요도는 원래 통계학적 속성인데, 선험적(a priori)가설로부터 경험적(a posteriori) 확률을 계산할 수 있는 방법을 제시한다.
유의 확률
만약 확률 변수가 단순한 실수가 아니라면, 더 복잡한 "극단성"을 정의하여야 한다. 예를 들어, 표본이 노름공간에 있는 경우, 노름함수 formula_6를 사용하여 표본 formula_7의 유의 확률을
로 정의할 수 있다.
결정 트리 학습법
ID3, C4.5 그리고 C5.0 트리 생성 알고리즘에서 사용되고 있다. 정보 획득량(information gain)은 정보 이론의 엔트로피의 개념에 근거를 두고 있다.
정보 엔트로피
그러나 만약 우리가 이 동전이 공정하지 않다면, 즉 앞면이 나올 확률이 p, 뒷면이 나올 확률을 q로 이미 알고 있다면 불확실성은 더 떨어질 것이다. 이는 동전을 던질 때마다 특정한 면이 나올 확률이 더 높기 때문이다. 이때의 불확실성의 감소는 엔트로피의 감소로 정량화될 수 있다. 공정하지 않은 동전 던지기 결과값의 엔트로피는 1비트의 정보 보다 적다고 해석할 수 있다.
불확실성
전자의 위치를 정확히 측정하기 위해 빛을 빠르게 쏘면 빛의 입자인 광양자에 전자가 부딫혀 위치가 왜곡되는 반면 빛을 느리게 쏘면 시간차가 발생해 원자핵 주위를 도는 전자의 위치를 정확히 알 수 없으므로 전자의 정확한 위치 측정은 불가능하다는 이론이다.
주성분 분석
차원 축소를 위해 사용된 PCA가 데이터가 가진 정보의 대부분을 보존한다는 주장은 실제를 오도하는 것이다. 실제로 신호 모델에 그 어떤 가정도 없다면 PCA는 차원이 축소될 때 손실되는 정보의 양을 줄여주는데 아무런 도움이 되지 못한다. 여기서 정보의 양은 정보 엔트로피를 이용해 측정된 값이다.
정보 엔트로피
아이작 아시모프의 단편 소설 《마지막 질문》. 헨리 애덤스의 책 《엔트로피와 생명》. 19세기 미국 역사가 헨리 애덤스는 기계의 힘인 동력과 힘의 쇠퇴인 엔트로피 개념을 포함한 정교한 역사 이론을 주창하였다. 애덤스는 인간 사회가 진보하는 것이 아니라 어쩔 수 없이 쇠퇴하는 것을 자연 상태에서 엔트로피가 커지는 것에 결합하여 설명하였다.
엔트로피
양자역학적 앙상블은 밀도행렬 formula_16로 나타내어진다. 이 경우, 폰노이만 엔트로피()를 다음과 같이 정의한다.
밀도행렬을 대각화하면 그 각 원소는 확률 formula_6가 되므로, 이는 위의 통계역학적 정의와 동등하다. 이 정의는 존 폰 노이만이 발견하였다.
정보 엔트로피
정보 이론 엔트로피 부호화 해밍 거리
주위
엔탈피와 더불어 이러한 화학 반응에서 중요한 것이 엔트로피가 있는데 이것은 무질서도의 척도로 ΔH/T로 표현된다. 이때 열역학 제2법칙은 자연계에서 일어나는 모든 자발적 반응은 우주 전체의 엔트로피가 증가하는 방향으로 일어난다는 것이다. 그러면
정보 엔트로피
H ( X ) = − E ⁡ ( ln ⁡ f ) = − ∫ E f ( x ) ln ⁡ ( f ( x ) ) d x {\displaystyle H(X)=-\operatorname {E} (\ln f)=-\int _{E}f(x)\ln(f(x))\,dx}
포도주 테이스팅
과학적인 연구에 의하면 특정한 정보의 제공은 기대효과를 불러 일으키며 인지에도 영향을 미친다. 예를 들어 사람들은 더 비싼 포도주가 저렴한 것에 비해 더 품질이 좋고 우수한 맛을 낼 것이라고 기대한다. 비싼 가격의 포도주이라고 속이고 서빙을 할 경우, 반대의 경우보다 항상 더 좋은 평가를 받았다는 연구 결과가 있다. 프랑스의 통계학자인 Frédéric Brochet는 중급의 보르도 포도주의 두 개의 병에 담았는데, 하나는 저렴한 포도주의 라벨이 다른 하나는 비싼 포도주의 라벨이 붙은 병이었다. 테스터들은 비싼 병에 담긴 것은 ‘나무향과 복잡성, 그리고 조화로움’ 등으로 포도주를 묘사했으나, 저렴한 병에 담긴 것은 ‘여운이 짧고 가볍다’ 라고 표현했다.
네른스트 열 정리
네른스트 열 정리가 말하는 것은 절대온도 0 으로 온도가 접근할수록 화학적, 물리적인 변환을 위한 엔트로피의 변화량은 0으로 접근한다는 것이다. 이것은 수학적으로 다음과 같이 쓸 수 있다.
쿨백-라이블러 발산
쿨백-라이블러 발산(Kullback–Leibler divergence, KLD)은 두 확률분포의 차이를 계산하는 데에 사용하는 함수로, 어떤 이상적인 분포에 대해, 그 분포를 근사하는 다른 분포를 사용해 샘플링을 한다면 발생할 수 있는 정보 엔트로피 차이를 계산한다. 상대 엔트로피(relative entropy), 정보 획득량(information gain), 인포메이션 다이버전스(information divergence)라고도 한다. 정보이론에서는 상대 엔트로피, 기계학습의 결정 트리에서는 정보 획득량을 주로 사용한다.
정보 엔트로피
이 된다. 즉, 서로 독립인 두 확률변수의 엔트로피는 각 확률변수의 엔트로피의 합과 같다.
열역학
'어떠한 계, 혹은 계의 어떠한 상태에서든지, 엔트로피는 절대영도에서 최소이다'라고 표현할 수도 있으며, '유한번의 과정을 통해 절대영도에 도달하는 것은 불가능하다'라는 표현도 사용할 수 있다.
정보 엔트로피
섀넌의 이론은 어떤 무손실 압축 방식도 모든 메시지를 줄일 수는 없다는 것도 의미한다. 비둘기집 원리에 의해서, 어떤 메시지가 짧게 압축되기 위해서 최소한 다른 하나는 길어져야 한다. 평소에 우리가 횡설수설하는 문서보다는 문법에 따라 쓰인 문장을 압축하는 것처럼, 특정한 형식의 메시지만을 압축하는 것에 집중하기 때문에 압축 알고리즘이 어떤 메시지를 늘이는가는 별로 문제되지 않는다. 그러나 이 문제는 이미 압축된 데이터를 다시 압축하려고 할 때 드러난다. 실제로, 우리는 FLAC, MP3, WebM, AAC, PNG, JPEG 같은 압축된 데이터들을 다시 ZIP 형식으로 압축하면 원본 데이터보다 용량이 조금 더 늘어나 있는 것을 목격할 수 있다.
밴 (컴퓨팅)
밴(때로는 하틀리 (기호 Hart)또는 디트 (십진 정보 단위)라고도 부르는)은 로그 단위 를 측정하는 정보 또는 엔트로피를 기반으로,십진법을 기반으로 하고 10의 지수적으로 커지는 정보 단위이다.
추정
추정(推定)은 입력된 자료가 불완전하거나 불확실하더라도 사용할 수 있는 계산된 결과의 근삿값이다.
열역학 제2법칙
열역학 제2법칙의 모순처럼, 고립계가 아닌 계의 엔트로피는 감소하는 것으로 볼 수도 있다. 예를 들어 에어컨은 방 안의 공기를 차갑게 해주어서 공기의 엔트로피를 감소시킨다. 하지만 방 안으로부터 방출되거나 에어컨이 작동함에 따라 흡수되는 열은 항상 그 계의 공기의 엔트로피의 감소보다 많은 양의 엔트로피를 생성한다. 따라서 전체 계의 총 엔트로피는 열역학 제2법칙에 의하듯 증가한다.
정보 엔트로피
an interdisciplinary journal on all aspect of the entropy concept. Open access. - a discussion of the use of the terms "information" and "entropy". - a similar discussion on the bionet.info-theory FAQ. - a wikibook on the interpretation of the concept of entropy.
절대 영도
절대 영도에서는 모든 입자들이 운동 에너지가 최소인 상태로 축퇴되어 있기 때문에 엔트로피는 0으로 정의된다.(열역학 제3법칙) 한편 물리학에서 온도는 엔트로피를 에너지로 편미분한 값의 역수로 정의한다. 따라서 미시계에서는 상황에 따라서 켈빈으로 표시한 온도가 음수가 될 수 있다. 이때 온도는 절대영도가 가장 낮고, 그 다음이 양의 값을 갖는 온도, 양의 무한대 값을 갖는 온도(이는 음의 무한대 값을 갖는 온도와 동일하다고 정의된다.), 그리고 음의 값을 갖는 온도이다.
엔트로피
엔트로피는 계의 자유 에너지를 결정짓는 요소 가운데 하나이다. 온도는 평형 상태에 있는 계에서만 정의되는 값이므로, 이와 같은 엔트로피의 열역학적인 정의는 오직 평형 상태에 있는 계에서만 성립한다. 반면 통계역학적인 엔트로피의 정의는 모든 계에 적용된다 (아래 참고). 따라서 엔트로피의 보다 근본적인 정의로는 통계역학적인 정의를 꼽을 수 있다. 엔트로피의 증가는 흔히 분자들의 무질서도의 증가로 정의되어 왔으며, 최근들어 엔트로피는 에너지의 "분산"으로 해석되고 있다.
정보 엔트로피
이라면, 르베그 적분은 합이 되며, 따라서 정보 엔트로피는 다음과 같다.
정보 엔트로피
S = − k B T r ( ρ ln ⁡ ρ ) {\displaystyle S=-k_{B}\,\,{\rm {Tr}}(\rho \ln \rho )\,}
정보 엔트로피
한편, 정보 엔트로피가 커지는것은 역시 변수(불확실성)가 증가하는 것을 의미하므로, 변수를 제어함으로서 불확실성이 줄어드는 것은 결국 정보 획득을 의미하게 된다.
공정성 이론
자신의 투입-산출 비율이 타인의 투입-산출 비율보다 적을 경우에 발생하고, 과소보상의 경우에는 분노와 불만족을 경험한다. 경제적 보상, 사회적 배경, 유사성의 정도 등을 비교하여 자신이 불리하면 참지 못하며 불만을 나타낸다. 이와 같은 과소 보상 시 과대 보상에 비해 불공정에 대한 효과가 크게 나타나는 공정성 인식의 비대칭성이 나타난다. 트버츠키와 카네만에 의한 전망 이론에 따르면 사람들이 손실을 회피하려는 경향이 있기 때문에 자신이 잃은 것을 자신이 얻은 것에 비해 더 크게 생각하기 때문이다.
정보 엔트로피
정보 엔트로피의 정의를 이해하기 위해서, 이산균등분포의 엔트로피를 계산해 보자. 표본 공간이 총 n개의 서로 다른 값들로 이루어진다면, 확률 질량 함수는
레니 엔트로피
양자 정보 이론에서, 레니 엔트로피()는 통상적인 엔트로피의 일반화이다. 하나의 매개변수 formula_1을 가지며, 레니 엔트로피의 formula_2 극한은 통상적인 엔트로피이다.
통계학
신뢰 수준(confidence interval level) 또는 신뢰도(reliability): 1-α나 100(1-α)%로 적는다.
p-값(p-value, probability value) 또는 유의 확률(significance probability, asymptotic significance): 귀무 가설 H를 기각할 수 있는 최소한의 유의 수준이다.
온도
열역학적 정의의 온도는 19세기 중반 열기관과 열역학에서 이어지는 통계역학이 발전되면서 에너지와 엔트로피간의 이해가 높아지면서 파생되어 나왔다. 열역학적 정의의 온도는 에너지를 엔트로피로 편미분한 값으로 나타내지며, 다양한 기초적인 물리법칙과 근본적으로 관련되어있다. 열역학적 정의의 온도는 계의 평형이 이뤄지지 않으면 정의할 수 없다.
불확실성
불확실성(不確實性)은 완전하지 않거나 알 수 없는 정보를 수반하는 상황이다. 미래에 전개될 상황에 대해 정확한 정보를 얻을 수 없거나 어떤 상황이 발생할 가능성을 명확히 측정할 수 없는 상태를 뜻한다. 즉, 미래의 사건의 예측, 이미 수행된 물리적인 측정, 알 수 없는 사항에 적용된다. 불확실성은 부분적으로 관찰 가능한, 또는 추계학적 환경에서 발생하며, 그 외에도 무지함, 게으름에 기인하기도 한다. 보험, 철학, 물리학, 통계학, 경제학, 금융, 심리학, 사회학, 공학, 계량학, 기상학, 생태학, 정보과학 등 수많은 분야에서 발생한다.
클로드 섀넌
섀넌은 《통신의 수학적 이론》이라는 논문을 《벨시스템 기술 저널》 1948년 7월과 10월 두 차례에 걸쳐 발표한다. 이 논문에서 그는 확률론을 이용하여 정보를 전송하는 가장 효율적인 방법에 대해 연구하였다. 이 논문은 정보 엔트로피의 개념을 창안하게 한, 정보통신 이론의 기반이 된다. 섀넌은 이 이론을 자연어 처리까지 발전시켜, 영어 문장의 통계적 분석으로 영어 엔트로피의 최댓값과 최솟값을 계산하였다. 이 연구에서 그는 띄어쓰기가 실제로 문장의 불확실성을 감소시킨다는 것을 발견하였다.
과학적 방법
과학적 발견 가운데 대략 35%에서 50%가 우연한 발견이었다. 이것은 과학자들이 왜 그리 행운을 바라는 지를 알 수 있게 해준다. 루이 파스퇴르는 “행운은 준비된 자에게 찾아온다”는 명언을 남겼지만, 심리학자들은 준비된 자에게 찾아온다는 행운이 과학 지식에 어떠한 의미를 지니는 지를 연구하고 있다. 심리학의 연구 결과에 따르면 과학자들은 다양한 방법을 동원하여 실험을 하기 때문에 우연히 어떤 새로운 사실을 발견할 수 있는 경우의 수가 늘어난다고 한다. 경제학자 나심 니콜라스 탈레브는 개개의 연구는 인간적 오류나 실수 등의 위험 요소가 개입할 여지가 많지만, 과학적 방법은 반복적인 검증을 통해 이러한 위험을 제거하기 때문에 전체 시스템의 취약성을 보완한다고 하였다. 탈레브는 이를 “취약점 보완”()이라는 개념으로 정리하였다.
비터비 알고리즘
이 코드에서, codice_1는 환자의 첫 방문시 HMM이 어느 상태에 있는가에 대한 의사의 생각을 반영한다. (물론 의사는 대부분의 환자가 건강할 것이란 것을 알고 있다) 주어진 전이 확률에 따르면 여기서는 평형 상태가 아닌 특정한 확률 분포 codice_2를 사용하였다. codice_3는 기저의 마르코프 연쇄에 따른 건강 상태의 변화를 나타낸다. 이 예제에서 오늘 건강한 주민이 다음 날 열이 날 확률은 30% 뿐이다. codice_4는 매 하루마다 환자가 자신의 몸 상태를 어떻게 느끼는지를 나타낸다. 그가 건강하다면 50%의 확률로 자신이 "멀쩡하다"고 느낀다. 만약 열이 난다면 60%의 확률로 "어지럽다"고 느끼게 된다.
스핀 아이스
이 물질의 가장 특이한 성질은 현재의 기술로 최대한 온도를 내려도(30mK) 엔트로피가 0이 되지 않는다는 점(잔류 엔트로피)이다. 이것은 열역학 제3법칙에 위배되는 것이다. 또한 현재 작동 이론이 규명이 안 된 상온 초전도체에서 frustration이 중요한 역할을 하고 있다고 추측하는 사람들이 있다.
정보 엔트로피
로그 함수는 독립적인 불확실성에 가산성</b>을 제공하는데 사용된다. 예를 들어, 크기 m {\displaystyle m} 의 이산 표본 공간과 크기 n {\displaystyle n} 의 이산 표본 공간에서, 서로 독립이며 균등분포를 따르는 두 확률변수를 동시에 측정할 경우, 그 총 엔트로피는
엔트로피 부호화
새넌 정리(Shannon's source coding theorem)에 따르면, 가장 좋은 코드 길이는 "b"를 부호화할 진수(2진수로 부호화 할 경우에는 b=2가 된다), "P"를 심볼이 나올 확률이라고 할 때 −log"P" 라고 한다.
비손실 압축
비손실 압축(非損失 壓縮) 또는 무손실 압축(無損失 壓縮)은 데이터 압축의 일종으로 손실 압축의 반대말이다. 원래의 정보를 그대로 보존해야 하기 때문에, 정보 엔트로피의 한계가 그대로 반영된다. 여기에서 정보 엔트로피의 한계란 개별 정보의 확률값에 의하여 계산되는 값이 아닌, 전체 신호의 상관관계를 반영한 한계값이다. 이러한 성질을 이용한 대표적인 압축 방법으로 반복 길이 부호화가 있다.
정보 엔트로피
확률변수 X : P → E {\displaystyle X\colon P\to E} 가 분포 f : E → R {\displaystyle f\colon E\to \mathbb {R} } 를 따른다고 하자. 그렇다면 X {\displaystyle X} 의 정보 엔트로피 H ( X ) {\displaystyle H(X)} 는 다음과 같다.
주위
또한 온도가 높을 때에는 이미 무질서도가 매우 큰 상태이므로 계에서 화학반응이 일어나고 주위의 엔트로피변화는 크지 않다. 그러나 온도가 낮을 때에는 무질서도의 변화 비율이 크게 된다. 즉,