ข้อมูล
ข้อมูล คือค่าของตัวแปรในเชิงคุณภาพหรือเชิงปริมาณ ที่อยู่ในความควบคุมของกลุ่มของสิ่งต่าง ๆ ข้อมูลในเรื่องการคอมพิวเตอร์ (หรือการประมวลผลข้อมูล) จะแสดงแทนด้วยโครงสร้างอย่างหนึ่ง ซึ่งมักจะเป็นโครงสร้างตาราง (แทนด้วยแถวและหลัก) โครงสร้างต้นไม้ (กลุ่มของจุดต่อที่มีความสัมพันธ์แบบพ่อลูก) หรือโครงสร้างกราฟ (กลุ่มของจุดต่อที่เชื่อมระหว่างกัน) ข้อมูลโดยปกติเป็นผลจากการวัดและสามารถทำให้เห็นได้โดยใช้กราฟหรือรูปภาพ ข้อมูลในฐานะมโนทัศน์นามธรรมอันหนึ่ง อาจมองได้ว่าเป็นระดับต่ำที่สุดของภาวะนามธรรมที่สืบทอดเป็นสารสนเทศและความรู้ ข้อมูลดิบ หรือ ข้อมูลที่ยังไม่ประมวลผล เป็นศัพท์อีกคำหนึ่งที่เกี่ยวข้อง หมายถึงการรวบรวมจำนวนและอักขระต่าง ๆ ซึ่งมักจะเกิดขึ้นตามปกติในการประมวลผลข้อมูลเป็นระยะ และ ข้อมูลที่ประมวลผลแล้ว จากระยะหนึ่งอาจถือว่าเป็น ข้อมูลดิบ ของระยะถัดไปก็ได้ ข้อมูลสนามหมายถึงข้อมูลดิบที่รวบรวมมาจากสภาพแวดล้อม ณ แหล่งกำเนิด ที่ไม่อยู่ในการควบคุม ข้อมูลเชิงทดลองหมายถึงข้อมูลที่สร้างขึ้นภายในสภาพแวดล้อมของการค้นคว้าทางวิทยาศาสตร์โดยการสังเกตและการบันทึก
เอนโทรปีของข้อมูล
ลองนึกถึงตัวอย่างของการส่งข้อมูลจากแหล่งหนึ่งไปอีกแหล่งหนึ่ง โดยที่ข้อความที่เป็นไปได้มีทั้งหมด s แบบ ซึ่งก็คือ formula_3 ข้อมูลแต่ละแบบมีความถี่ในการเกิดเป็น formula_4 ตามลำดับ โดยที่จำนวนการเกิดของข้อมูลทั้งหมดเป็น formula_5 หากเรามีข้อมูลเพียงเท่านี้ โดยหลักการนับเบื้องต้น ความเป็นไปได้ของข้อความที่เกิดขึ้นทั้งหมดคือ 
ในการที่ฝ่ายส่งข้อมูลส่งข้อความไปให้ฝ่ายรับ ฝ่ายส่งสามารถเลือกใช้การเข้ารหัสแบบใดก็ได้ แต่สิ่งสำคัญที่สุดอย่างหนึ่งที่ต้องคำนึงคือ "ฝ่ายรับต้องสามารถสร้างข้อความที่ได้รับมาให้กลับไปอยู่ในรูปแบบเดิมได้" นั่นก็คือ เราจะไม่สนใจการเข้ารหัสแบบแปลกประหลาดทั้งหลายที่ฝ่ายรับนำข้อมูลมาใช้ไม่ได้ ยกตัวอย่างเช่น ส่งข้อมูลทุกอย่างไปในรูปแบบของ "111" ฝ่ายรับไม่สามารถนำข้อมูลที่ได้รับมาไปใช้ได้เลย 