ข้อมูล
ข้อมูล คือค่าของตัวแปรในเชิงคุณภาพหรือเชิงปริมาณ ที่อยู่ในความควบคุมของกลุ่มของสิ่งต่าง ๆ ข้อมูลในเรื่องการคอมพิวเตอร์ (หรือการประมวลผลข้อมูล) จะแสดงแทนด้วยโครงสร้างอย่างหนึ่ง ซึ่งมักจะเป็นโครงสร้างตาราง (แทนด้วยแถวและหลัก) โครงสร้างต้นไม้ (กลุ่มของจุดต่อที่มีความสัมพันธ์แบบพ่อลูก) หรือโครงสร้างกราฟ (กลุ่มของจุดต่อที่เชื่อมระหว่างกัน) ข้อมูลโดยปกติเป็นผลจากการวัดและสามารถทำให้เห็นได้โดยใช้กราฟหรือรูปภาพ ข้อมูลในฐานะมโนทัศน์นามธรรมอันหนึ่ง อาจมองได้ว่าเป็นระดับต่ำที่สุดของภาวะนามธรรมที่สืบทอดเป็นสารสนเทศและความรู้ ข้อมูลดิบ หรือ ข้อมูลที่ยังไม่ประมวลผล เป็นศัพท์อีกคำหนึ่งที่เกี่ยวข้อง หมายถึงการรวบรวมจำนวนและอักขระต่าง ๆ ซึ่งมักจะเกิดขึ้นตามปกติในการประมวลผลข้อมูลเป็นระยะ และ ข้อมูลที่ประมวลผลแล้ว จากระยะหนึ่งอาจถือว่าเป็น ข้อมูลดิบ ของระยะถัดไปก็ได้ ข้อมูลสนามหมายถึงข้อมูลดิบที่รวบรวมมาจากสภาพแวดล้อม ณ แหล่งกำเนิด ที่ไม่อยู่ในการควบคุม ข้อมูลเชิงทดลองหมายถึงข้อมูลที่สร้างขึ้นภายในสภาพแวดล้อมของการค้นคว้าทางวิทยาศาสตร์โดยการสังเกตและการบันทึก
เอนโทรปีของข้อมูล
แชนนอนให้นิยามการวัดเอนโทรปี ("H" = − "p" log "p" − … − "p" log "p") ว่า เมื่อนำไปวัดที่แหล่งข้อมูล จะสามารถบ่งบอกขนาดที่เล็กที่สุดเท่าที่เป็นไปได้ ของช่องสัญญาณที่ใช้ในการส่งข้อมูลฐานสองได้อย่างถูกต้อง สูตรนี้สามารถสร้างขึ้นมาได้จากการคำนวณค่าคาดหวัง (expectation) ของ "ปริมาณของข้อมูล" ที่อยู่ในแต่ละหลักของ
แหล่งข้อมูล ค่าเอนโทรปีของแชนนอนนี้ได้กลายมาเป็นตัววัดความไม่แน่นอนของตัวแปรสุ่ม และดังนั้นจึงเป็นตัวบอกเกี่ยวกับข้อมูลที่บรรจุอยู่ในข้อความ เมื่อเปรียบเทียบกับส่วนของข้อความที่สามารถคาดการณ์ได้โดยโครงสร้างของมันเอง ตัวอย่างเช่น การใช้คำฟุ่มเฟือยในภาษาสื่อสาร หรือความถี่ของการเกิดตัวอักษรหรือคำแต่ละคู่หรือแต่ละชุด ดูห่วงโซ่มาร์คอฟเพิ่มเติม