การบีบอัดข้อมูลขนาดใหญ่: ประเภทและเทคนิค
\
บทนำ
บทความนี้จะพูดถึงการบีบอัดในบริบทของ Big Data โดยครอบคลุมประเภทและวิธีการบีบอัด ฉันจะเน้นย้ำด้วยว่าทำไมและเมื่อใดควรใช้แต่ละประเภทและวิธีการ
\
การบีบอัดคือะไร?
ตามความหมายทั่วไปในภาษาอังกฤษของการบีบอัด หมายถึงการลดขนาดของบางสิ่งให้ใช้พื้นที่น้อยลง ในวิทยาการคอมพิวเตอร์ การบีบอัดคือกระบวนการลดขนาดข้อมูลให้เล็กลง ข้อมูลในกรณีนี้อาจแสดงในรูปแบบของข้อความ เสียง ไฟล์วิดีโอ ฯลฯ คิดว่ามันเป็นทุกสิ่งที่คุณจัดเก็บบนฮาร์ดไดรฟ์ของคอมพิวเตอร์ เป็นข้อมูลที่แสดงในรูปแบบต่างๆ เพื่อให้คำจำกัดความทางเทคนิคที่ชัดเจนยิ่งขึ้น การบีบอัดคือกระบวนการเข้ารหัสข้อมูลเพื่อใช้บิตน้อยลง
\ มีเหตุผลหลายประการในการบีบอัดข้อมูล เหตุผลที่พบบ่อยและเข้าใจง่ายที่สุดคือการประหยัดพื้นที่จัดเก็บข้อมูล เหตุผลอื่นๆ เป็นผลมาจากการที่ข้อมูลมีขนาดเล็กลง ประโยชน์ของการทำงานกับข้อมูลที่มีขนาดเล็กลง ได้แก่:
- เวลาในการส่งข้อมูลที่เร็วขึ้น: ข้อมูลที่บีบอัดมีขนาดเล็กกว่าและใช้เวลาน้อยกว่าในการส่งจากต้นทางไปยังปลายทาง
- การใช้แบนด์วิธที่ลดลง: เหตุผลนี้เชื่อมโยงอย่างแน่นแฟ้นกับข้อได้เปรียบของการส่งข้อมูลที่เร็วขึ้น ข้อมูลที่บีบอัดใช้แบนด์วิธเครือข่ายน้อยลง ดังนั้นจึงเพิ่มปริมาณงานและลดความหน่วง
- ประสิทธิภาพที่ดีขึ้นสำหรับระบบดิจิทัลที่พึ่งพาข้อมูลอย่างมาก: สิ่งนี้เห็นได้ชัดในระบบที่พึ่งพาการประมวลผลข้อมูล ระบบเหล่านั้นใช้ประโยชน์จากการบีบอัดเพื่อปรับปรุงประสิทธิภาพของระบบโดยการลดปริมาณข้อมูลที่ต้องประมวลผล โปรดทราบว่าสิ่งนี้อาจเฉพาะระบบและจะพึ่งพาการใช้เทคนิคการบีบอัดที่เหมาะสม เทคนิคการบีบอัดจะกล่าวถึงในภายหลังในบทความนี้
- ประสิทธิภาพด้านต้นทุน: บริการคลาวด์เรียกเก็บเงินสำหรับการจัดเก็บข้อมูล โดยการใช้พื้นที่จัดเก็บน้อยลง จะช่วยประหยัดค่าใช้จ่าย โดยเฉพาะในระบบ Big Data
\ เหตุผลอื่นๆ ในการบีบอัดขึ้นอยู่กับเทคนิคและรูปแบบการบีบอัดที่แตกต่างกัน อัลกอริธึมการเข้ารหัสบางอย่างสามารถใช้เป็นวิธีการบีบอัดได้ การทำเช่นนี้รวมถึงชั้นความปลอดภัยสำหรับเหตุผลที่กล่าวถึงก่อนหน้านี้ในการบีบอัดข้อมูล นอกจากนี้ การใช้รูปแบบการบีบอัดทั่วไปนำมาซึ่งความเข้ากันได้และพื้นที่สำหรับการขยายไปยังระบบภายนอกเพื่อวัตถุประสงค์ในการบูรณาการ
\ เป็นที่น่าสังเกตว่าเหตุผลในการบีบอัดก็ฟังดูเหมือนประโยชน์ อย่างไรก็ตาม การบีบอัดไม่ได้ปราศจากการแลกเปลี่ยน การแลกเปลี่ยนทั่วไปอย่างหนึ่งในการบีบอัดคือความจำเป็นในการขยายข้อมูล ซึ่งอาจเป็นข้อกังวลสำหรับระบบที่มีทรัพยากรจำกัด การแลกเปลี่ยนอื่นๆ ขึ้นอยู่กับเทคนิคการบีบอัดและประเภทของข้อมูลที่ใช้
\
ประเภทของการบีบอัด
เพื่อพูดคุยเกี่ยวกับเทคนิคต่างๆ ที่ใช้ในการบีบอัดข้อมูล ฉันจะจัดประเภทการบีบอัดออกเป็น 2 หมวดหมู่หลักก่อน จากนั้นบทความนี้จะพูดคุยเกี่ยวกับเทคนิคที่เกี่ยวข้องกับแต่ละหมวดหมู่ การบีบอัดสามารถแบ่งออกเป็น Lossy และ Lossless compression
\ ตามชื่อที่บอกความหมายไว้แล้ว Lossy compression เป็นเทคนิคที่ไม่รักษาความถูกต้องครบถ้วนของข้อมูล กล่าวง่ายๆ คือข้อมูลบางส่วนถูกทิ้งไป แต่ไม่มากพอที่จะทำให้สิ่งที่ข้อมูลแสดงถึงไม่สามารถจดจำได้ ดังนั้น lossy compression จึงสามารถให้ระดับการบีบอัดที่สูงมากเมื่อเทียบกับ lossless compression ซึ่งจะแนะนำในไม่ช้า
\ ลักษณะของ lossy compression คือมันย้อนกลับไม่ได้ กล่าวคือ เมื่อนำเสนอไฟล์ที่บีบอัดแล้ว ไม่สามารถกู้คืนข้อมูลดิบด้วยความถูกต้องเดิมได้ ไฟล์และรูปแบบไฟล์บางอย่างเหมาะสำหรับ lossy compression โดยทั่วไปจะใช้สำหรับรูปภาพ เสียง และวิดีโอ ตัวอย่างเช่น รูปภาพรูปแบบ JPEG เหมาะสมกับการบีบอัด และโดยการบีบอัดรูปภาพ JPEG ผู้สร้างหรือบรรณาธิการสามารถเลือกได้ว่าจะนำการสูญเสียเข้ามามากน้อยเพียงใด
\ ในทางกลับกัน lossless compression สามารถย้อนกลับได้ หมายความว่าเมื่อบีบอัดแล้ว ข้อมูลทั้งหมดจะถูกเก็บรักษาไว้และกู้คืนได้อย่างสมบูรณ์ระหว่างการขยายข้อมูล สิ่งนี้บ่งบอกว่า lossless compression เหมาะสำหรับไฟล์ที่เป็นข้อความ และในโลกของ data warehouse และ lakehouse มันจะเป็นประเภทเดียวที่เกี่ยวข้องที่จะใช้ รูปแบบไฟล์เสียง (FLAC และ ALAC) และไฟล์รูปภาพ (GIF, PNG ฯลฯ) บางรูปแบบทำงานได้ดีกับประเภทการบีบอัดนี้
การเลือกวิธีการ
ไม่มีวิธีการบีบอัดที่ดีที่สุดโดยทั่วไป ปัจจัยต่างๆ เข้ามามีส่วนในการเลือกว่าวิธีการใดจะเหมาะสมในแต่ละกรณี เพื่อเน้นย้ำสิ่งนี้ด้วยตัวอย่าง วิศวกรข้อมูลในอุตสาหกรรมการเงินที่ทำงานกับข้อมูลแบบตารางที่จัดเก็บไว้มักจะใช้ lossless compression เนื่องจากผลกระทบของข้อมูลที่หายไปในการสร้างรายงานที่ถูกต้อง หรือ lossy compression อาจเป็นทางเลือกในการเพิ่มประสิทธิภาพหน้าเว็บที่มีรูปภาพจำนวนมากโดยการบีบอัดรูปภาพและลดรายการโหลดโดยทำให้เว็บไซต์เบาลง ดังนั้นจึงเป็นสิ่งสำคัญที่จะต้องทำการประเมินเพื่อกำหนดวิธีการบีบอัดที่เหมาะสมที่สุดที่สอดคล้องกับความต้องการทางธุรกิจ
เทคนิคการบีบอัด
ส่วนนี้จะครอบคลุมเฉพาะเทคนิคการบีบอัดทั่วไปสำหรับทั้ง lossy และ lossless compression โปรดทราบว่าสิ่งนี้ไม่ครอบคลุมทุกอย่าง นอกจากนี้ เทคนิคที่กล่าวถึงอาจมีการเปลี่ยนแปลงเล็กน้อยเพื่อเพิ่มประสิทธิภาพตามที่สนับสนุนโดยการวิจัยต่างๆ
เทคนิค Lossless compression
เทคนิค lossless ทั่วไปสามแบบคือ Run-Length Encoding (RLE), Huffman Coding และเทคนิค Lempel-Ziv-Welch
\ Run-Length Encoding: RLE อิงจากการเข้ารหัสข้อมูล โดยจะแทนที่ลำดับของข้อมูลที่ซ้ำกันด้วยข้อมูลชิ้นเดียวและจำนวนของข้อมูลชิ้นนั้น มันมีประสิทธิภาพสำหรับข้อมูลที่ซ้ำกันเป็นระยะยาว นอกจากนี้ ชุดข้อมูลที่มีมิติ (ฟิลด์) ที่เรียงลำดับจากระดับต่ำไปยังระดับสูงของ cardinality จะได้ประโยชน์จาก RLE
\ ตัวอย่างเช่น ใช้สตริงง่ายๆ เช่น AAAAABBCDDD. RLE บีบอัดข้อมูลให้กลายเป็น A(5)B(2)C(1)D(3). เพื่อให้เป็นไปได้จริงมากขึ้น ให้ดูตารางในภาพด้านล่าง
\ รูปที่ 1 - ก่อน RLE สิ่งสำคัญคือต้องสังเกตว่าระดับของ cardinality กำลังเพิ่มขึ้นในฟิลด์จากซ้ายไปขวา
รูปที่ 2 - หลัง RLE
เนื่องจาก RLE ขึ้นอยู่กับการทำงานของฟิลด์ที่ซ้ำกัน และในตัวอย่างที่สอง cardinality และลำดับการเรียงลำดับของข้อมูล บันทึก Mouse ในคอลัมน์รายการไม่สามารถบีบอัดเป็นเพียง Mouse (3) ได้ เพราะคอลัมน์ก่อนหน้าแบ่งค่าทั้งหมดเป็น IT, Mouse และ HR, Mouse. รูปแบบไฟล์บางอย่างเข้ากันได้กับ RLE เช่น รูปแบบไฟล์บิตแมปเช่น TIFF, BMP ฯลฯ ไฟล์ Parquet ยังรองรับ RLE ทำให้มีประโยชน์มากในระบบ data lakehouse ที่ทันสมัยที่ใช้ object storage เช่น S3 หรือ GCS
\ Huffman Coding: มันอิงจากการสร้างแบบจำลองทางสถิติที่กำหนดรหัสความยาวผันแปรให้กับค่าในข้อมูลดิบตามความถี่ที่เกิดขึ้นในข้อมูลดิบ การแสดงของการสร้างแบบจำลองนี้สามารถเรียกว่า Huffman tree ซึ่งคล้ายกับ binary tree จากนั้น tree นี้จะถูกใช้เพื่อสร้างรหัส Huffman สำหรับแต่ละค่าในข้อมูลดิบ อัลกอริธึมจัดลำดับความสำคัญการเข้ารหัสค่าที่พบบ่อยที่สุดในบิตที่น้อยที่สุดที่เป็นไปได้
\ มาใช้ข้อมูลเดียวกันที่ใช้ในตัวอย่าง RLE AAAAABBCDDD. Huffman tree ที่สอดคล้องกันมีลักษณะดังนี้
\ Huffman Tree
จาก tree เราสามารถเห็นว่าตัวอักษร A ถูกแสดงด้วย 0 เช่นเดียวกัน D ถูกแสดงด้วย 10. เมื่อเปรียบเทียบกับตัวอักษร B: 111 และ C:110 เราสังเกตว่า A และ D ถูกแสดงด้วยบิตที่น้อยกว่า นี่เป็นเพราะว่าพวกเขามีความถี่ที่สูงกว่า ดังนั้นอัลกอริธึม Huffman จึงแสดงพวกเขาด้วยบิตที่น้อยกว่าโดยการออกแบบ ข้อมูลที่บีบอัดที่เกิดขึ้นกลายเป็น 00000111111110101010.
\ Huffman Coding ใช้ prefix rule, ซึ่งระบุว่า รหัสที่แสดงถึงตัวอักษรไม่ควรอยู่ใน prefix ของรหัสอื่นใด. ตัวอย่างเช่น รหัส Huffman ที่ถูกต้องไม่สามารถมีตัวอักษร c และ d ที่แสดงโดยใช้ C: 00 และ D: 000 เพราะการแสดงของ C เป็น prefix ของ D.
\ เพื่อดูสิ่งนี้ในการดำเนินการ Computer Science Field Guide มี Huffman Tree Generator ที่คุณสามารถเล่นได้
\ Lempel–Ziv–Welch Coding: มันถูกสร้างขึ้นโดย Abraham Lempel, Jacob Ziv และ Terry Welch ในปี 1984 และตั้งชื่อตามผู้สร้าง เห็นได้ชัด 😅. เหมือนกับ RLE และ Huffman Coding, LZW ทำงานได้ดีกับข้อมูลที่มีข้อมูลซ้ำกันจำนวนมาก อัลกอริธึม LZW เป็นแบบอิงจากพจนานุกรมและสร้างพจนานุกรมที่มีคู่ key-value ของรูปแบบที่พบบ่อยในข้อมูลดิบ พจนานุกรมดังกล่าวสามารถเรียกว่า code table ได้เช่นกัน ใช้ภาพประกอบเพื่ออธิบายว่าเทคนิคนี้ทำงานอย่างไร ให้เราใช้ข้อมูลดิบที่แสดงโดย ABBABABABA. เมื่อส่งผ่านอัลกอริธึมโดยใช้การกำหนดค่า A-Z เป็นค่าที่เป็นไปได้ code table ที่เกิดขึ้นมีลักษณะดังนี้:
\ LZW Code Table
จาก code table ข้างต้น มีคู่ key-value สำหรับตัวอักษรทั้งหมด A-Z และคู่ key-value สำหรับรูปแบบเช่น AB, BB, BA และ ABA. โดยมีการแสดงที่สั้นกว่าของรูปแบบเหล่านี้ อัลกอริธึม LZW สามารถบีบอัดข้อมูลดิบโดยการเข้ารหัสเป็นบิตที่น้อยลง ดังนั้น โดยใช้ code table ที่สร้างจากอินพุตนั้น เวอร์ชันที่บีบอัดคือ 0 1 1 26 29 28. เป็นสิ่งสำคัญที่จะต้องสังเกตช่องว่างในข้อมูลที่บีบอัด คนหนึ่งสามารถคิดว่าพวกเขาเป็นจุดสิ้นสุดของตัวอักษร ดังนั้นตัวถอดรหัสจะไม่ตีความ 1,0 เป็น 10 เพราะพวกเขาหมายถึงสิ่งที่แตกต่างกัน
\ LZW มักจะเป็นวัตถุประสงค์ทั่วไปและใช้กันอย่างแพร่หลายในปัจจุบัน มันถูกรวมเข้ากับระบบปฏิบัติการที่ใช้ Unix/Linux จำนวนมากเบื้องหลังคำสั่ง shell compress. นอกจากนี้ รูปแบบไฟล์ทั่วไปที่เข้ากันได้กับ LZW คือ GIF, TIFF และ PDF. การประยุกต์ใช้อื่นๆ ของ LZW Compression สามารถเห็นได้ในสาขาการประมวลผลภาษาธรรมชาติ ตามที่กล่าวไว้ในเอกสารนี้เกี่ยวกับ tokenization in NLP.
\ RLE, Huffman Coding และ LZW Coding เป็นเพียงตัวอย่างทั่วไป เทคนิค Lossless compression นั้นมีมากกว่าสาม (3) อย่างที่อธิบายข้างต้น เทคนิคอื่นๆ รวมถึง DEFLATE, ซึ่งใช้การผสมผสานของ Huffman และ LZW - โดยเฉพาะ LZ77 - Coding
เทคนิค Lossy compression
ในส่วนนี้ เราจะดูประเภทของ lossy compression สองประเภท จำไว้ว่า lossy compression นำการสูญเสียมาสู่ข้อมูลเดิม หมายความว่าข้อมูลทั้งหมดไม่ได้ถูกเก็บรักษาไว้
\ Discrete Cosine Transform (DCT): วิธีการบีบอัดนี้ใช้หลักในไฟล์เสียง รูปภาพ และวิดีโอ และมักเรียกว่าการบีบอัดแบบบลอก มันใช้ฟังก์ชันทางคณิตศาสตร์ - ฟังก์ชันโคไซน์ ตามชื่อที่บอก - เพื่อแปลงบลอกของข้อมูลเดิมให้เป็นความถี่ บลอกของข้อมูลมักจะเป็นเมทริกซ์ 8x8, 4x4 และอื่นๆ ตามลำดับขนาดนั้น
\ การบีบอัดเกิดขึ้นเมื่อจัดการกับความถี่สูงที่เกิดขึ้นในข้อมูล เมื่อข้อมูลดิบถูกแปลงเป็นโดเมนความถี่โดยใช้ฟังก์ชันทางคณิตศาสตร์ กระบวนการโดยรวมของการใช้ DCT สำหรับการบีบอัดคือ:
- แบ่งข้อมูลดิบออกเป็นชิ้นๆ ตัวอย่างเช่น ในการบีบอัดรูปภาพ สิ่งนี้อาจเป็น 8x8 พิกเซล
- ใช้ฟังก์ชันทางคณิตศาสตร์เพื่อแปลงชิ้นข้อมูลเป็นความถี่ สิ่งนี้จะส่งผลให้มีความถี่สูงและความถี่ต่ำบางอย่าง
- จากนั้นความถี่สูงจะถูกลดหรือลบออกขึ้นอยู่กับระดับการสูญเสียที่ยอมรับได้ที่คุณเต็มใจที่จะนำเข้ามา นี่คือจุดที่มันกลายเป็น lossy compression จริงๆ
- เพื่อแปลงกลับเป็นข้อมูลที่แสดงได้ ความถี่ที่เหลือทั้งหมดจะถูกส่งผ่าน Inverse Discrete Cosine Transform - IDCT - เพื่อกู้คืนข้อมูลจากความถี่
\ DCT ใช้กันอย่างแพร่หลายในสาขาต่างๆ ในปัจจุบัน ไม่เพียงแต่ในการบีบอัด แต่ยังรวมถึงการประมวลผลสัญญาณด้วย รูปแบบไฟล์ทั่วไปที่เข้ากันได้กับ DCT คือ JPEG (รูปภาพ), MP3 (เสียง) และ MPEG (วิดีโอ). นอกจากนี้ DCT สามารถบรรลุอัตราการบีบอัดสูง ทำให้เหมาะสำหรับระบบดิจิทัลที่มีรูปภาพจำนวนมาก เช่น หน้าเว็บบนอินเทอร์เน็ต
\ Fractal Compression: แฟร็กทัลคือรูปแบบที่ไม่มีที่สิ้นสุดที่ซ้ำตัวเองซึ่งซ้ำกันในระดับที่แตกต่างกัน เมื่อดูจากจุดใดก็ตามบนระดับ รูปแบบดูคล้ายกัน เพราะรูปแบบคล้ายกันในทุกระดับ การบีบอัดแบบแฟร็กทัลจึงลดขนาดของแฟร็กทัล 'ใหญ่' เพื่อลดขนาดของข้อมูล
\ ตัวอย่างของแฟร็กทัล
Fractal Compression ถูกนำเสนอโดย Michael Barnsley ในช่วงทศวรรษ 1980 แนวคิดทั่วไปโดยใช้รูปภาพคือถ้ารูปภาพมีหลายส่วนที่ดูเหมือนกัน ทำไมต้องเก็บพวกเขาสองครั้ง? เพื่อทำสิ่งนี้ การบีบอัดแบบแฟร็กทัลทำดังต่อไปนี้:
- แบ่งพาร์ติชันรูปภาพออกเป็นบลอกที่ไม่ทับซ้อนกันซึ่งเรียกว่า range blocks. นี่อาจเป็น range blocks ของ 8x8, 16x16 พิกเซล ฯลฯ
- มันสแกนรูปภาพสำหรับรูปแบบที่ซ้ำตัวเอง (รูปแบบแฟร็กทัล). โดยใช้ range blocks อัลกอริธึมจะค้นหาส่วนที่ใหญ่กว่าของรูปภาพที่คล้ายกับ range blocks เหล่านี้ ส่วนที่ใหญ่กว่าเหล่านี้เรียกว่า domain blocks.
- จากนั้นฟังก์ชัน transform จะถูกนำไปใช้กับ domain block เพื่อประมาณ range blocks ฟังก์ชัน transform เหล่านี้เป็นฟังก์ชันทางคณิตศาสตร์เช่นการปรับขนาด การแปล การหมุน ฯลฯ พวกเขายังสามารถเรียกว่า transformations ได้ transformations เหล่านี้เรียกว่า fractal codes ที่เกี่ยวกับ Fractal Compression
- จากนั้นข้อมูลจะถูกเข้ารหัสไปยังฟังก์ชัน transform เหล่านั้น แทนที่จะจัดเก็บข้อมูลพิกเซล-พิกเซล transformations จะถูกจัดเก็บ transformations เหล่านี้เป็นกฎที่อธิบายวิธีการสร้างรูปภาพจาก domain blocks
\ ด้วย fractal codes รูปภาพจะถูกสร้างขึ้นใหม่โดยใช้กระบวนการที่ทำซ้ำ กระบวนการนี้อาจมีค่าใช้จ่ายในการคำนวณสูง แต่การบีบอัดแบบแฟร็กทัลสามารถบรรลุอัตราการบีบอัดสูงเมื่อเทียบกับเทคนิคการบีบอัดอื่นๆ เนื่องจากการพึ่งพารูปแบบที่ซ้ำตัวเอง มันจะทำงานได้ดีกว่าในข้อมูลที่เป็นไปตามที่มีรูปแบบที่ซ้ำตัวเองดังกล่าว ตัวอย่างจะเป็นภาพถ่ายภูมิทัศน์ (ภาพของธรรมชาติ) และภาพ DNA
\ มีเทคนิคการบีบอัดแบบ lossy อื่นๆ เช่น Discrete Wavelet Transform, Quantization. เทคนิคเหล่านี้มักใช้ในไฟล์รูปภาพ เสียง และวิดีโอ และเหมาะสำหรับประเภทหรือรูปแบบไฟล์บางอย่าง - JPEG, MP3 - สำหรับแต่ละประเภทไฟล์
\ Lossy compression โดยทั่วไปมีอัตราการบีบอัดที่สูงกว่า lossless compression และบางครั้งคาดหวังว่าผู้ใช้รู้จำนวนการสูญเสียที่จะนำเข้ามาล่วงหน้า เป็นสิ่งที่เกี่ยวข้องในการเน้นว่าการเลือกวิธีการและเทคนิคการบีบอัดขึ้นอยู่กับปัจจัยหลายอย่าง แกนหลักของปัจจัยเหล่านี้คือรูปแบบข้อมูลและผลลัพธ์ที่ต้องการ
TL;DR
โดยรวม โพสต์นี้พูดคุยเกี่ยวกับการบีบอัดในโลกของข้อมูล มันพึ่งพาอย่างมากกับองค์ความรู้ที่มีอยู่ในวิทยาศาสตร์คอมพิวเตอร์และทฤษฎีสารสนเทศ การบีบอัดหมายถึงการลดปริมาณที่เอนทิตีครอบครอง และในสาขาของข้อมูล ปริมาณหมายถึงพื้นที่จัดเก็บข้อมูล การบีบอัดในระบบดิจิทัลมีข้อได้เปรียบมากมายเมื่อทำอย่างถูกต้อง สิ่งที่ชัดเจนคือมันลดพื้นที่และให้พื้นที่ในการจัดเก็บข้อมูลเพิ่มเติม ข้อได้เปรียบอื่นๆ รวมถึงการส่งที่เร็วขึ้น การใช้แบนด์วิธน้อยลง และการปรับปรุงทั่วไปในประสิทธิภาพของระบบดังกล่าว จำไว้ว่า นี่คือเมื่อทำอย่างถูกต้อง
\ เพื่อใช้ประโยชน์จากข้อได้เปรียบของการบีบอัด สิ่งสำคัญคือต้องรู้ว่าจะใช้ประเภทใด การบีบอัดเป็นแบบ lossy หรือ lossless Lossy compression นำการสูญเสียมาสู่ข้อมูลเดิมที่มักจะย้อนกลับไม่ได้ ในขณะที่ lossless compression บีบอัดข้อมูลและรักษาข้อมูลทั้งหมดที่มีอยู่ในข้อมูลเดิม นอกจากนี้ ยังมีการอภิปรายเกี่ยวกับประเภทการบีบอัดแบบผสมผสาน แต่ฉันคิดว่าการผสมผสานของ lossy และ lossless ก็เป็นแค่ lossy แจ้งให้ฉันทราบว่าคุณคิดอย่างไรในความคิดเห็น
\ สุดท้าย เทคนิคต่างๆ ถูกนำเสนอสำหรับทั้ง lossy และ lossless compression รายการของเทคนิคและคำอธิบายของเทคนิคเหล่านี้ไม่ครอบคลุมทั้งหมดหรือครอบคลุม ฉันพิจารณาว่าพวกเขาเป็นเพียงจุดเริ่มต้นที่ดีในการให้ความคิดเห็นเกี่ยวกับวิธีการทำงานของแต่ละเทคนิค เพื่อสรุป ฉันได้เพิ่มแหล่งข้อมูลเพิ่มเติมเพื่อช่วยคุณสืบสวนเพิ่มเติมและอ่านเพิ่มเติมเกี่ยวกับการบีบอัดใน big data
แหล่งข้อมูลเพิ่มเติม
Video: Data Lake fundamentals - RLE encoding with Parquet in practice
Paper: A review of data compression techniques
Paper: lossless compression techniques
A concise introduction to Data Compression by David Salomon
Paper: A Study of Various Data Compression Techniques
Blog Post: Compression in open file formats
Article: Open file formats
Article: Compression in databases
Lossy Compression for Genomic data (RNA)
\
คุณอาจชอบเช่นกัน
พวกสาธารณรัฐจากรัฐสีแดงเหล่านี้ต้องหยุดเงียบ — ชีวิตของเราขึ้นอยู่กับมัน
การ 'ยอมรับอย่างโจ่งแจ้ง' ของรักษาการอัยการสูงสุดบ่งชี้ว่าทรัมป์เกี่ยวข้องกับแผนการแก้แค้น: นักวิเคราะห์
