แยกไฟล์ TARXZ

รูปแบบ Web ARChive (WARC) เป็นรูปแบบไฟล์มาตรฐานที่ใช้สำหรับการเก็บถาวรข้อมูลการรวบรวมข้อมูลเว็บ พัฒนาโดย International Internet Preservation Consortium (IIPC) เพื่อปรับปรุงรูปแบบ Internet Archive ARC ที่เก่ากว่า ไฟล์ WARC ประกอบด้วยลำดับบล็อกเนื้อหาที่เชื่อมต่อกัน โดยแต่ละบล็อกประกอบด้วยส่วนหัวข้อความธรรมดาและข้อมูลเนื้อหาไบนารี ทำให้เหมาะสำหรับการเก็บรักษาและการเข้าถึงทรัพยากรบนเว็บในระยะยาว

ไฟล์ WARC ออกแบบมาเพื่อจัดเก็บทั้งเนื้อหาเพย์โหลดและข้อมูลควบคุมจากโปรโตคอลเลเยอร์แอปพลิเคชันอินเทอร์เน็ตหลัก เช่น HTTP, DNS และ FTP ไฟล์ WARC แต่ละไฟล์เป็นที่เก็บถาวรที่แยกตัวออกมา ทำให้สามารถจัดเก็บทรัพยากรที่แยกจากกันหลายรายการในไฟล์เดียวได้ ซึ่งทำให้เป็นรูปแบบที่มีประสิทธิภาพและสะดวกสำหรับเว็บครอว์เลอร์ในการจัดเก็บและประมวลผลข้อมูลเว็บจำนวนมาก

ข้อกำหนดรูปแบบ WARC กำหนดประเภทของเรกคอร์ดหลายประเภท โดยแต่ละประเภทมีวัตถุประสงค์เฉพาะในการเก็บถาวร: - `warcinfo`: มีข้อมูลเมตาเกี่ยวกับไฟล์ WARC เอง เช่น ซอฟต์แวร์ที่ใช้สร้าง วันที่สร้าง และข้อมูลเพิ่มเติมใดๆ เกี่ยวกับการรวบรวมข้อมูล - `response`: จัดเก็บข้อความการตอบกลับ HTTP รวมถึงส่วนหัวและเนื้อหาตามที่เว็บเซิร์ฟเวอร์ส่งกลับ - `request`: จัดเก็บข้อความคำขอ HTTP ที่ส่งโดยครอว์เลอร์ไปยังเว็บเซิร์ฟเวอร์ - `metadata`: มีข้อมูลเพิ่มเติมเกี่ยวกับทรัพยากร เช่น ผลลัพธ์ของการสแกนไวรัสหรือข้อความที่ดึงมาจากหน้า HTML - `revisit`: ระบุว่าเนื้อหาของทรัพยากรยังไม่เปลี่ยนแปลงไปตั้งแต่การจับภาพครั้งก่อน ซึ่งช่วยให้สามารถจัดเก็บและเล่นซ้ำเว็บที่เก็บถาวรได้อย่างมีประสิทธิภาพมากขึ้น - `conversion`: จัดเก็บผลลัพธ์ของการแปลงทรัพยากรจากรูปแบบหนึ่งไปยังอีกรูปแบบหนึ่ง เช่น การแปลงหน้า HTML เป็นข้อความธรรมดา

แต่ละเรกคอร์ด WARC ประกอบด้วยส่วนหัวข้อความธรรมดาและบล็อกเนื้อหาไบนารี ส่วนหัวมีคู่ค่าคีย์ที่ให้ข้อมูลเมตาเกี่ยวกับเรกคอร์ด เช่น ประเภทเรกคอร์ด WARC, URI ของทรัพยากร, วันและเวลาที่จับภาพ และความยาวเนื้อหา บล็อกเนื้อหาไบนารีจัดเก็บข้อมูลจริงของทรัพยากร เช่น เนื้อหาตอบกลับ HTTP หรือเพย์โหลดของการถ่ายโอน FTP

ข้อได้เปรียบหลักประการหนึ่งของรูปแบบ WARC คือความสามารถในการจัดเก็บทรัพยากรหลายรายการในไฟล์เดียว ในขณะที่ยังคงรักษาความสมบูรณ์และบริบทของแต่ละทรัพยากรไว้ได้ ซึ่งทำได้โดยใช้รูปแบบการตั้งชื่อแบบลำดับชั้นสำหรับเรกคอร์ดภายในไฟล์ WARC แต่ละเรกคอร์ดได้รับการกำหนดตัวระบุที่ไม่ซ้ำกัน ซึ่งประกอบด้วยชื่อไฟล์ที่จำเป็นและ ID เรคคอร์ดแบบไม่บังคับ ซึ่งช่วยให้สามารถดึงข้อมูลและจัดการทรัพยากรแต่ละรายการภายในไฟล์ WARC ได้อย่างง่ายดาย

ไฟล์ WARC ยังรองรับการบีบอัด ซึ่งช่วยลดความต้องการพื้นที่จัดเก็บและเพิ่มความเร็วในการถ่ายโอน อัลกอริทึมการบีบอัดที่ใช้กับไฟล์ WARC ทั่วไปคือ gzip และ bzip2 ไฟล์ WARC ที่บีบอัดแล้วโดยทั่วไปจะมีนามสกุล `.warc.gz` หรือ `.warc.bz2` ตามลำดับ

เพื่ออำนวยความสะดวกในการประมวลผลและวิเคราะห์ไฟล์ WARC จึงมีการพัฒนาเครื่องมือซอฟต์แวร์และไลบรารีต่างๆ ซึ่งรวมถึงเว็บครอว์เลอร์ เช่น Heritrix ซึ่งสามารถส่งออกไฟล์ WARC ได้โดยตรง และเครื่องมือ เช่น OpenWayback ซึ่งสามารถเล่นซ้ำหน้าเว็บที่เก็บถาวรจากไฟล์ WARC ไลบรารีการเขียนโปรแกรม เช่น Java Web Archive Toolkit (JWAT) และไลบรารี Python WarcIO ให้ API สำหรับการอ่าน การเขียน และการจัดการไฟล์ WARC

รูปแบบ WARC ได้กลายเป็นมาตรฐานโดยพฤตินัยสำหรับการเก็บถาวรเว็บ เนื่องจากความแข็งแกร่ง ความยืดหยุ่น และการนำไปใช้ในวงกว้างโดยสถาบันและองค์กรต่างๆ ที่เกี่ยวข้องกับการเก็บรักษาเว็บ ช่วยให้สามารถสร้างเว็บที่เก็บถาวรขนาดใหญ่ เช่น Wayback Machine ของ Internet Archive ซึ่งมีหน้าเว็บที่จับภาพไว้กว่า 475,000 ล้านหน้าตั้งแต่ปี 1996

โดยสรุปแล้ว รูปแบบ WARC เป็นเครื่องมือสำคัญสำหรับการเก็บรักษาและเข้าถึงข้อมูลบนเว็บสำหรับคนรุ่นต่อๆ ไป โครงสร้างมาตรฐาน การรองรับประเภทเรกคอร์ดหลายประเภท และความสามารถในการจัดเก็บทั้งเนื้อหาและข้อมูลเมตา ทำให้เป็นรูปแบบที่เหมาะสำหรับการเก็บถาวรเว็บที่เติบโตและพัฒนาอย่างต่อเนื่อง เมื่ออินเทอร์เน็ตยังคงมีบทบาทสำคัญในชีวิตของเรา รูปแบบ WARC จะยังคงเป็นส่วนประกอบสำคัญของความพยายามในการเก็บรักษาเว็บอย่างไม่ต้องสงสัย