venice

แพลตฟอร์มข้อมูลที่ได้รับสำหรับปริมาณงานระดับดาวเคราะห์

Venice เป็นแพลตฟอร์มการจัดเก็บข้อมูลที่ได้รับมา โดยมีลักษณะดังต่อไปนี้:

1. การนำเข้าแบบอะซิงโครนัสปริมาณงานสูงจากแหล่งแบตช์และสตรีมมิ่ง (เช่น Hadoop และ Samza)
2. เวลาแฝงต่ำในการอ่านออนไลน์ผ่านการสืบค้นระยะไกลหรือการแคชในกระบวนการ
3. การจำลองแบบที่ใช้งานอยู่ระหว่างภูมิภาคที่มีการแก้ไขข้อขัดแย้งตาม CRDT
4. การสนับสนุนหลายคลัสเตอร์ภายในแต่ละภูมิภาคด้วยการกำหนดคลัสเตอร์ที่ขับเคลื่อนโดยผู้ปฏิบัติงาน
5. การเช่าหลายรายการ ความสามารถในการปรับขนาดแนวนอน และความยืดหยุ่นภายในแต่ละคลัสเตอร์

สิ่งที่กล่าวมาข้างต้นทำให้เวนิสมีความเหมาะสมเป็นพิเศษในฐานะองค์ประกอบของรัฐที่สนับสนุน Feature Store เช่น Feathr แอปพลิเคชัน AI ป้อนผลลัพธ์ของงานการฝึกอบรม ML ไปยังเวนิส จากนั้นจึงสืบค้นข้อมูลเพื่อใช้ระหว่างปริมาณงานการอนุมานออนไลน์

ภาพรวม

เวนิสเป็นระบบที่คร่อมโลกออฟไลน์ ใกล้โลก และออนไลน์ ดังภาพด้านล่าง

เขียนเส้นทาง

เส้นทางการเขียนของเวนิสสามารถแบ่งย่อยออกเป็นสามส่วนย่อย: การสลับชุดข้อมูลแบบเต็ม การแทรกแถวจำนวนมากลงในชุดข้อมูลที่มีอยู่ และการอัปเดตบางคอลัมน์ของบางแถว รายละเอียดทั้งสามประการได้รับการสนับสนุนโดย Hadoop และ Samza นอกจากนี้ บริการใดๆ สามารถสร้างการแทรกและการอัพเดตแถวเดียวแบบอะซิงโครนัสได้เช่นกัน โดยใช้ไลบรารี Online Producer ตารางด้านล่างสรุปการดำเนินการเขียนที่รองรับโดยแต่ละแพลตฟอร์ม:

	ฮาดูป	ซามซ่า	บริการใดๆ
การสลับชุดข้อมูลแบบเต็ม
การแทรกบางแถวลงในชุดข้อมูลที่มีอยู่
อัปเดตบางคอลัมน์ของบางแถว

ร้านค้าไฮบริด

ยิ่งไปกว่านั้น การดำเนินการเขียนทั้งสามส่วนสามารถผสมผสานกันภายในชุดข้อมูลเดียวได้ ชุดข้อมูลที่ได้รับการสลับชุดข้อมูลแบบเต็มนอกเหนือจากการแทรกแถวหรือการอัปเดตแถวเรียกว่า ไฮบริด

ในส่วนหนึ่งของการกำหนดค่าร้านค้าให้เป็น แบบไฮบริด แนวคิดที่สำคัญคือ เวลาย้อนกลับ ซึ่งกำหนดว่าการเขียนแบบเรียลไทม์ล่าสุดควรย้อนกลับไปไกลแค่ไหนและนำไปใช้กับชุดข้อมูลรุ่นใหม่ที่ถูกสลับเข้ามา

การใช้ประโยชน์จากกลไกนี้ทำให้สามารถซ้อนทับเอาต์พุตของงานประมวลผลสตรีมทับซ้อนกับงานแบตช์ได้ หากใช้การอัปเดตบางส่วน ก็เป็นไปได้ที่จะให้บางคอลัมน์ได้รับการอัปเดตแบบเรียลไทม์และบางคอลัมน์เป็นชุด และคอลัมน์ทั้งสองชุดนี้สามารถทับซ้อนกันหรือแยกจากกันได้ตามต้องการ

เขียนคอมพิวเตอร์

Write Compute มีการดำเนินการสองประเภท ซึ่งสามารถดำเนินการกับค่าที่เกี่ยวข้องกับคีย์ที่กำหนด:

• อัปเดตบางส่วน : ตั้งค่าเนื้อหาของฟิลด์ภายในค่า
• การรวมคอลเลกชัน : เพิ่มหรือลบรายการในชุดหรือแผนที่

หมายเหตุ: ปัจจุบัน การประมวลผลการเขียนได้รับการสนับสนุนร่วมกับการจำลองแบบแอคทีฟ-พาสซีฟเท่านั้น การสนับสนุนสำหรับการจำลองแบบที่ใช้งานอยู่อยู่ระหว่างการพัฒนา

อ่านเส้นทาง

Venice รองรับ API การอ่านต่อไปนี้:

• Single get : รับค่าที่เกี่ยวข้องกับคีย์เดียว
• Batch get : รับค่าที่เกี่ยวข้องกับชุดคีย์
• อ่านการคำนวณ : ฉายบางฟิลด์และ/หรือคำนวณฟังก์ชันบางอย่างบนฟิลด์ของค่าที่เกี่ยวข้องกับชุดคีย์ เมื่อใช้ read compute DSL ฟังก์ชันต่อไปนี้ได้รับการสนับสนุนในปัจจุบัน:
  • Dot product : ดำเนินการ dot product บนเวกเตอร์ float ที่จัดเก็บไว้ในฟิลด์ที่กำหนด เทียบกับเวกเตอร์ float อื่นที่ระบุเป็นพารามิเตอร์แบบสอบถาม แล้วส่งคืนสเกลาร์ผลลัพธ์
  • ความคล้ายคลึงโคไซน์ : ดำเนินการความคล้ายคลึงโคไซน์บนเวกเตอร์โฟลตที่จัดเก็บไว้ในฟิลด์ที่กำหนด เทียบกับเวกเตอร์โฟลตอื่นที่ให้มาเป็นพารามิเตอร์แบบสอบถาม แล้วส่งคืนสเกลาร์ผลลัพธ์
  • ผลิตภัณฑ์ Hadamard : ดำเนินการผลิตภัณฑ์ Hadamard บนเวกเตอร์ float ที่จัดเก็บไว้ในฟิลด์ที่กำหนด เทียบกับเวกเตอร์ float อื่นที่ให้ไว้เป็นพารามิเตอร์การสืบค้น และส่งคืนเวกเตอร์ผลลัพธ์
  • จำนวนคอลเลกชัน : ส่งคืนจำนวนรายการในคอลเลกชันที่จัดเก็บไว้ในช่องที่กำหนด

โหมดไคลเอนต์

มีสองโหมดหลักสำหรับการเข้าถึงข้อมูลเวนิส:

• Classical Venice (ไร้สัญชาติ): คุณสามารถดำเนินการสืบค้นระยะไกลกับบริการแบ็กเอนด์แบบกระจายของ Venice ได้ หากใช้การดำเนินการประมวลผลการอ่านในโหมดนี้ การสืบค้นจะถูกพุชลงไปที่แบ็กเอนด์ และเฉพาะผลลัพธ์การคำนวณเท่านั้นที่จะถูกส่งกลับไปยังไคลเอ็นต์ มีไคลเอ็นต์สองเครื่องที่สามารถสืบค้นระยะไกลดังกล่าวได้:
  • Thin Client : นี่คือไคลเอนต์ที่ง่ายที่สุดซึ่งส่งคำขอไปยังระดับเราเตอร์ซึ่งจะส่งคำขอไปยังระดับเซิร์ฟเวอร์เอง
  • Fast Client : ไคลเอนต์นี้รับรู้ถึงการแบ่งพาร์ติชัน ดังนั้นจึงสามารถส่งคำขอไปยังอินสแตนซ์เซิร์ฟเวอร์ที่ถูกต้องได้โดยตรง โดยข้ามระดับการกำหนดเส้นทาง โปรดทราบว่าไคลเอนต์นี้ยังอยู่ระหว่างการพัฒนาและอาจไม่เสถียรหรือมีความเท่าเทียมกันในการทำงานกับ Thin Client
• Da Vinci (เก็บสถานะ): หรือคุณสามารถโหลดพาร์ติชั่นบางส่วนหรือทั้งหมดของชุดข้อมูลและดำเนินการค้นหาแคชในเครื่องที่เป็นผลลัพธ์ได้ การอัปเดตข้อมูลในอนาคตจะยังคงได้รับการสตรีมและนำไปใช้กับแคชในเครื่อง

ตารางด้านล่างสรุปคุณลักษณะของลูกค้า:

	กระโดดเครือข่าย	เวลาแฝงทั่วไป (p99)	รอยเท้าของรัฐ
ไคลเอ็นต์แบบบาง	2	< 10 มิลลิวินาที	ไร้สัญชาติ
ลูกค้าด่วน	1	< 2 มิลลิวินาที	น้อยที่สุด (ข้อมูลเมตาการกำหนดเส้นทางเท่านั้น)
ไคลเอนต์ดาวินชี (RAM + SSD)	0	< 1 มิลลิวินาที	Bounded RAM ชุดข้อมูลเต็มบน SSD
ไคลเอนต์ Da Vinci (ออลอินแรม)	0	< 10 ไมโครวินาที	ชุดข้อมูลเต็มใน RAM

ไคลเอ็นต์ทั้งหมดเหล่านี้ใช้ API การอ่านเดียวกันกับที่อธิบายไว้ข้างต้น สิ่งนี้ทำให้ผู้ใช้สามารถเปลี่ยนแปลงต้นทุน/ประสิทธิภาพโดยไม่จำเป็นต้องเขียนแอปพลิเคชันใหม่

ทรัพยากร

บล็อกและการพูดคุยในการประชุม ของ Open Sourcing Venice เป็นจุดเริ่มต้นที่ดีเพื่อให้เห็นภาพรวมของกรณีการใช้งานและขนาดที่เวนิสสามารถรองรับได้ หากต้องการดูโพสต์ การพูดคุย และพอดแคสต์ของเวนิสเพิ่มเติม โปรดดูหน้าเรียนรู้เพิ่มเติมของเรา

เริ่มต้นใช้งาน

โปรดดูการเริ่มต้นอย่างรวดเร็วของเวนิสเพื่อสร้างคลัสเตอร์เวนิสของคุณเอง และลองใช้คุณสมบัติบางอย่าง เช่น การสร้างที่เก็บข้อมูล การพุชแบบแบตช์ การพุชแบบเพิ่มหน่วย และการรับครั้งเดียว เราขอแนะนำให้ยึดติดกับเวอร์ชันเสถียรล่าสุดของเรา

ชุมชน

รู้สึกอิสระที่จะมีส่วนร่วมกับชุมชนโดยใช้:

• พื้นที่ทำงานหย่อน
  • เก็บถาวรและค้นหาได้แบบสาธารณะบน Linen
• กลุ่ม LinkedIn
• ปัญหา GitHub
• คู่มือผู้ร่วมให้ข้อมูล

ติดตามเราเพื่อทราบข้อมูลเพิ่มเติมเกี่ยวกับความคืบหน้าของโครงการและชุมชนเวนิส:

• บล็อกอย่างเป็นทางการ
• หน้า LinkedIn
• หน้าเอ็กซ์
• ช่องยูทูป