การทำงานร่วมกันของ Plex Server และฮาร์ดแวร์ LLM ในพื้นที่: เหตุใดจึงควรใช้งานร่วมกัน

การทำงานร่วมกันของ Plex Server และฮาร์ดแวร์ LLM ในพื้นที่: เหตุใดจึงควรใช้งานร่วมกัน

ผู้ที่ชื่นชอบการทำโฮมแล็บหลายคนมักเข้าใจผิดว่าจำเป็นต้องมีเซิร์ฟเวอร์ทางกายภาพที่แยกจากกันอย่างสิ้นเชิงเพื่อใช้เป็นโฮสต์สำหรับแพลตฟอร์มสตรีมมิ่งสื่อและโมเดลภาษาขนาดใหญ่ในเครื่อง อย่างไรก็ตาม งานที่ต้องการประสิทธิภาพสูงทั้งสองอย่างนี้มีข้อกำหนดด้านฮาร์ดแวร์ที่คล้ายคลึงกันอย่างมาก ทำให้สามารถรวมเข้าไว้ในเครื่องเดียวได้โดยไม่ต้องซื้ออุปกรณ์เพิ่มเติม

The GEEKOM IT15 mini PC on a desk with a keyboard and ereader.
The GEEKOM IT15 mini PC on a desk with a keyboard and ereader.

ใช้ประโยชน์จากฮาร์ดแวร์กราฟิกที่มีอยู่ของคุณ

โมเดลภาษาขนาดใหญ่ หรือที่เรียกกันทั่วไปว่า LLM ต้องการทรัพยากรการประมวลผลจำนวนมากในการประมวลผลและสร้างข้อความ โชคดีที่การเร่งความเร็วฮาร์ดแวร์ที่จำเป็นในการเรียกใช้โมเดลปัญญาประดิษฐ์นั้นคล้ายคลึงกับความสามารถที่ใช้โดยเซิร์ฟเวอร์มีเดียสำหรับการแปลงรูปแบบวิดีโอ ไม่ว่าระบบของคุณจะใช้การ์ดกราฟิกแบบรวม (iGPU) หรือการ์ดกราฟิกเฉพาะ (dGPU) ระบบก็สามารถสลับไปมาระหว่างการสตรีมมีเดียและการประมวลผลคำขอจากโครงข่ายประสาทเทียมได้อย่างง่ายดาย

Someone holding the Intel NUC 13 Pro.
Someone holding the Intel NUC 13 Pro.

แม้ว่าระบบเดิมที่สามารถใช้งานคลังสื่อได้อาจไม่ได้ให้ประสิทธิภาพสูงสุดสำหรับงานประมวลผลปัญญาประดิษฐ์ แต่แพลตฟอร์มพื้นฐานใดๆ ที่รองรับการสตรีมวิดีโอ ก็สามารถรองรับโมเดลปัญญาประดิษฐ์ได้ในทางเทคนิค ความแตกต่างหลักอยู่ที่ความเร็วในการประมวลผลของสถาปัตยกรรมโปรเซสเซอร์ที่แตกต่างกัน

Front of the Intel Core i5 Gen 14 CPU.
Front of the Intel Core i5 Gen 14 CPU.

ทำความเข้าใจเกี่ยวกับเวลาว่างของเซิร์ฟเวอร์และการแบ่งปันทรัพยากร

ในการใช้งานทั่วไปภายในบ้าน ซอฟต์แวร์สตรีมมิ่งสื่อมักใช้เวลาส่วนใหญ่ในการทำงานอยู่ในสถานะไม่ได้ใช้งาน แม้ว่าจะมีเนื้อหาสตรีมมิ่งอยู่ตลอดเวลา การตั้งค่าที่เหมาะสมจะช่วยให้สามารถเล่นเนื้อหาได้โดยตรงโดยไม่ต้องแปลงรูปแบบไฟล์จำนวนมาก ส่งผลให้ฮาร์ดแวร์กราฟิกแทบไม่ได้ถูกใช้งานเลยตลอดทั้งวัน ซึ่งเป็นการเปิดโอกาสที่ดีสำหรับการทำงานด้านปัญญาประดิษฐ์ในเบื้องหลัง เช่น การช่วยเขียนโค้ด ตัวแทนแชท หรือระบบอัตโนมัติในบ้านอัจฉริยะ

The Intel i5-13600K processor seated on a motherboard.
The Intel i5-13600K processor seated on a motherboard.

นอกจากนี้ ตัวแทนปัญญาประดิษฐ์ไม่ต้องการทรัพยากรระบบอย่างต่อเนื่อง แพลตฟอร์มซอฟต์แวร์อย่าง Ollama จะโหลดโมเดลภาษาลงในหน่วยความจำแบบไดนามิกเฉพาะในช่วงที่มีการใช้งานของผู้ใช้หรือการร้องขอ API อัตโนมัติเท่านั้น เมื่อไม่มีใครสนทนากับระบบ โมเดลจะไม่รบกวนหน่วยความจำระบบมากนัก ทำให้สามารถทำงานร่วมกับแพลตฟอร์มสตรีมมิ่งของคุณได้อย่างราบรื่น

Intel ARC GPU.
Intel ARC GPU.

อุปกรณ์ฮาร์ดแวร์ที่น่าสนใจ: UGREEN NASync DXP2800

แบรนด์: UGREEN

ซีพียู: Intel เจนเนอเรชั่นที่ 12 ซีรี่ส์ N

อุปกรณ์จัดเก็บข้อมูลแบบเชื่อมต่อเครือข่าย (NAS) ที่ล้ำสมัยนี้จะพลิกโฉมวิธีการจัดเก็บและเข้าถึงข้อมูลผ่านสมาร์ทโฟน แล็ปท็อป แท็บเล็ต และทีวี ทุกที่ที่มีการเชื่อมต่อเครือข่าย

UGREEN NASync DSP2800 thumbnail
UGREEN NASync DSP2800 thumbnail

การจัดการภาระงานพร้อมกันบนสถาปัตยกรรมสมัยใหม่

ข้อกังวลที่พบบ่อยคือจะเกิดอะไรขึ้นเมื่อสตรีมวิดีโอทำให้เกิดการแปลงรหัสในขณะที่แบบจำลองปัญญาประดิษฐ์กำลังสร้างการตอบสนองอยู่ แพลตฟอร์มการประมวลผลสมัยใหม่มีพื้นที่การคำนวณเหลือเฟือ เว้นแต่ว่าระบบจะทำการลดขนาดสตรีม 4K HDR ขนาดใหญ่หลายๆ สตรีมลงเป็นความละเอียดมาตรฐาน การแปลงวิดีโอทั่วไปจะใช้เพียงเศษเสี้ยวของความสามารถในการประมวลผลโดยรวมเท่านั้น

A side shot of the Intel i9-13900K processor set up against the Intel box.
A side shot of the Intel i9-13900K processor set up against the Intel box.

แม้ว่าระบบของคุณจะใช้โปรเซสเซอร์ระดับกลางแทนที่จะเป็นชิปเดสก์ท็อประดับไฮเอนด์ แต่ชิปซิลิคอนสมัยใหม่ก็มีความสามารถที่น่าทึ่ง ตัวอย่างเช่น โปรเซสเซอร์ระดับแล็ปท็อปรุ่นใหม่ๆ มักจะมีประสิทธิภาพโดยรวมเหนือกว่าโปรเซสเซอร์เดสก์ท็อปรุ่นเรือธงรุ่นเก่าๆ ชิปสมัยใหม่เหล่านี้มีระบบกราฟิกในตัวขั้นสูงที่เหมาะสำหรับการแปลงวิดีโอ พร้อมทั้งรองรับมาตรฐานหน่วยความจำความเร็วสูงพิเศษ ซึ่งเป็นประโยชน์ต่อประสิทธิภาพของปัญญาประดิษฐ์เมื่อมีหน่วยความจำวิดีโอเฉพาะจำกัด

NVIDIA GeForce RTX GPU inside a gaming PC.
NVIDIA GeForce RTX GPU inside a gaming PC.

เนื่องจากประสิทธิภาพของโปรเซสเซอร์พัฒนาขึ้นอย่างต่อเนื่อง อุปกรณ์จัดเก็บข้อมูลเครือข่ายระดับเริ่มต้นและคอมพิวเตอร์ขนาดกะทัดรัดจึงมีกำลังประมวลผลมากเกินพอที่จะจัดการกับการแปลงวิดีโอหลายรายการและโมเดลภาษาพื้นหลังพร้อมกันได้ การรวมบริการเหล่านี้ไว้ในฮาร์ดแวร์ชิ้นเดียวจะช่วยเพิ่มประสิทธิภาพการลงทุนด้านเทคโนโลยีของคุณโดยไม่ลดทอนความน่าเชื่อถือ

A GEEKOM A5 mini PC being held in a person's hand.
A GEEKOM A5 mini PC being held in a person's hand.

คำถามที่พบบ่อย

เซิร์ฟเวอร์มีเดียที่มีอยู่ของฉันสามารถใช้งานโมเดลภาษาท้องถิ่นได้โดยไม่ต้องอัปเกรดหรือไม่?

ใช่แล้ว หากเซิร์ฟเวอร์ของคุณจัดการการสตรีมวิดีโอโดยใช้การ์ดกราฟิกแบบรวมหรือแบบแยก ฮาร์ดแวร์เดียวกันนั้นก็มีสถาปัตยกรรมประมวลผลพื้นฐานที่จำเป็นในการประมวลผลโมเดลภาษาอยู่แล้ว

โมเดลภาษาขนาดใหญ่ทำงานอยู่ตลอดเวลาในพื้นหลังหรือไม่?

ไม่ แอปพลิเคชันอย่าง Ollama จะเก็บโมเดลไว้ในหน่วยความจำโดยไม่ได้โหลดจนกว่าจะมีการส่งพรอมต์หรือคำขอ API ที่ใช้งานอยู่ ซึ่งหมายความว่าแอปพลิเคชันเหล่านี้จะใช้ทรัพยากรน้อยที่สุดในช่วงเวลาที่ไม่ได้ใช้งาน

การแปลงไฟล์วิดีโอจะรบกวนการประมวลผลของปัญญาประดิษฐ์หรือไม่?

การแปลงไฟล์มีเดียมาตรฐานส่วนใหญ่ใช้เพียงส่วนน้อยของความสามารถของโปรเซสเซอร์สมัยใหม่ ทำให้มีพื้นที่เหลือเฟือสำหรับการประมวลผลงานปัญญาประดิษฐ์ในเบื้องหลัง

ฉันจำเป็นต้องใช้การ์ดจอแยกสำหรับชุดอุปกรณ์นี้หรือไม่?

การ์ดจอแยกไม่ใช่สิ่งจำเป็น เพราะกราฟิกแบบรวมในตัวและสถาปัตยกรรมโปรเซสเซอร์รุ่นใหม่ๆ ในปัจจุบันมีประสิทธิภาพเพียงพอที่จะรองรับทั้งการแปลงไฟล์สตรีมมิ่งและงานประมวลผลปัญญาประดิษฐ์ที่ไม่หนักมากได้

หน่วยประมวลผลประสาทเทียมมีบทบาทอย่างไรในเซิร์ฟเวอร์สมัยใหม่?

หน่วยประมวลผลประสาทเทียม หรือ NPU คือซิลิคอนชนิดพิเศษที่ถูกรวมเข้ากับหน่วยประมวลผลกราฟิก ออกแบบมาเพื่อเร่งความเร็วงานด้านปัญญาประดิษฐ์และการเรียนรู้ของเครื่องอย่างมีประสิทธิภาพ

การทำงานร่วมกันของ Plex Server และฮาร์ดแวร์ LLM ในพื้นที่: เหตุใดจึงควรใช้งานร่วมกัน | WukiHow