ที่ GTC Taipei และ Computex วันนี้ NVIDIA Corp. เปิดเผยทักษะและเครื่องมือ AI ทางกายภาพแบบโอเพ่นซอร์ส-หลายอย่างเพื่อช่วยนักพัฒนาหุ่นยนต์ ยานพาหนะที่ขับเคลื่อนอัตโนมัติ AI แบบมองเห็น และแฝดดิจิทัลทางอุตสาหกรรม บริษัทอ้างว่าสามารถช่วยลดต้นทุน เวลา และความซับซ้อนในการสร้างเวิร์กโฟลว์ AI ทางกายภาพในวงกว้างได้
มีจำหน่ายเป็นส่วนหนึ่งของชุดเครื่องมือตัวแทน NVIDIAทักษะใหม่นี้จะช่วยให้เจ้าหน้าที่ AI เร่งความเร็วในการสร้างข้อมูล การจำลอง การฝึกอบรม การประเมินผล และขั้นตอนการใช้งานเบื้องหลังหุ่นยนต์ ยานพาหนะอัตโนมัติ (AV) โรงงาน และห้องปฏิบัติการ บริษัทกล่าว
“ตัวแทน AI กำลังปฏิวัติการพัฒนาซอฟต์แวร์ และการเปลี่ยนแปลงดังกล่าวกำลังมาถึง AI ทางกายภาพ โดยขยายไปสู่ระบบที่จะเปลี่ยนแปลงการขนส่ง การผลิต การดูแลสุขภาพ และหุ่นยนต์” Jensen Huang ผู้ก่อตั้งและซีอีโอของ NVIDIA ที่ GTC Taipei กล่าว “เมื่อตัวแทนสามารถใช้ไลบรารี โมเดล และเฟรมเวิร์กของ NVIDIA ได้โดยตรง การพัฒนา AI ทางกายภาพจะเคลื่อนไหวเร็วขึ้น ช่วยให้นักพัฒนาสามารถสร้างหุ่นยนต์ ยานพาหนะที่ขับเคลื่อนอัตโนมัติ และระบบอุตสาหกรรมแห่งอนาคตได้อย่างเหลือเชื่อ”
“AI ทางกายภาพต้องการข้อมูลการฝึกอบรมจำนวนมหาศาลในสภาพแวดล้อมที่หลากหลาย” Rev Lebaredian รองประธานฝ่ายการจำลอง AI ทางกายภาพของ NVIDIA กล่าว "การดำเนินการทางไกล การจำลอง และข้อมูลขนาดอินเทอร์เน็ต-นำไปสู่แบบจำลองพื้นฐานของโลกสำหรับกรณีการใช้งานที่หลากหลายอย่างไม่มีที่สิ้นสุด"
NVIDIA ทำให้ AI Stack Agent ทางกายภาพ-พร้อมแล้ว
NVIDIA กล่าวว่ากำลังเพิ่มประสิทธิภาพสแต็ก AI ทางกายภาพทั้งหมดสำหรับเอเจนต์โดยการเปลี่ยนไลบรารี โมเดล และเฟรมเวิร์กให้กลายเป็น-เครื่องมือที่เรียกได้ของเอเจนต์ ซึ่งรวมถึง:
NVIDIA คอสมอสแบบจำลองรากฐานของโลก 3 แบบสำหรับการให้เหตุผลและการสร้างโลกทางกายภาพ
NVIDIA Omniverseห้องสมุดสำหรับการจำลองและฝาแฝดดิจิทัล
NVIDIA ไอแซคสำหรับการจำลองหุ่นยนต์และการเรียนรู้หุ่นยนต์
NVIDIA มหานครสำหรับการมองเห็น AI
NVIDIA อัลปามาโยสำหรับการขับขี่แบบอัตโนมัติ
NVIDIA เจ็ตสันแพลตฟอร์มสำหรับการพัฒนา Edge AI
“Cosmos 3 เป็นโมเดลพื้นฐานระดับแนวหน้าสำหรับ AI ทางกายภาพ” Lebaredian กล่าว "มันเข้าใจวิดีโอและข้อความและสามารถระบุสิ่งที่สำคัญได้ คอสมอสเป็นแบบจำลองทางกายภาพที่แม่นยำและสามารถทำนายว่าจะเกิดอะไรขึ้นต่อไปและสร้างการกระทำได้"
เพื่อช่วยใช้เครื่องมือเหล่านี้ NVIDIA กำลังเปิดตัวทักษะใหม่เพื่อเปลี่ยนกระบวนการพัฒนา AI ทางกายภาพให้เป็นคำสั่งที่ทำซ้ำได้ซึ่งตัวแทนการเขียนโค้ดสามารถปฏิบัติตามได้ ซึ่งรวมถึงเครื่องมือที่จะเรียกใช้ ผลลัพธ์ที่จะสร้าง และวิธีที่นักพัฒนาสามารถตรวจสอบผลลัพธ์ได้
นักพัฒนายังสามารถสร้างและปรับใช้ตัวแทนอัตโนมัติได้อย่างปลอดภัยโดยใช้ทักษะเหล่านี้ร่วมกับNVIDIA NemoClawพิมพ์เขียวและNVIDIA OpenShellรันไทม์ซึ่งให้การรักษาความปลอดภัยตามนโยบาย-และการกำกับดูแลความเป็นส่วนตัวบนฮาร์ดแวร์ภายในเครื่องหรือบนคลาวด์ ตัวแทนจะทำงานบน Edge ใน Jetson และได้แสดงให้เห็นการปรับปรุงในเรื่องสภาพพร้อมใช้งานแล้ว Lebaredian กล่าว
NVIDIA กล่าวว่าทักษะและเครื่องมือ AI ทางกายภาพกำลังเร่งการพัฒนาเอเจนต์ใน:
วิทยาการหุ่นยนต์และ Edge AI:นักพัฒนาหุ่นยนต์สามารถใช้ทักษะเพื่อเร่งกระบวนการพัฒนาหุ่นยนต์ทั้งหมด ตั้งแต่การสร้างข้อมูลการรับรู้และการฝึกอบรมการเคลื่อนที่ไปจนถึงการจำลอง การฝึกการนำทางอัตโนมัติ การเรียนรู้หุ่นยนต์ขั้นสูง และการปรับแต่งระบบ Edge ที่ใช้ Jetson{0}} สำหรับการปรับใช้
ยานพาหนะขับเคลื่อนอัตโนมัติ:สำหรับนักพัฒนา AV ทักษะสามารถสั่งให้ตัวแทนสร้างข้อมูลที่รวบรวมโดยกลุ่มยานพาหนะขึ้นมาใหม่ในสภาพแวดล้อมการจำลอง สร้างสถานการณ์การขับขี่ที่สมจริงตามภาพในวงกว้าง และดำเนินการเรียนรู้การเสริมกำลังแบบลูป-แบบปิดเพื่อขยายขอบเขตการฝึกอบรมและการประเมิน
ตัวแทน AI การมองเห็นแบบเรียลไทม์-:สำหรับการตรวจสอบอัตโนมัติและความชาญฉลาดของวิดีโอ NVIDIA กล่าวว่าทักษะตัวแทนสามารถช่วยให้ทีมสร้างข้อมูลการฝึกอบรมสังเคราะห์ -ปรับแต่งโมเดล ทำการติดป้ายกำกับอัตโนมัติ และสร้างตัวแทน AI ของวิดีโอที่ค้นหา สรุป และวิเคราะห์วิดีโอสดหรือที่บันทึกไว้
AI อุตสาหกรรม:นักพัฒนาซอฟต์แวร์อุตสาหกรรมสามารถใช้ทักษะเหล่านี้ในการแปลงข้อมูลทางวิศวกรรมให้เป็นสินทรัพย์-การออกแบบโดยใช้คอมพิวเตอร์ช่วย (CAD) สำหรับการจำลองคู่ดิจิทัล เพิ่มประสิทธิภาพฉาก OpenUSD ขนาดใหญ่ด้วยการตั้งค่าด้วยตนเองน้อยลง
การดูแลสุขภาพ:ก่อนที่จะปรับใช้ระบบอัตโนมัติในสภาพแวดล้อมทางคลินิก ทีมดูแลสุขภาพสามารถแนะนำเจ้าหน้าที่ผ่านการสร้างสภาพแวดล้อมในโรงพยาบาลแบบดิจิทัลฝาแฝด-}การสร้างข้อมูลจริง- และซอฟต์แวร์-ใน-การทดสอบนโยบายแบบวนซ้ำ-
ทักษะดังกล่าวสามารถรวมและรวมเข้ากับระบบเอเจนต์ขนาดใหญ่ได้ ตามที่ NVIDIA กล่าว ช่วยให้นักพัฒนาสามารถประสานและทำให้เวิร์กโฟลว์ที่ซับซ้อนเป็นอัตโนมัติ เช่น การสร้างข้อมูล การจำลอง การเพิ่มประสิทธิภาพ การปรับแต่งการอนุมาน การประเมินอย่างต่อเนื่อง และอื่นๆ
นักพัฒนาหุ่นยนต์เลือกชุด AI ทางกายภาพ
1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI และ Universal Robots เป็นหนึ่งในบริษัทด้านหุ่นยนต์ที่ใช้ตัวแทนของ NVIDIA- สแต็ก AI ทางกายภาพที่พร้อมใช้งานแล้ว
"ด้วยการอัปเดตแบบสแต็กใน NVIDIA Isaac GR00T ทำให้เวิร์กโฟลว์ตั้งแต่ต้นจนจบ-ถึง-ใหม่สามารถตั้งค่าได้ภายในเวลาไม่กี่ชั่วโมงเทียบกับหลายสัปดาห์" Lebaredian กล่าว "'Omni-modal' หมายความว่าใช้งานได้กับวิดีโอ เซ็นเซอร์ ข้อความ และเสียงในโหมดต่างๆ - สำหรับอินพุตและเอาต์พุตการกระทำ"
นอกจากนี้ Foxconn และ Compal ใช้ NVIDIA Isaac สำหรับการดูแลสุขภาพเพื่อเร่งหุ่นยนต์ในโรงพยาบาล Compal กำลังพัฒนากระบวนการพัฒนาหุ่นยนต์ PolyMedX ไปสู่แพลตฟอร์ม-การจัดการที่กว้างขวางของโรงพยาบาล โดยบูรณาการการจำลอง AI และการปฏิบัติงาน-ในโลกแห่งความเป็นจริง
Foxconn กำลังปรับขนาด Nurabot ในโรงพยาบาลหลายแห่งและ-สภาพแวดล้อมการดูแลระยะยาว โดยนำหุ่นยนต์ที่ขับเคลื่อนด้วย AI- มาสู่การดูแลผู้ป่วย พร้อมทั้งแนะนำหุ่นยนต์ Scrub Nurse Collaborative Robot ตัวใหม่ เพื่อช่วยเพิ่มประสิทธิภาพขั้นตอนการทำงานของห้องผ่าตัด
ผู้นำในอุตสาหกรรมสร้างด้วยเทคโนโลยี NVIDIA
พันธมิตรและลูกค้าของ NVIDIA ในอุตสาหกรรมการผลิต การขนส่ง การดูแลสุขภาพ และซอฟต์แวร์อุตสาหกรรมกำลังใช้ไลบรารี AI ทางกายภาพเพื่อพัฒนาการพัฒนาระบบอัตโนมัติและ AI อุตสาหกรรม
เมื่อไลบรารีเหล่านี้พร้อมสำหรับตัวแทน- นักพัฒนาสามารถใช้ทักษะของ NVIDIA เพื่อช่วยให้ตัวแทนตั้งค่า ดำเนินการ และวนซ้ำโดยอัตโนมัติในเวิร์กโฟลว์ AI ทางกายภาพที่ซับซ้อน
ในการผลิตอุปกรณ์อิเล็กทรอนิกส์ TSMC และ Pegatron กำลัง{0}}ปรับแต่งโมเดลการตรวจสอบด้วยภาพอย่างละเอียด มีรายงานว่า Pegatron ลดเวลาการฝึกอบรมโมเดลและการปรับใช้งานลง 67% โดยใช้ข้อมูลสังเคราะห์ที่สร้างขึ้นจากทักษะการสร้างภาพข้อบกพร่อง
Delta Electronics สร้างข้อมูลข้อบกพร่องสังเคราะห์ และใช้ทักษะเพื่อตรวจจับการบัดกรีส่วนเกินบนบัสบาร์โลหะ ซึ่งช่วยเพิ่มอัตราการตรวจจับได้ 17% Inventec พัฒนาขั้นตอนการตรวจสอบด้วยสายตาของ Observation Agent โดยการบูรณาการทักษะการสร้างภาพข้อบกพร่อง ช่วยลดความพยายามในการรวบรวมข้อมูลข้อบกพร่องสำหรับการผลิตแชสซีแล็ปท็อปลง 30%
Foxconn ซึ่งทำงานร่วมกับ DeepHow ใช้ทักษะนี้เพื่อปรับปรุงประสิทธิภาพการผลิตโดยการตรวจจับข้อผิดพลาดตั้งแต่เนิ่นๆ ช่วยเพิ่มผลตอบแทนการส่งผ่านครั้งแรกประมาณ 3%
ในอุตสาหกรรม AI, Cadence, Dassault Systèmes, Siemens และ Synopsys ใช้ไลบรารี NVIDIA Omniverse และทักษะสำหรับการตรวจสอบข้อมูลทางวิศวกรรม การจำลอง และแฝดดิจิทัลเชิงโต้ตอบ PTC, MetAI และ Lightwheel กำลังใช้เฟรมเวิร์ก NVIDIA Isaac Sim และเวิร์กโฟลว์ที่ใช้ OpenUSD- เพื่อแปลงข้อมูล CAD ให้เป็นสินทรัพย์และสภาพแวดล้อมที่พร้อมสำหรับการจำลอง-
ในฐานะที่เป็นส่วนหนึ่งของแผนงาน "Autonomous Fab 2030" SK hynix กำลังนำแฝดดิจิทัล fab ของเซมิคอนดักเตอร์มาใช้โดยใช้ NVIDIA Omniverse ผู้ผลิตชิปยังร่วมมือกับ NVIDIA และ SK Telecom เพื่อตรวจสอบ NVIDIA Agent Toolkit สำหรับการผลิต-AI ทางกายภาพเฉพาะ
นักพัฒนาที่ขับเคลื่อนด้วยตนเอง- Li Auto, Afari และ DeepRoute.ai ใช้โมเดล NVIDIA Omniverse NuRec สำหรับการสร้างและการเรนเดอร์ฉากนิวรัลใหม่ พวกเขาได้สร้างแบบจำลองมากกว่า 1,000 ครั้ง และการเรนเดอร์และการจำลองมากกว่า 300,000 รายการต่อวัน
นอกจากนี้ บริษัท AV กำลังใช้พื้นที่เก็บข้อมูลทักษะตัวแทนใหม่เพื่อเร่งและปรับปรุงการพัฒนาระบบการขับขี่อัตโนมัติที่ปลอดภัยและมีความสามารถมากขึ้น Foxconn, VinFast, Uber และ HUMAIN ได้เข้าร่วมระบบนิเวศ NVIDIA DRIVE Hyperion เพื่อพัฒนาและปรับใช้โรบอตแท็กซี่ SAE ระดับ 4
Alpamayo 2 Super ได้รับการดาวน์โหลดมากกว่า 500,000 ครั้ง และได้รับการขนานนามว่าเป็น "เทคโนโลยีที่ดีที่สุด" ที่งาน Computex Spencer Huang ผู้อำนวยการฝ่ายผลิตภัณฑ์สำหรับวิทยาการหุ่นยนต์ของ NVIDIA กล่าว
เครื่องมือตัวแทน AI ทางกายภาพพร้อมใช้งานแล้ว
NVIDIA กล่าวว่าเครื่องมือและทักษะตัวแทน AI ทางกายภาพนั้นมีให้ผ่านGitHubและทักษะ.shเพื่อใช้กับตัวแทนการเข้ารหัสใด ๆ
ทักษะและเครื่องมือของตัวแทนสำหรับการสร้างข้อมูลสังเคราะห์ -การฟื้นฟูระบบประสาท, การเสริมวิดีโอ, การสร้างภาพข้อบกพร่อง- ยังมีให้บริการบน NVIDIA Brev ด้วยการเปิดตัว AI ทางกายภาพสภาพแวดล้อมที่กำหนดค่าล่วงหน้าซึ่งรวมทักษะและเครื่องมือของตัวแทนเข้าด้วยกันเพื่อการสร้างและประเมินข้อมูลสังเคราะห์ที่รวดเร็วยิ่งขึ้น
ไมโครซอฟต์,CoreWeave, และเนบิอุสกำลังบูรณาการทักษะและเครื่องมือของตัวแทนเหล่านี้เข้ากับบริการคลาวด์เพื่อให้นักพัฒนาสามารถปรับปรุงและปรับขนาดการสร้างและการปรับใช้ข้อมูลสังเคราะห์
Unitree humanoid ข้อมูลอ้างอิงสำหรับ NVIDIA Isaac GR00T
NVIDIA ยังได้ประกาศ NVIDIA Isaac GR00T Reference Humanoid Robot ซึ่งเป็นการออกแบบอ้างอิงหุ่นยนต์ฮิวแมนนอยด์แบบเปิดที่สร้างขึ้นบน NVIDIA Jetson Thor และแพลตฟอร์มการพัฒนา NVIDIA Isaac GR00T บริษัทกล่าวว่าสิ่งนี้จะช่วยให้เข้าถึงฮาร์ดแวร์และซอฟต์แวร์ขั้นสูงได้เป็นประชาธิปไตย โดยไม่ต้องสนใจแพลตฟอร์มราคาแพงและเป็นกรรมสิทธิ์หุ่นยนต์ฮิวแมนนอยด์อเนกประสงค์-เพิ่มขึ้น
NVIDIA รวมตัวหุ่นยนต์ขนาดเต็ม-เข้ากับการจัดการที่คล่องแคล่ว การตรวจจับ การควบคุม และการประมวลผล AI ในตัว:
แชสซีฮิวแมนนอยด์ Unitree H2ยืนได้สูงเกือบ 6 ฟุต (1.8 ม.) และหนัก 150 ปอนด์ (68 กก.) มีอิสระ 31 องศาสำหรับการทดสอบในระดับมนุษย์-
คู่ชาร์ปา เวฟสัมผัสห้า-มือช่วยให้ควบคุมได้อย่างคล่องแคล่วด้วยมุมอิสระ 22 องศา และช่วยให้หุ่นยนต์มีมุมอิสระ 75 องศาทั่วร่างกายและมือ
การตรวจจับหลายมุมมองรวมถึง-กล้องสเตอริโอแบบสวมศีรษะที่มีมุมมองภาพกว้าง (แนวนอน 140 องศา และแนวตั้ง 102 องศา) กล้องที่ข้อมือสำหรับการควบคุมระยะใกล้- และหน่วยวัดความเฉื่อยสำหรับการติดตามการเคลื่อนไหว
การควบคุม-ร่างกายด้วยแรงบิดของแขนสูงถึง 120 นิวตัน-เมตร แรงบิดของขาสูงถึง 360 นิวตัน-เมตร น้ำหนักบรรทุกของแขนพิกัดที่ 7 กก. (15.4 ปอนด์) และน้ำหนักบรรทุกสูงสุด 15 กก. (33 ปอนด์) ช่วยให้สามารถยกและเข้าถึงได้มากขึ้น
NVIDIA Jetson AGX Thor T5000 ประมวลผลออนบอร์ดนำเสนอ NVIDIA Blackwell GPU พร้อมประสิทธิภาพ AI 2,070 FP4 เทราฟลอป, CPU Arm 14- core, หน่วยความจำรวม 128GB และช่วงกำลัง 40 ถึง 130 วัตต์ที่กำหนดค่าได้สำหรับการประมวลผลเซ็นเซอร์แบบเรียลไทม์และการอนุมานหุ่นยนต์
การเชื่อมต่อทั่วทั้งอีเทอร์เน็ต, Wi-Fi 6, บลูทูธ 5.2, USB และอาร์เรย์ของไมโครโฟนและลำโพงสำหรับการโต้ตอบด้วยเสียง
แบตเตอรี่สำหรับการใช้งานที่ยาวนานด้วยความจุ 15Ah, 0.972kWh และอายุการใช้งานประมาณ 3 ชั่วโมง
เปิด-การหยุดฉุกเฉินระยะไกลฟังก์ชั่นสำหรับการปลดหุ่นยนต์อย่างรวดเร็วอย่างปลอดภัย
แพลตฟอร์ม Isaac GR00T ประกอบด้วย:
NVIDIA ไอแซค Teleopเพื่อเก็บข้อมูลการสาธิตหุ่นยนต์คุณภาพสูง-สำหรับการฝึกอบรมและการพัฒนานโยบาย
NVIDIA Isaac GR00T รุ่นรองพื้นแบบเปิดเพื่อสนับสนุนการใช้เหตุผลแบบมนุษย์ การเรียนรู้ และพฤติกรรมมัลติทาสก์
NVIDIA ไอแซค ซิม และไอแซค แล็บเพื่อจำลอง ฝึก ทดสอบ และประเมินนโยบายโรบ็อตก่อน-ใช้งานจริง
มิดเดิลแวร์ NVIDIA Isaac ROS ที่เร่งความเร็วเพื่อย้ายนโยบายที่ได้รับการฝึกอบรมไปยังหุ่นยนต์
NVIDIA เจ็ตสัน ธอร์เพื่อรันแบบเรียลไทม์-บน-การอนุมานและการควบคุมหุ่นยนต์
ระบบได้รับการออกแบบให้เป็นโมดูลาร์ ดังนั้นทีมหุ่นยนต์จึงสามารถใช้แพลตฟอร์มเต็มรูปแบบหรือรวมความสามารถที่เลือกไว้ในขั้นตอนการพัฒนาที่มีอยู่ ช่วยให้พวกเขาขยายขนาดการพัฒนาหุ่นยนต์โดยไม่ต้องสร้างโครงสร้างพื้นฐานเดียวกันใหม่สำหรับหุ่นยนต์หรืองานแต่ละตัว
สถาบันวิจัยชั้นนำ ได้แก่ Ai2, ETH Zurich, Stanford Robotics Center และ Advanced Robotics and Controls Laboratory ของ UC San Diego วางแผนที่จะใช้การออกแบบอ้างอิงนี้เพื่อพัฒนาการวิจัยหุ่นยนต์ฮิวแมนนอยด์
"เพื่อสร้างความก้าวหน้าไปสู่หุ่นยนต์อเนกประสงค์- นักวิจัยจำเป็นต้องมีแพลตฟอร์มที่มีความสามารถและเข้าถึงได้ในวงกว้าง" Deepak Pathak ผู้ร่วมก่อตั้ง-และซีอีโอของ Skild AI กล่าว "การออกแบบอ้างอิงช่วยให้นักวิจัยมีส่วนร่วมในการวิจัยหุ่นยนต์ฮิวแมนนอยด์ระดับแนวหน้าได้มากขึ้น และเปลี่ยนจากแนวคิดไปสู่การทดลองได้เร็วขึ้น ซึ่งจะช่วยผลักดันระบบนิเวศการวิจัยหุ่นยนต์ทั้งหมดไปข้างหน้า"