การออกแบบเชิงโต้ตอบแบบดิจิทัลที่ขับเคลื่อนด้วยปัญญาประดิษฐ์และการสื่อสารสาธารณะของ Five-Animal Frolics ของ Hua Tuo
Feb 26, 2025
3. การจับภาพการเคลื่อนไหวตามอัลกอริทึมปัญญาประดิษฐ์
เพื่อเปิดใช้งานฟังก์ชั่นการโต้ตอบของอุปกรณ์การออกกำลังกายแบบห้าสัตว์ที่อยู่ด้านหน้าของกล้องแกนกลางอยู่ในการสร้างการเชื่อมต่อระหว่างการเป็นตัวแทนเสมือนจริงและโลกแห่งความเป็นจริง ผู้เข้าร่วมมีอยู่ในโลกแห่งความเป็นจริง แต่ต้องสร้างใหม่ในโลกเสมือนจริงก่อน จากนั้นอักขระเสมือนจะถูกจับคู่กับภาพที่สร้างขึ้นใหม่ของผู้เข้าร่วมทำให้มีคุณสมบัติการโต้ตอบต่าง ๆ เพื่อให้บรรลุปฏิสัมพันธ์ที่มีการซิงโครไนซ์สูงต้องแก้ไขความท้าทายทางเทคนิคที่สำคัญสองประการ:การประเมินท่าทางของมนุษย์และการกำหนดเป้าหมายการเคลื่อนไหวของมนุษย์ใหม่- วิธีการฟื้นฟูมนุษย์แบบดั้งเดิมมักขึ้นอยู่กับอุปกรณ์จับภาพการเคลื่อนไหวที่มีราคาแพง แต่การศึกษานี้ใช้ประโยชน์จากข้อดีของปัญญาประดิษฐ์เพื่อให้ได้การฟื้นฟูมนุษย์ในราคาที่ต่ำกว่า
ใหม่ TCM Herbal Cistanche สำหรับการเพาะกาย
เป้าหมายหลักของเทคโนโลยีการประมาณค่าของมนุษย์คือการตรวจจับตำแหน่งของมนุษย์และจุดเริ่มต้นจากสตรีมวิดีโอ เทคโนโลยีนี้สามารถนำไปใช้กับคุณสมบัติที่สำคัญสองประการของการออกแบบอุปกรณ์:
สตรีมวิดีโอแบบเรียลไทม์จะถูกจับผ่านกล้องและรุ่นตรวจจับจุดสำคัญของมนุษย์เตรียมการสำหรับการดำเนินการในภายหลัง
เพื่อให้เป็นไปตามข้อกำหนดของการเคลื่อนไหวแบบฝึกหัดห้าสัตว์คลิปวิดีโอของแบบฝึกหัดเหล่านี้จะถูกโหลดลงในโมเดลซึ่งตรวจจับจุดคีย์สำหรับการเคลื่อนไหวแต่ละครั้งและสร้างลำดับโครงกระดูกของตัวละครแบบฝึกหัดห้าสัตว์เตรียมการถ่ายโอนการเป็นตัวแทนของผู้ใช้
ใหม่ TCM Herbal Cistanche สำหรับการสร้างร่างกาย
ส่วนต่อไปนี้ให้คำอธิบายโดยละเอียดเกี่ยวกับกระบวนการดำเนินการทางเทคนิค
ใหม่ TCM Herbal Cistanche สำหรับการสร้างร่างกาย
3.1 การสกัดโครงกระดูก
การศึกษานี้ใช้ประโยชน์เปิดโล่งเครื่องมือ [13] เพื่อให้ได้การจับภาพและการบันทึก 2D แบบเรียลไทม์แบบเรียลไทม์ OpenPose ใช้เป็นหลักสำหรับการประมาณ 2D แบบหลายบุคคลแบบเรียลไทม์ โดยการตรวจจับและเชื่อมโยงจุดพิมพ์ (เช่นตำแหน่งร่วม) ของแต่ละคนในภาพจะช่วยให้สามารถจดจำได้แม้ว่าจะไม่ได้ให้ข้อมูลพื้นผิว 3 มิติหรือการแบ่งส่วนรายละเอียดของชิ้นส่วนของร่างกาย วิธีนี้แนะนำแนวคิดของส่วน ความสัมพันธ์ ฟิลด์ (PAFs)ซึ่งผ่านเครือข่ายประสาทเทียม (CNNs) พร้อมกันทำนายแผนที่ความมั่นใจสำหรับส่วนต่าง ๆ ของร่างกายและเขตข้อมูลความสัมพันธ์ระหว่างชิ้นส่วน Keypoints จะถูกแยกวิเคราะห์โดยใช้กระบวนการอนุมานโลภนำเสนอประสิทธิภาพแบบเรียลไทม์ที่แข็งแกร่ง
ด้วยแบบจำลอง OpenPose ที่ผ่านการฝึกอบรมมาก่อนการศึกษานี้จะฟีดข้อมูลวิดีโอสตรีม (ใช้วิดีโอสาธิตโดยแชมป์แห่งชาติ Cao Jin) ลงในแบบจำลองสำหรับการอนุมานการสกัดข้อมูลโครงร่างเพื่อให้ได้ลำดับโครงร่าง (ดูรูปที่ 4)
รูปที่ 4 ผลการตรวจจับของวัตถุมนุษย์
3.2 การประมาณท่าโพสท่าหนาแน่น
การสกัดโครงกระดูก 2D ให้การสนับสนุนที่ จำกัด สำหรับงานการกำหนดเป้าหมายการเคลื่อนไหวที่ตามมาและใช้ได้กับการแมปอักขระอย่างง่ายบนโครงกระดูก 2D เพื่อตอบสนองความต้องการของการแสดงตัวละครที่ซับซ้อนมากขึ้นโครงสร้างพื้นผิว 3 มิติของร่างกายมนุษย์จะต้องสกัดด้วยความหนาแน่น[14] มีจุดมุ่งหมายเพื่อให้ได้การประเมินท่าทางของมนุษย์ที่หนาแน่นโดยการทำแผนที่พิกเซลของมนุษย์ทั้งหมดในภาพไปยังจุดที่สอดคล้องกันบนพื้นผิวมนุษย์ 3 มิติ วิธีนี้ไม่เพียงตรวจจับจุดสำคัญ แต่ยังให้การกำหนดพารามิเตอร์พื้นผิวโดยละเอียดสำหรับแต่ละส่วนของร่างกายการส่งออกพิกัด UV และมาสก์การแบ่งส่วนส่วนของร่างกาย
ที่densepose-rcnnระบบใช้เครือข่ายนิวรัลคอลลิ่ง (CNN) ที่รวมกันDenseregวิธีการด้วยสถาปัตยกรรม MASK-RCNN มันใช้การสร้างข้อเสนอในภูมิภาคและการรวมคุณสมบัติจากนั้นใช้เครือข่าย convolutional อย่างเต็มที่สำหรับการคาดการณ์ที่หนาแน่น สิ่งนี้สร้างฉลากชิ้นส่วนที่ไม่ต่อเนื่องและพิกัดพื้นผิวอย่างต่อเนื่องทำนายความสัมพันธ์การติดต่อที่หนาแน่นของพื้นผิวมนุษย์ผ่านการฝึกอบรม
เนื่องจาก densepose ให้ข้อมูลพื้นผิวของร่างกายที่อุดมสมบูรณ์จึงเหมาะสำหรับการใช้งานที่ต้องการรูปร่างของมนุษย์และรูปลักษณ์ที่มีรายละเอียดเช่นการสร้างแบบจำลอง 3 มิติความเป็นจริงเสมือน (VR) และความเป็นจริงยิ่ง (AR) ในที่สุด Densepose มีความสามารถในการสร้างข้อมูลโดยละเอียดซึ่งรวมถึงข้อมูลพื้นผิวของมนุษย์และลำดับการเคลื่อนไหวสนับสนุนการถ่ายโอนการแสดงตัวละครที่ซับซ้อนมากขึ้น (ดูรูปที่ 5)
รูปที่ 5 ภาพวิดีโอ Five-Animal Frolics ของ Hua Tuo และแผนภูมิเปรียบเทียบความหนาแน่น
3.3 การกำหนดเป้าหมายการเคลื่อนไหวของมนุษย์อีกครั้ง
ไม่ว่าจะเป็นการเปิดใช้งานตัวละครเสมือนจริงเพื่อเลียนแบบการเคลื่อนไหวแบบเรียลไทม์ของผู้ใช้หรือภาพเคลื่อนไหวของผู้ใช้เพื่อดำเนินการแบบฝึกหัดห้าสัตว์การกำหนดเป้าหมายการเคลื่อนไหวของมนุษย์ใหม่เทคโนโลยี. เทคโนโลยีนี้เปลี่ยนลำดับการเคลื่อนไหวของต้นฉบับไปยังลำดับการเคลื่อนไหวใหม่ มีวิธีการต่าง ๆ ในการบรรลุเป้าหมายนี้และขึ้นอยู่กับข้อกำหนดของอุปกรณ์โต้ตอบการศึกษานี้ใช้สองเทคนิคที่ใช้บังคับได้
สำหรับการสกัดลำดับโครงกระดูกการประมวลผลอย่างง่ายตามโครงกระดูกนั้นเพียงพอที่จะถ่ายโอนไปยังรูปแบบใหม่ ตัวอย่างเช่นโดยการออกแบบโมเดล "รูปแท่ง" เราสามารถขยายจุดสำคัญหัวและเพิ่มสีที่แตกต่างกันในส่วนของร่างกายซึ่งจะสร้างการเป็นตัวแทนใหม่ตารางที่ 3แสดงให้เห็นถึงผลกระทบของการกำหนดเป้าหมายการเคลื่อนไหวใหม่โดยใช้วิดีโอแบบฝึกหัดห้าสัตว์
tab.3 ผลลัพธ์ที่มีภาพจุดคีย์และภาพจากวิดีโอที่กำหนดเป้าหมายใหม่
สำหรับสถานการณ์การกำหนดเป้าหมายการเคลื่อนไหวที่ซับซ้อนมากขึ้นสามารถนำเสนอแบบจำลองการแพร่กระจายเพื่อช่วยในการบรรลุเป้าหมาย ที่วิเศษเฟรมเวิร์ก [15] ช่วยให้สามารถสร้างภาพเคลื่อนไหววิดีโอที่ยึดติดกับลำดับการเคลื่อนไหวที่กำหนดในขณะที่ยังคงรักษาความสอดคล้องทางโลกและความจงรักภักดีต่อภาพอ้างอิง โมเดลนี้ฝังอิมเมจอ้างอิงไว้ในตัวเข้ารหัสลักษณะที่ปรากฏเพื่อสร้างการฝังที่ปรากฏในขณะที่ลำดับการโพสต์เป้าหมาย (เช่น densepose) เป็นอินพุตลงในเครือข่ายการควบคุมท่าทาง (ControlNet) เพื่อแยกเงื่อนไขการเคลื่อนไหว จากสัญญาณทั้งสองนี้โมเดลจะฝึกอบรมโมเดลการแพร่กระจายวิดีโอที่เคลื่อนไหวตัวตนอ้างอิงตามท่าทางที่กำหนด
การใช้คุณสมบัตินี้อุปกรณ์โต้ตอบของเราสามารถใช้ลำดับการเคลื่อนไหวของผู้ใช้เป็นลำดับเป้าหมายและภาพอักขระแบบฝึกหัดห้าสัตว์เป็นภาพอ้างอิง สิ่งนี้ช่วยให้การเคลื่อนไหวฟรีของผู้ใช้อยู่ด้านหน้าของกล้องเพื่อขับเคลื่อนการเคลื่อนไหวแบบซิงโครไนซ์ของตัวละครแบบฝึกหัดสัตว์ห้าตัวสร้างประสบการณ์แบบโต้ตอบ (ดูรูปที่ 6).
รูปที่ 6 การสร้างเอฟเฟกต์หน้าจอ
4. "ย้ายมีสุขภาพดีและเพลิดเพลินกับ" การออกแบบอุปกรณ์แบบโต้ตอบสาธารณะ
4.1 คุณสมบัติการใช้งาน
"การย้าย, รักษาสุขภาพและเพลิดเพลิน" อุปกรณ์แบบโต้ตอบใช้ประโยชน์จากกล้องและเทคโนโลยีปัญญาประดิษฐ์เพื่อให้ผู้เข้าร่วมสามารถทำงานชุดของงานหน้าอุปกรณ์ การเคลื่อนไหวเหล่านี้จะถูกบันทึกไว้แบบเรียลไทม์และจับคู่กับภาพตัวละครเสมือนจริงซึ่งมอบประสบการณ์การโต้ตอบแบบอมตะ สถานการณ์แอปพลิเคชันของอุปกรณ์โต้ตอบจะปรากฏในรูปที่ 7.
ฟีเจอร์ 1: ผู้ใช้สามารถเลือกการแสดงอักขระเสมือนจริงที่หลากหลายตามความชอบส่วนตัวรวมถึงตัวละครกังฟูที่มีชีวิตชีวาตัวละครบล็อกสไตล์ที่ไม่เหมือนใครและตัวเลขแท่งที่เรียบง่าย ผ่านเอฟเฟกต์ภาพเหล่านี้ผู้ใช้จะได้รับประสบการณ์การโต้ตอบที่หลากหลาย ตัวละครเหล่านี้ไม่เพียง แต่เลียนแบบการเคลื่อนไหวของผู้ใช้เท่านั้น แต่ยังตอบสนองต่อพวกเขาด้วย
คุณสมบัติ 2: ผู้ใช้สามารถถ่ายภาพเต็มรูปแบบต่อหน้ากล้องเพื่อเพิ่มประสบการณ์ในการออกกำลังกายแบบห้าสัตว์ ระบบแทรกภาพของผู้ใช้ลงในคลิปวิดีโอการออกกำลังกายแบบห้าสัตว์ทำให้ผู้ใช้จินตนาการว่าตัวเองเป็นผู้เชี่ยวชาญของการออกกำลังกายห้าสัตว์ของ Hua Tuo โดยดำเนินการเคลื่อนไหวระดับมืออาชีพที่หลากหลายด้วยความแม่นยำ
รูปที่ 7 สถานการณ์แอปพลิเคชัน WildFit
4.2 การตั้งค่าพารามิเตอร์
อุปกรณ์มีชื่อ"ย้ายมีสุขภาพดีและเพลิดเพลิน"เพื่อสร้างการเชื่อมต่อระหว่างสัตว์ธรรมชาติและความฟิต เป้าหมายคือการทำให้การออกแบบเป็นสะพานเชื่อมระหว่างองค์ประกอบทั้งสามนี้ ตามแนวคิดนี้อุปกรณ์นี้เป็นการติดตั้งหน้าจอแบบโต้ตอบที่ตั้งใจจะวางไว้บนสนามหญ้ากลางแจ้งหรือในสวนสนุก มันติดตั้งพารามิเตอร์ต่างๆดังที่แสดงในตารางที่ 4.
ตารางที่ 4: "ย้าย, รักษาสุขภาพและเพลิดเพลิน" การกำหนดค่าพารามิเตอร์ "
| พารามิเตอร์ | รายละเอียด |
|---|---|
| ขนาดหน้าจอ | 2.5m × 1.5m |
| ปณิธาน | 1920 พิกเซล× 1080 พิกเซล |
| ปุ่มโต้ตอบ | ปุ่มเริ่ม; ปุ่มการติดตามการเคลื่อนไหวและข้อเสนอแนะตัวบ่งชี้; ปุ่มออก |
| สัมผัสความไว | เวลาตอบสนอง 10ms อัตราเฟรม 30fps; สนับสนุนท่าทางมือท่าทางร่างกายและการตรวจจับทางกายภาพ |
| การโต้ตอบข้อเสนอแนะ | เสียงแจ้ง หรือข้อเสนอแนะด้วยภาพ (เช่นตัวบ่งชี้ที่แสดงท่าทางร่างกายที่ไม่ได้จัดตำแหน่งหรือท่าทางการเคลื่อนไหวที่ไม่สมบูรณ์) |
| ความทน | คะแนนกันน้ำ IP65; เปลือกวัสดุอลูมิเนียมโลหะผสม
|
รูปที่ 8 การสาธิตแนวคิดการออกแบบ WildFit
4.3.2 การประเมินผลทางกายภาพ: สารบัญและวิธีการ
เพื่อประเมินผลกระทบของอุปกรณ์ทางกายภาพหลังจากแอปพลิเคชันเพิ่มเติมจะมีการเสนอวิธีการประเมินต่อไปนี้:
1) ตัวชี้วัดสุขภาพกาย
วัตถุประสงค์: เปรียบเทียบตัวชี้วัดสุขภาพร่างกายของผู้เข้าร่วมก่อนและหลังการมีส่วนร่วมในโปรแกรมการออกกำลังกาย (เช่นน้ำหนัก, เปอร์เซ็นต์ไขมันในร่างกาย, อัตราการเต้นของหัวใจ, ความดันโลหิต) เพื่อประเมินผลกระทบของโปรแกรมการออกกำลังกายต่อสุขภาพร่างกาย
วิธี: การวิเคราะห์การถดถอยเชิงเส้น
การถดถอยเชิงเส้นใช้ในการวิเคราะห์การเปลี่ยนแปลงในตัวชี้วัดสุขภาพร่างกายของผู้เข้าร่วมก่อนและหลังโปรแกรมการออกกำลังกาย สูตรมีดังนี้:
y=β₀ + β₁x + ε
Y: ตัวแปรตาม (เช่นการเปลี่ยนแปลงน้ำหนัก)
X: ตัวแปรอิสระ
β₀และβ₁: ค่าสัมประสิทธิ์การถดถอย
ε: ข้อผิดพลาดแบบสุ่ม
2) ตัวชี้วัดสุขภาพจิต
วัตถุประสงค์: ตรวจสอบตัวชี้วัดสุขภาพทางจิตวิทยาของผู้เข้าร่วมหลังจากเข้าร่วมในโปรแกรมการออกกำลังกาย (เช่นสภาวะอารมณ์ระดับความเครียดความสุข) เพื่อประเมินผลกระทบที่มีต่อความเป็นอยู่ที่ดีทางจิต
วิธี: การวิเคราะห์การถดถอยโลจิสติก
การถดถอยโลจิสติกใช้เพื่อประเมินผลกระทบของโปรแกรมต่อตัวชี้วัดสุขภาพจิต (เช่นความสุข) สูตรมีดังนี้:
p (y =1)=1 / (1 + e^-(β₀ + β₁x))))
Y: ตัวแปรไบนารี (เช่นผู้เข้าร่วมรู้สึกมีความสุขหรือไม่)
X: ตัวแปรอิสระ
β₀และβ₁: ค่าสัมประสิทธิ์การถดถอย
สำหรับอุปกรณ์ "ย้าย, รักษาสุขภาพและเพลิดเพลิน" ตัวแปรอิสระมีรายละเอียดในตารางที่ 5.
3) การสำรวจการมีส่วนร่วมและความพึงพอใจ
วัตถุประสงค์: ตรวจสอบการมีส่วนร่วมและความพึงพอใจของผู้เข้าร่วมกับโปรแกรมการออกกำลังกาย
วิธี: ออกแบบและแจกจ่ายแบบสอบถามแบบสำรวจเพื่อรวบรวมความคิดเห็นของผู้ใช้เกี่ยวกับการใช้งานความเพลิดเพลินและการใช้งานจริงของอุปกรณ์รวมถึงความพึงพอใจโดยรวมกับอุปกรณ์โต้ตอบแบบฝึกหัดห้าสัตว์
ผู้เข้าร่วมจะให้คะแนนแง่มุมเหล่านี้และคะแนนความคิดเห็นและข้อเสนอแนะจะถูกใช้เพื่อประเมินประสิทธิภาพของอุปกรณ์
