สำรวจหม้อแปลงการมองเห็นแบบควบคุมตนเองเพื่อการจดจำการเดินใน The Wild ตอนที่ 3

เราใช้ตัวอย่างง่ายๆ เพื่อประมาณค่าระหว่างข้อต่อข้างเคียง (รูปที่ 3) อย่างไรก็ตาม การทำเช่นนั้นกับโครงกระดูกอย่างไร้เดียงสาส่งผลให้เกิดข้อต่อปลอมทั่วโครงกระดูก โดยไม่คำนึงถึงการเลือกรูปแบบโครงกระดูก (เช่น OpenPose หรือ COCO) เนื่องจากการจัดลำดับร่วมกันไม่ได้รักษาความหมายทางความหมายใดๆ

การจัดลำดับข้อต่อหมายถึงการขยับข้อต่อของร่างกายตามลำดับที่แน่นอน การออกกำลังกายประเภทนี้มีบทบาทสำคัญในการรักษาสุขภาพกายและเสริมสร้างความจำของร่างกาย

ประการแรก การจัดลำดับข้อต่อสามารถส่งเสริมการเคลื่อนไหวประสานกันของส่วนต่างๆ ของร่างกาย เพิ่มความแข็งแรงของกล้ามเนื้อ และปรับปรุงการทำงานของหัวใจและปอด ซึ่งทั้งหมดนี้ช่วยรักษาสุขภาพที่ดี ในเวลาเดียวกัน การจัดแนวข้อต่ออย่างสม่ำเสมอสามารถลดความตึงและความเจ็บปวดของร่างกาย ปรับปรุงท่าทางและความสมดุล และชะลอการทำงานของร่างกายที่เกิดจากอายุ

ประการที่สอง การจัดลำดับข้อต่อยังช่วยเพิ่มความจำได้อีกด้วย การวิจัยแสดงให้เห็นว่าการออกกำลังกายสามารถกระตุ้นการเจริญเติบโตและการเชื่อมต่อของเซลล์ประสาทในสมอง จึงส่งเสริมการแลกเปลี่ยนข้อมูลระหว่างเซลล์ประสาท ซึ่งสามารถช่วยเพิ่มความจำและความสามารถในการเรียนรู้ การเคลื่อนไหวของข้อต่อตามลำดับต้องอาศัยสมองในการสั่งการการเคลื่อนไหวของส่วนต่างๆ ของร่างกายอย่างแม่นยำ ซึ่งช่วยพัฒนาความสามารถในการประสานงานและความจำของสมองได้อย่างมาก

ในที่สุด การจัดลำดับข้อต่อยังสามารถบรรเทาความเครียดและความวิตกกังวล และปรับปรุงความมั่นคงทางอารมณ์ได้ การออกกำลังกายสามารถปล่อยสารบางอย่างในร่างกาย เช่น โดปามีนและเอ็นโดรฟิน ซึ่งสามารถช่วยบรรเทาปัญหาทางอารมณ์ และปรับปรุงความสุขและความพึงพอใจของร่างกายได้ ปัจจัยเหล่านี้ยังส่งผลดีต่อการปรับปรุงความจำอีกด้วย

โดยสรุป มีความสัมพันธ์เชิงบวกระหว่างการจัดลำดับร่วมและความจำ คุณสามารถส่งเสริมการพัฒนาร่างกายและสมองที่แข็งแรง เพิ่มความสามารถในการจดจำและการเรียนรู้ และปรับปรุงความมั่นคงทางอารมณ์ได้ด้วยการออกกำลังกายตามลำดับข้อต่อเป็นประจำ ให้เราใส่ใจกับสุขภาพที่ดีและเพลิดเพลินไปกับความสวยงามของชีวิตด้วยกัน! จะเห็นได้ว่าเราต้องปรับปรุงความจำ และ Cistanche Deserticola สามารถปรับปรุงความจำได้อย่างมาก เนื่องจาก Cistanche Deserticola เป็นยาแผนโบราณของจีนที่มีลักษณะพิเศษมากมาย หนึ่งในนั้นคือการปรับปรุงความจำ ประสิทธิภาพของเนื้อสับมาจากส่วนผสมออกฤทธิ์หลายชนิดในเนื้อสับ เช่น กรด โพลีแซ็กคาไรด์ ฟลาโวนอยด์ ฯลฯ ส่วนผสมเหล่านี้สามารถส่งเสริมสุขภาพสมองได้หลายวิธี

คลิกรู้อาหารเสริมเพื่อเพิ่มความจำ

ข้อสังเกตนี้สอดคล้องกับงานของ Yang และคณะ [44] ซึ่งเสนอภาพโครงกระดูกโครงสร้างต้นไม้ (TSSI) เพื่อเสนอความสัมพันธ์เชิงพื้นที่ระหว่างข้อต่อ โดยอาศัยการจัดลำดับการเคลื่อนที่ของต้นไม้ในเชิงลึกก่อน ซึ่งจะช่วยรักษาข้อมูลโครงสร้างของโครงกระดูก รูปที่ 3 (ขวา) นำเสนอผลกระทบของรูปแบบโครงกระดูกที่แตกต่างกันและวิธีการอัพตัวอย่าง สำหรับวิธีการปรับขนาดนี้ เราใช้รูปแบบ TSSI และการแก้ไขแบบไบคิวบิก

นอกจากนี้ เรายังทดลองด้วยสองวิธีในการเพิ่มขนาด ซึ่งสามารถเรียนรู้ได้ในระหว่างการฝึกอบรม เราใช้ชั้นเชิงเส้นอย่างง่ายนำไปใช้กับโครงกระดูกที่แบนแต่ละอันเพื่อเพิ่มจำนวนข้อต่อ นี่เป็นวิธีที่ตรงไปตรงมาที่สุดในการเปลี่ยนโครงกระดูกแต่ละชิ้น แต่ไม่ได้คำนึงถึงความสัมพันธ์เชิงพื้นที่ระหว่างข้อต่อ เพื่อแก้ไขปัญหานี้ เรายังใช้ชุดของเลเยอร์ deconvolutional 2D บนลำดับโครงกระดูกสำหรับการปรับขนาดในขณะเดียวกันก็คำนึงถึงข้อมูลโครงสร้างด้วย สำหรับวิธีนี้ เรายังใช้รูปแบบ TSSI ด้วย

ตารางที่ 1 แสดงผลสำหรับแต่ละวิธีการปรับขนาดสำหรับสถาปัตยกรรมทั้งหมด แบบจำลองเหล่านี้ได้รับการฝึกอบรมและประเมินผลบน CASIA-B เป็นเวลา 200 ยุค และเราจะแสดงผลสำหรับการเดินแบบปกติ สำหรับการทดลองที่เหลือ เราเลือกที่จะเพิ่มตัวอย่างลำดับโครงกระดูกด้วยการประมาณค่าแบบไบคิวบิก

แม้ว่าจะมีขั้นตอนการฝึกหัดแบบมีผู้ดูแลด้วยตนเองที่เป็นไปได้หลายประการ แต่เราเลือกใช้แนวทางการฝึกหัดแบบเปรียบเทียบเนื่องจากเป็นขั้นตอนเดียวกันสำหรับงานเรียกข้อมูลการรับรู้การเดินที่เกิดขึ้นจริง วิธีการตัดกันส่งเสริมให้การแทนของคลาสเดียวกันอยู่ใกล้ในพื้นที่แฝง ขณะเดียวกันก็อยู่ห่างจากการแทนของคลาสที่ต่างกันไปพร้อมๆ กัน

โดยเฉพาะอย่างยิ่ง เราใช้ Supervised Contrastive [45] สำหรับการฝึกล่วงหน้า การสูญเสีย SupCon ดำเนินการกับแบทช์ที่มีการดูหลายรายการ: แต่ละตัวอย่างในชุดมีเวอร์ชันเสริมหลายเวอร์ชันในตัวมันเอง มันแสดงให้เห็นว่าโดยธรรมชาติแล้วมีความแข็งแกร่งมากขึ้นต่อความเสียหายของข้อมูล มันบรรเทาความจำเป็นในการเลือกแฝดอย่างระมัดระวัง เนื่องจากการไล่ระดับสีส่งเสริมการเรียนรู้จากตัวอย่างที่ยาก และมีความไวต่อไฮเปอร์พารามิเตอร์น้อยกว่า

3.4. การเพิ่มข้อมูล

การฝึกอบรมในลักษณะเปรียบเทียบแบบควบคุมตนเองด้วยการสูญเสีย SupCon หมายถึงการใช้การเสริมข้อมูลเพื่อให้ "มุมมอง" ที่เพิ่มขึ้นหลายรายการของลำดับโครงกระดูกเดียวกัน การเสริมที่ใช้สำหรับลำดับโครงกระดูกเดินของเรานั้นสอดคล้องกับงานอื่น ๆ ในพื้นที่นี้ [10,12, 30]. การเสริมหลักที่ใช้คือการครอบตัดชั่วคราวแบบสุ่มโดยมีความยาวช่วง T=64 เฟรม

เนื่องจากโครงกระดูกได้รับการติดตามตามระยะเวลาที่เปลี่ยนแปลงได้ เราจึงใช้การครอบตัดเพื่อให้แน่ใจว่าลำดับทั้งหมดมีความยาวเท่ากัน นอกจากนี้ คนเดินอาจเปลี่ยนทิศทางและดำเนินการอื่นๆ ตลอดระยะเวลาการติดตาม ดังนั้น การครอบตัดทำให้เกิดความแปรปรวนมากขึ้นสำหรับลำดับเดียวกัน

นอกจากนี้ เรายังปรับเปลี่ยนจังหวะการเดินโดยการชะลอความเร็วหรือเพิ่มความเร็วในการเดิน เราใช้ตัวปรับความเร็วเป็น {{{0}}.5, 0.75, 1, 1.25, 1.5, 1.75, 2.0} เรื่องนี้ดัดแปลงมาจากผลงานของ Wang et al. [48] ​​สำหรับการเรียนรู้การนำเสนอวิดีโอด้วยตนเอง นอกจากนี้ การปรับอัตราการก้าวยังถูกนำมาใช้ในการวิเคราะห์การเดินในอดีต [33]

นอกจากนี้ เรายังใช้การพลิกแบบสุ่มด้วยความน่าจะเป็นที่ {{0}}.5 การกลับลำดับที่มีความน่าจะเป็นที่ 0.5 เสียงแบบเกาส์เซียนแบบบวกสำหรับแต่ละข้อต่อด้วย σ=0.005 และการสุ่มออกจากข้อต่อ 5% โดยมีความน่าจะเป็น 0.01 เพื่อจำลองข้อต่อที่หายไปจากแบบจำลองการประมาณค่า

3.5. วิธีการเริ่มต้น

เพื่อวัดผลกระทบของประสิทธิภาพการฝึกอบรมล่วงหน้าแบบมีผู้ดูแลด้วยตนเองบนสถาปัตยกรรมที่นำเสนอ เราจะสำรวจวิธีการเริ่มต้นที่แตกต่างกันสามวิธี ตารางที่ 2 นำเสนอชุดข้อมูลต่างๆ ที่ใช้ในงานเขียน ในขณะที่ CASIA-B [6] และ FVG[29] เป็นชุดข้อมูลที่ได้รับการควบคุม ซึ่งส่วนใหญ่ใช้สำหรับการประเมิน เราใช้ DenseGait [12] และ GREW [7] สำหรับการฝึกอบรมล่วงหน้าแบบมีผู้ดูแลด้วยตนเองสำหรับสถาปัตยกรรมทั้งห้า DenseGait และ GREW เป็นฐานข้อมูลการเดินเสมือนจริงที่ใหญ่ที่สุด 2 แห่ง ซึ่งรวบรวมจากสถานที่กลางแจ้ง ซึ่งน่าจะประกอบด้วยรูปแบบการเดิน พฤติกรรม และความซับซ้อนส่วนใหญ่ในชีวิตประจำวัน เราเลือกชุดข้อมูลเหล่านี้เพื่อให้มีการแสดงท่าทางทั่วไปมากขึ้น เพื่อให้สามารถรับรองความถูกต้องของการเดินในสถานการณ์การเฝ้าระวังทั่วไปได้

DenseGait Pretraining DenseGait เป็นชุดข้อมูลการเดิน "ในป่า" ขนาดใหญ่ที่รวบรวมโดยอัตโนมัติจากสตรีมการเฝ้าระวัง ประกอบด้วยลำดับโครงกระดูกที่ติดตาม 217,000 K ซึ่งสกัดโดยใช้ AlphaPose [22] ในสภาพแวดล้อมและมุมกล้องที่หลากหลายจากสถานที่ทางภูมิศาสตร์หลายแห่ง เนื่องจาก DenseGait ได้รับการรวบรวมโดยอัตโนมัติ คำอธิบายประกอบในแง่ของตัวระบุการติดตามจึงมีสัญญาณรบกวน และชุดข้อมูลอาจมีลำดับเกี่ยวกับเรื่องเดียวกัน แม้ว่านี่จะเป็นเหตุการณ์ที่เกิดขึ้นไม่บ่อยก็ตาม อย่างไรก็ตาม เป็นกรณีนี้สำหรับชุดข้อมูลขนาดใหญ่ที่ไม่มีป้ายกำกับส่วนใหญ่ซึ่งมีตัวอย่างที่อยู่ในคลาสความหมายเดียวกัน ซึ่งถือว่าไม่เกี่ยวข้องกันในระหว่างการฝึกอบรม เราฝึกอบรมสถาปัตยกรรมแต่ละรายการล่วงหน้าบน DenseGait และใช้พารามิเตอร์ที่ได้รับการฝึกอบรมเพื่อประเมินประสิทธิภาพดาวน์สตรีมเพิ่มเติมของชุดข้อมูลที่ควบคุม

GREW Pretraining GREW เป็นชุดข้อมูลกลางแจ้งอีกชุดหนึ่ง "ในป่า" แต่ได้รับการอธิบายอย่างระมัดระวัง โดยประกอบด้วยวัตถุที่ต้องเดินเป็นเวลาหลายวันและเสื้อผ้าประเภทต่างๆ อย่างไรก็ตาม เพื่อให้เป็นไปตามข้อกำหนดของระบอบการดูแลตนเอง เราจะละทิ้งคำอธิบายประกอบและถือว่าแต่ละลำดับการเดินเป็นบุคคลที่แยกจากกัน GREW มีขนาดเล็กกว่า DenseGait 2 เท่า โดยมีลำดับโครงกระดูก 128 K ในขณะที่มีการติดตามคนเดินเท้าแต่ละคนด้วยระยะเวลาเฉลี่ยที่น้อยกว่า [12] นอกจากนี้เรายังฝึกอบรมแต่ละสถาปัตยกรรมบน GREW และใช้พารามิเตอร์ที่ได้รับการฝึกอบรมสำหรับการประเมินประสิทธิภาพดาวน์สตรีม

การเริ่มต้นแบบสุ่ม วิธีการเริ่มต้นนี้สอดคล้องกับการไม่มีการฝึกล่วงหน้า (เช่น การฝึกตั้งแต่เริ่มต้น) สถาปัตยกรรมแต่ละรายการได้รับการฝึกฝนด้วยการเริ่มต้นน้ำหนักแบบสุ่มบนชุดข้อมูลดาวน์สตรีม วิธีนี้เป็นพื้นฐานในการเปรียบเทียบประสิทธิภาพที่ได้รับจากการฝึกล่วงหน้า

3.6. การประเมิน

ประสิทธิภาพของงานขั้นปลายได้รับการประเมินด้วยสองลักษณะที่แตกต่างกันสำหรับการจดจำการเดิน เราทดสอบความสามารถในการดึงข้อมูลของสถาปัตยกรรมที่ได้รับการฝึกอบรมล่วงหน้าโดยตรง โดยไม่ต้องปรับแต่งงานเฉพาะเจาะจง วิธีการนี้สอดคล้องกับการถ่ายโอนแบบซีโร่ช็อต นอกจากนี้ เราปรับแต่งสถาปัตยกรรมแต่ละสถาปัตยกรรมโดยใช้อัตราการเรียนรู้ที่น้อยกว่า 10 เท่าในระหว่างการฝึกล่วงหน้า โดยมีอัตราการเรียนรู้ที่น้อยลงอย่างต่อเนื่องที่จุดเริ่มต้นของเครือข่าย ซึ่งสอดคล้องกับนโยบายการลดอัตราการเรียนรู้แบบ tolayer-wise (LLRD) [50]

การประเมินประสิทธิภาพดาวน์สตรีมดำเนินการกับชุดข้อมูลการรับรู้การเดินยอดนิยมสองชุด: CASIA-B [6] และ FVG [29] ชุดข้อมูลทั้งสองชุดประกอบด้วยวัตถุจำนวนเล็กน้อยภายใต้โปรโตคอลการเดินที่เข้มงวด ซึ่งถูกควบคุมโดยปัจจัยรบกวนต่างๆ เช่น มุมกล้อง เสื้อผ้า อุปกรณ์เสริม และความเร็วในการเดิน

CASIA-B เป็นชุดข้อมูลภายในอาคารที่ประกอบด้วยวัตถุ 124 วัตถุที่บันทึกจากกล้องซิงโครไนซ์ 11 ตัว แต่ละคนเดินในสภาวะที่แตกต่างกัน 3 แบบ ได้แก่ การเดินปกติ การเปลี่ยนเสื้อผ้า และการถือกระเป๋า นับตั้งแต่เปิดตัว โมเดลดังกล่าวได้กลายเป็นส่วนสำคัญในการเปรียบเทียบโมเดล gaitanalysis ซึ่งเป็นหนึ่งในชุดข้อมูลที่ใช้มากที่สุดในด้านนี้ เราใช้ 62 วิชาแรกเป็นชุดการฝึกอบรม และส่วนที่เหลือของ 62 วิชาในการประเมินผลการปฏิบัติงาน สำหรับการตรวจจับการเดิน เราเลือกที่จะประเมินประสิทธิภาพแบบต่อมุมในการตั้งค่า "ปล่อยครั้งเดียว" ซึ่งชุดแกลเลอรีประกอบด้วยมุมการเดินทั้งหมด ยกเว้นมุมโพรบ

Front-View Gait เป็นอีกหนึ่งชุดข้อมูลยอดนิยมสำหรับการจดจำการเดิน โดยมีผู้เข้าร่วม 226 คนที่เดินกลางแจ้งภายใต้โปรโตคอลต่างๆ FVG แตกต่างจาก CASIA-B โดยมีปัจจัยที่ทำให้เกิดความสับสนเพิ่มเติม ได้แก่ ความเร็วในการเดิน พื้นหลังที่รก และเวลาที่ผ่านไป (เช่น บางวิชามีการเดินที่ลงทะเบียนไว้ซึ่งครอบคลุมถึงหนึ่งปี) นอกจากนี้ วัตถุทั้งหมดจะถูกบันทึกด้วยมุมกล้องหน้า ซึ่งถือเป็นมุมที่ยากที่สุดสำหรับการจดจำการเดิน เนื่องจากประกอบด้วยการเปลี่ยนแปลงการเคลื่อนไหวของข้อต่อที่รับรู้ได้น้อยที่สุด เราใช้ 136 วิชาแรกสำหรับการฝึกอบรม และที่เหลือสำหรับการประเมินผลการปฏิบัติงาน การประเมินประสิทธิภาพสำหรับการจดจำการเดินเป็นไปตามเกณฑ์วิธีที่กำหนดโดยผู้เขียน ซึ่งเราใช้ลำดับการเดินปกติในชุดแกลเลอรีและเงื่อนไขอื่นๆ ในชุดตรวจวัด

สำหรับสถานการณ์การประเมินทั้งหมด เราใช้การครอบตัดตามที่กำหนดที่กึ่งกลางของลำดับการเดิน และไม่ใช้การเพิ่มเวลาทดสอบใดๆ

4. การทดลองและผลลัพธ์

4.1. การประเมิน CASIA-B

เราฝึกอบรมสถาปัตยกรรมแต่ละรายการล่วงหน้าบน DenseGait และ GREW ตามลำดับ และประเมินประสิทธิภาพของ CASIA-B และ FVG ในการทดลองชุดแรก เราสนใจที่จะประเมินประสิทธิภาพของ CASIA-B ในสถานการณ์การปรับแต่งอย่างละเอียดหลังจากการฝึกเบื้องต้น โดยมีตัวอย่างการฝึกที่ใหญ่ขึ้นเรื่อยๆ เราฝึกอบรมแต่ละเครือข่ายเกี่ยวกับอัตลักษณ์ 62 รายการแรก พร้อมด้วยรูปแบบการเดินที่มีอยู่ทั้งหมด และเก็บส่วนที่เหลือไว้สำหรับการทดสอบ การประเมินการรับรู้ดำเนินการโดยใช้ตัวอย่างการเดินปกติ 4 ตัวอย่างแรกเป็นชุดแกลเลอรี และส่วนที่เหลือเป็นชุดโพรบ รูปที่ 4 แสดงความแม่นยำของรูปแบบการเดินทั้งสามรูปแบบ (ปกติ—NM เสื้อผ้า—CLm และกระเป๋าถือ—BG) สำหรับ CASIA-B สำหรับสถานการณ์นี้ เราสุ่มตัวอย่างการเดิน K={1, 2, 3, 5, 7, 10} ต่อวิชา ต่อมุม และฝึกฝนแบบจำลอง แม้ว่าประสิทธิภาพจะค่อนข้างคล้ายคลึงกันระหว่างสถาปัตยกรรมต่างๆ แต่ก็ชัดเจนว่า การฝึกอบรมล่วงหน้าช่วยเพิ่มประสิทธิภาพอย่างมีนัยสำคัญเมื่อเทียบกับการเริ่มต้นแบบสุ่ม โดยไม่คำนึงถึงตัวเลือกชุดข้อมูลการฝึกอบรมล่วงหน้า

ยิ่งไปกว่านั้น SimpleViT, CrossFormer และ Twins-SVT ดูเหมือนจะมีประสิทธิภาพสูงใกล้เคียงกัน ในขณะที่ Token2Token มีความล่าช้าเล็กน้อย สิ่งนี้ชี้ให้เห็นว่าวิธีโทเค็นแบบโปรเกรสซีฟที่ใช้ใน Token2Token ซึ่งได้รับการออกแบบมาเป็นพิเศษสำหรับโครงสร้างที่เหมือนรูปภาพนั้นไม่สามารถจับลักษณะของลำดับการเดินได้อย่างมีประสิทธิภาพ มีความแตกต่างที่เห็นได้ชัดเจนระหว่างชุดข้อมูลการฝึกล่วงหน้า: DenseGait ดูเหมือนว่าจะให้ประสิทธิภาพที่เพิ่มขึ้นอย่างต่อเนื่องในรูปแบบการเดินทั้งสอง (CL และBG) เมื่อเปรียบเทียบกับ GREW นี่เป็นข้อบ่งชี้ถึงความจริงที่ว่า DenseGait มีสถานการณ์ที่ท้าทายและสมจริงมากขึ้น ซึ่งจะช่วยเตรียมแบบจำลองสำหรับเงื่อนไขที่รูปแบบการเดินได้รับผลกระทบจากปัจจัยภายนอกได้ดีขึ้น

สถาปัตยกรรมได้รับการฝึกฝนให้ทำแผนผังลำดับการเดินกับพื้นที่ฝัง ซึ่งความใกล้เคียงระหว่างจุดต่างๆ สะท้อนถึงความคล้ายคลึงกันของลำดับการเดินที่สอดคล้องกัน ซึ่งหมายความว่าการฝังลำดับการเดินที่มองไม่เห็นจากอัตลักษณ์เดียวกันควรอยู่ใกล้กันในพื้นที่การฝังและก่อตัวเป็นกระจุก ในขณะที่การฝังอัตลักษณ์ที่แตกต่างกันควรอยู่ห่างจากกันและก่อตัวเป็นคลัสเตอร์ที่แตกต่างกัน นี่เป็นสิ่งสำคัญเนื่องจากช่วยให้แบบจำลองสามารถสรุปลำดับการเดินที่มองไม่เห็นและระบุบุคคลได้อย่างแม่นยำโดยใช้แนวทางเพื่อนบ้านที่ใกล้ที่สุด ในรูปที่ 5 เรานำเสนอการจัดกลุ่มสำหรับการฝังสำหรับแต่ละเอกลักษณ์ในชุดทดสอบการลดขนาด CASIA-Bafter ด้วย t-SNE [51] เราใช้ 256- มิติการฝังเวกเตอร์ และฉายภาพออกเป็นสองมิติ ดูเหมือนว่า SimpleViT และ CrossFormer จะมีการแยกตัวตนได้ดีที่สุด โดยไม่คำนึงถึงมุมมองของกล้อง

4.2. การประเมิน FVG

ในทำนองเดียวกัน เราได้ประเมินประสิทธิภาพของแต่ละสถาปัตยกรรมบน FVG ซึ่งมีคุณภาพแตกต่างจาก CASIA-B เนื่องจากมีมุมมองเดียวเท่านั้น เราปรับแต่งเครือข่ายที่ได้รับการฝึกอบรมล่วงหน้าแต่ละเครือข่ายในส่วน f={0.1, 0.2, 0.3, {{10 }}.5, 0.7, 1.0} จาก 12 วิ่งต่อคนในชุดการฝึก ผลลัพธ์การปรับแต่งอย่างละเอียดจะแสดงอยู่ในรูปที่ 6 ผลลัพธ์เป็นไปตามแนวโน้มที่คล้ายกันกับผลลัพธ์สำหรับ CASIA-B: SimpleViT และ CrossFormer มีประสิทธิภาพสูงอย่างต่อเนื่อง และการใช้ชุดข้อมูลการฝึกอบรมล่วงหน้าจะเป็นประโยชน์ต่อประสิทธิภาพขั้นปลายน้ำ นอกจากนี้ การฝึกสอน DenseGait ล่วงหน้าดูเหมือนว่าจะมีการปรับปรุงความแม่นยำอย่างต่อเนื่อง ตามที่ระบุไว้โดย Cosma และ Radoi [12] DenseGait มีวัตถุที่ถูกติดตามเป็นระยะเวลานานขึ้น และสิ่งนี้ทำให้เกิดการเปลี่ยนแปลงมากขึ้นในวัตถุประสงค์การเรียนรู้เชิงเปรียบเทียบ คล้ายกับการครอบตัดแบบสุ่มสำหรับการฝึกล่วงหน้าแบบมีผู้ดูแลด้วยตนเองสำหรับภาพที่เป็นธรรมชาติ เช่นเดียวกับผลลัพธ์ของ CASIA-B เสื้อผ้าที่เปลี่ยนแปลงช้ากว่าสถานการณ์การเดินปกติอย่างมาก

ในตารางที่ 4 เรานำเสนอผลลัพธ์ที่ละเอียดมากขึ้นในชุดการทดสอบของ FVG ระหว่างแบบจำลองที่ผ่านการฝึกอบรมมาแล้ว ซึ่งคล้ายกับสถานการณ์ CASIA-B ผลลัพธ์ของการฝึกล่วงหน้ามีความสม่ำเสมอ: การฝึกล่วงหน้าบน DenseGait มีความสัมพันธ์โดยตรงกับการปรับปรุงความแม่นยำดาวน์สตรีม แม้ว่าการฝึกอบรมล่วงหน้าบนชุดข้อมูลทั้งสองจะปรับปรุงประสิทธิภาพในทุกสถานการณ์ การปรับปรุงมีความสำคัญอย่างยิ่งในสถานการณ์ CBG (พื้นหลังที่ยุ่งเหยิง) ซึ่งมักจะประกอบด้วยการมีคนในวิดีโอมากขึ้น ซึ่งคล้ายกับสิ่งที่คาดหวังในการตั้งค่าที่สมจริง การปรับปรุงนี้น่าจะมาจากการที่ DenseGait และ GREW รวมตัวกันในสภาพแวดล้อมที่เป็นธรรมชาติและไม่มีการควบคุม ทำให้สมจริงและท้าทายยิ่งขึ้น ดังนั้นจึงควรเตรียมแบบจำลองสำหรับเงื่อนไขที่คล้ายคลึงกันกับสถานการณ์ในสถานการณ์ CBG ได้ดียิ่งขึ้น การจัดอันดับระหว่างรุ่นต่างๆ นั้นคล้ายคลึงกับ CASIA-B: SimpleViT, CrossFormer และTwins-SVT มีประสิทธิภาพเหนือกว่า CaiT และ Token2Token อย่างต่อเนื่อง สำหรับทั้ง CASIA-B และ FVG นั้น CaiT จะล้าหลังรุ่นอื่นๆ เล็กน้อย

4.3. การทดสอบความไวของ Spatiotemporal

ลักษณะเฉพาะอย่างหนึ่งของวิชั่นทรานส์ฟอร์มเมอร์คือการเลือกขนาดของแพตช์โดยพลการ ซึ่งสามารถพิสูจน์ได้ว่ามีความสำคัญอย่างยิ่งในประสิทธิภาพขั้นสุดท้าย ในกรณีของการประมวลผลภาพ ขนาดแพตช์ไม่สำคัญเป็นพิเศษ เนื่องจากความแปรปรวนในการแปลของเนื้อหาความหมายในรูปภาพ

อย่างไรก็ตาม สำหรับลำดับโครงกระดูก ขนาดของแพตช์จะสอดคล้องกับคุณลักษณะเฉพาะและตีความได้ของอินพุต: ความสูงของแพตช์แสดงถึงปริมาณข้อมูลเชิงพื้นที่ที่มีอยู่ในแพตช์ (เช่น จำนวนข้อต่อโครงกระดูกที่รวมอยู่ด้วย) ในขณะที่มิติชั่วคราวแสดงถึงปริมาณของข้อมูลชั่วคราวที่รวมอยู่ ( คือจำนวนเฟรม) ควรพิจารณาความสมดุลระหว่างทั้งสองอย่างถี่ถ้วนในการใช้เครื่องแปลงการมองเห็นที่ดัดแปลงเพื่อการวิเคราะห์การเดิน ในรูปที่ 7 เราแสดงแผนที่ความร้อนซึ่งทุกเซลล์เป็นประสิทธิภาพของแบบจำลองที่ได้รับการฝึก (เริ่มต้นแบบสุ่ม) บน CASIA-B สำหรับการเดินปกติ เราฝึกอบรมโมเดลแต่ละรุ่นเป็นเวลา 50 ยุคเพื่อการเปรียบเทียบที่ยุติธรรม และเพื่อวัดความเร็วของการบรรจบกันด้วยจำนวนก้าวที่กำหนด
เราสร้างแผนที่ความร้อนสองอัน อันหนึ่งสำหรับ SimpleViT และอีกอันสำหรับ CaiT เนื่องจากมีแบ็คโบนพื้นฐานที่คล้ายกัน และการปรับเปลี่ยนขนาดแพตช์นั้นตรงไปตรงมา กระบวนการเดียวกันนี้สามารถทำได้กับสถาปัตยกรรมที่ผ่านการทดสอบอื่นๆ เราสรุปได้ว่าขนาดแพทช์ที่เล็กลงนั้นสอดคล้องกับประสิทธิภาพการสร้างแบบจำลองที่เพิ่มขึ้นในเชิงบวกสำหรับลำดับโครงกระดูก ในขณะที่การแลกเปลี่ยนระหว่างมิติเชิงพื้นที่และมิติเวลานั้นไม่สำคัญ เนื่องจากประสิทธิภาพจะใกล้เคียงกัน - เมทริกซ์แผนที่ความร้อนนั้นค่อนข้างสมมาตรในเส้นทแยงมุมที่สอง ดังนั้น ขนาดแพตช์สี่เหลี่ยมที่เล็กกว่า เช่น (2, 4) ในมิติเชิงพื้นที่และมิติเวลาจึงเหมาะสมที่สุดสำหรับงานนี้ ในขณะที่ขนาดแพตช์ที่ใหญ่กว่า เช่น (32, 32) มีข้อมูลที่แยกแยะน้อยเกินไป อย่างไรก็ตาม ขนาดแพตช์ที่เล็กลงก็จะทำให้จำนวนแพตช์เพิ่มขึ้น ซึ่งต้องใช้พลังการประมวลผลมากขึ้น สำหรับการตั้งค่า NVIDIA RTX 3060 GPU สองตัว เราได้รายงานข้อผิดพลาดหน่วยความจำไม่เพียงพอสำหรับการรวมแพตช์ที่มีขนาดเล็กกว่า

เหตุผลที่เป็นไปได้มากที่สุดสำหรับประสิทธิภาพที่ได้รับการปรับปรุงด้วยขนาดแพตช์ที่เล็กลงก็คือ สถาปัตยกรรมสามารถจับความซับซ้อนของรูปแบบการเดินได้ดีขึ้น โดยการคำนวณการโต้ตอบที่ซับซ้อนมากขึ้นระหว่างแพตช์ แผ่นแปะที่มีขนาดเชิงพื้นที่ที่ใหญ่ที่สุดเท่าที่เป็นไปได้และขนาดเชิงพื้นที่ที่เล็กที่สุดเท่าที่จะเป็นไปได้ถือได้ว่าเป็นตัวแทนของโครงกระดูกทั้งหมด ในขณะที่แผ่นที่มีขนาดเชิงพื้นที่ที่ใหญ่ที่สุดที่เป็นไปได้และขนาดเชิงพื้นที่ที่เล็กที่สุดที่เป็นไปได้จะจับการเคลื่อนไหวของข้อต่อทั้งหมดทั้งหมด ดังที่สามารถสังเกตได้ ความแม่นยำสูงสุดจะเกิดขึ้นได้เมื่อขนาดของแพทช์รวมเอาความสมดุลของข้อมูลเชิงพื้นที่และข้อมูลเวลา ซึ่งสอดคล้องกับการเคลื่อนไหวเล็กน้อยของข้อต่อที่เชื่อมต่อกันอย่างใกล้ชิด

5. การอภิปรายและข้อสรุป

ในงานนี้ เราได้ทำการประเมินอย่างครอบคลุมของวิชั่นทรานส์ฟอร์มเมอร์ยอดนิยม 5 แบบที่ปรับให้เหมาะกับการประมวลผลลำดับโครงกระดูก ความพยายามของเราสอดคล้องกับความก้าวหน้าในการเรียนรู้เชิงลึกเพื่อรวมรูปแบบต่างๆ ไว้ภายใต้สถาปัตยกรรมหม้อแปลงไฟฟ้า เราเสนอวิธีการอัปแซมปลิงเชิงพื้นที่สำหรับโครงกระดูก (การสุ่มตัวอย่างแบบไบคิวบิคัพด้วยรูปแบบโครงกระดูก TSSI) เพื่อเพิ่มจำนวนข้อต่อปลอม ซึ่งลำดับดังกล่าวสามารถนำมาใช้อย่างเหมาะสมโดยตัวเข้ารหัสของหม้อแปลง นอกจากนี้ แต่ละสถาปัตยกรรมยังได้รับการฝึกอบรมภายใต้กระบวนทัศน์การฝึกอบรมการดูแลตนเองบนชุดข้อมูลการเดินทั่วไปและขนาดใหญ่สองชุด (เช่น DenseGait และ GREW) และต่อมาได้รับการประเมินชุดข้อมูลสองชุดสำหรับการจดจำการเดินในสภาพแวดล้อมที่มีการควบคุม (เช่น CASIA-B และ FVG) เราเลือกที่จะนำกระบวนทัศน์การเรียนรู้แบบควบคุมตนเองมาใช้เพื่อให้ได้ลักษณะการเดินโดยทั่วไป ไม่จำกัดรูปแบบการเดินหรือมุมมองของกล้องโดยเฉพาะ

ผลลัพธ์ของเราบ่งบอกถึงความต้องการชุดข้อมูลปริมาณมาก คุณภาพสูง และหลากหลายสำหรับแบบจำลองการวิเคราะห์การเดินล่วงหน้า เราแสดงให้เห็นว่าการฝึกล่วงหน้าบน DenseGait ช่วยให้มีการปรับปรุงความแม่นยำที่สม่ำเสมอเมื่อเทียบกับ GREW เนื่องจากขนาดที่เพิ่มขึ้น จำนวนการเปลี่ยนแปลง และระยะเวลาการเดินโดยเฉลี่ย [12] อย่างไรก็ตาม ประโยชน์ที่สำคัญที่สุดคือในสถานการณ์ที่มีข้อมูลการฝึกอบรมจำนวนน้อย ผลลัพธ์ของเราแสดงให้เห็นว่าการฝึกอบรมตั้งแต่เริ่มต้นนำไปสู่ผลลัพธ์ที่แย่กว่าการปรับแต่งอย่างละเอียดอย่างมาก แม้ว่าจะมีข้อมูลเพียงเล็กน้อย (เช่น 10 ลำดับต่อคน) ปัจจุบัน แนวทางการเดินส่วนใหญ่ดำเนินการในอาคารในสภาพแวดล้อมที่มีการควบคุมอย่างเข้มงวด ซึ่งไม่สามารถสรุปให้ครอบคลุมถึงความซับซ้อนของการมีปฏิสัมพันธ์ในโลกแห่งความเป็นจริงได้ ชุดข้อมูลการฝึกอบรมที่หลากหลายมีความสำคัญอย่างยิ่งต่อการวิเคราะห์พฤติกรรมที่เกิดขึ้นจริงอย่างแม่นยำ โดยเฉพาะอย่างยิ่งเนื่องจากการเดินเป็นคุณลักษณะทางชีวมิติที่ได้รับอิทธิพลได้ง่ายจากปัจจัยด้านสิ่งแวดล้อมภายนอก รวมถึงองค์ประกอบภายในและอารมณ์

การศึกษาการระเหยของเราแสดงให้เห็นว่าแผ่นแปะเชิงพื้นที่และชั่วคราวที่มีขนาดเล็กลงนั้นมีประโยชน์สำหรับผลลัพธ์ขั้นปลายน้ำที่ดีขึ้น ข้อมูลเชิงลึกนี้แจ้งถึงการพัฒนาในอนาคตของสถาปัตยกรรมลำดับโครงกระดูก ซึ่งก่อนหน้านี้ต้องอาศัยการประมวลผลโครงกระดูกแต่ละชิ้นบนแพตช์เดียว [12]

นอกเหนือจากความพยายามที่เกิดขึ้นพร้อมกันในการนำการวิเคราะห์การเดินไปสู่การตั้งค่าที่สมจริงแล้ว การทำงานของเรายังช่วยให้สามารถเปลี่ยนการตรวจสอบความถูกต้องของการเดินและการวิเคราะห์พฤติกรรมจากสภาพแวดล้อมในร่มที่มีการควบคุมไปเป็นการตั้งค่ากลางแจ้งในโลกแห่งความเป็นจริง การจดจำการเดินในป่าจะกลายเป็นที่แพร่หลายด้วยการพัฒนาเซ็นเซอร์อัจฉริยะและสถาปัตยกรรมประสาทที่มีประสิทธิภาพ ซึ่งประมวลผลพฤติกรรมที่ขับเคลื่อนด้วยการเคลื่อนไหวแบบเรียลไทม์

อ้างอิง

1. คยอง ส.; คิม เอสเอ็ม; จุง ส.; การวิเคราะห์รูปแบบ Kim, DH Gait และการระบุกลุ่มย่อยทางคลินิก: การศึกษาเชิงสังเกตย้อนหลัง แพทยศาสตร์ 2020, 99, e19555 [CrossRef] [PubMed]

2. มิชาลัก เจ.; โทรเย, NF; ฟิสเชอร์ เจ.; โวลล์มาร์, ป.; ไฮเดนไรช์ ต.; Schulte, D. ศูนย์รวมแห่งความโศกเศร้าและความหดหู่ - รูปแบบการเดินที่เกี่ยวข้องกับอารมณ์ Dysphoric โรคจิต. ยา 2009, 71, 580–587. [CrossRef] [PubMed]

3. วิลเลมส์ TM; วิธโรว อี.; เดอค็อก, อ.; De Clercq, D. ปัจจัยเสี่ยงที่เกี่ยวข้องกับการเดินสำหรับอาการปวดขาส่วนล่างที่เกี่ยวข้องกับการออกกำลังกายในระหว่างการวิ่ง ยา วิทยาศาสตร์ การออกกำลังกายกีฬา 2550, 39, 330–339. [CrossRef] [PubMed]

4. ซิงห์ เจพี; เจน ส.; อโรรา ส.; Singh, UP การจดจำการเดินตามวิสัยทัศน์: แบบสำรวจ การเข้าถึง IEEE 2018, 6, 70497–70527 [ครอสอ้างอิง]

5. มากิฮาระ ย.; นิกสัน, มิสซิสซิปปี; การจดจำ Yagi, Y. Gait: ฐานข้อมูล การแสดง และแอปพลิเคชัน คอมพิวเตอร์ วิส อ้างอิง คู่มือปี 2020,1–13

6. ยู ส.; ตาล ด.; Tan, T. กรอบการทำงานสำหรับการประเมินผลกระทบของมุมมอง การแต่งกาย และสภาพการพกพาที่มีต่อการจดจำการเดิน ใน การดำเนินการของการประชุมนานาชาติเรื่องการรับรู้รูปแบบครั้งที่ 18 (ICPR'06), ฮ่องกง, จีน, 20–24 สิงหาคม 2549; เล่ม 4, หน้า 441–444.

7. จู้ซ.; กัว เอ็กซ์.; หยาง ต.; หวง เจ.; เติ้ง เจ.; หวง ก.; ดู่ ด.; ลูเจ.; Zhou, J. Gait Recognition in the Wild: เกณฑ์มาตรฐาน InProceedings of the IEEE International Conference on Computer Vision (ICCV), มอนทรีออล, บริติชโคลัมเบีย, แคนาดา, 11–17 ตุลาคม 2021

8. เจ้าฮ.; เฮ้.; จาง เจ.; Feng, J. Gaitset: เกี่ยวกับการเดินเป็นชุดสำหรับการรับรู้การเดินแบบข้ามมุมมอง ใน Proceedings of the AAAIConference on Artificial Intelligence, โฮโนลูลู, ฮาวาย, สหรัฐอเมริกา, 27 มกราคม–1 กุมภาพันธ์ 2019; เล่มที่ 33 หน้า 8126–8133 

9. แฟนค.; เป็ง ย.; เฉาค.; หลิว เอ็กซ์.; ฮู ส.; จิเจ.; หวาง ย.; หลี่คิว.; He, Z. Gaitpart: แบบจำลองส่วนเวลาชั่วคราวสำหรับการรับรู้การเดิน ใน Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, ซีแอตเทิล, วอชิงตัน, สหรัฐอเมริกา, 13–19 มิถุนายน 2020; หน้า 14225–14233.

10. คอสมา อ.; Radoi, IE WildGait: การเรียนรู้การนำเสนอท่าทางจากสตรีมการเฝ้าระวังแบบ Raw เซ็นเซอร์ 2021, 21, 8387 [CrossRef] [PubMed]

For more information:1950477648nn@gmail.com