การจดจำป้ายจราจรตามอัลกอริทึม YOLOv3 ตอนที่ 1

เชิงนามธรรม:

การตรวจจับป้ายจราจรเป็นองค์ประกอบสำคัญของระบบขนส่งอัจฉริยะ เนื่องจากเป็นการให้ข้อมูลการจราจรบนถนนที่สำคัญสำหรับการตัดสินใจและการควบคุมยานพาหนะ

ในขณะที่การขยายตัวของเมืองเร่งตัวขึ้น จำนวนประชากรและจำนวนยานพาหนะยังคงเพิ่มขึ้นอย่างต่อเนื่อง และปัญหาต่างๆ เช่น ความแออัดของการจราจรและอุบัติเหตุด้านความปลอดภัยก็ทวีความรุนแรงมากขึ้นเรื่อยๆ นำมาซึ่งความไม่สะดวกและความกดดันอย่างมากต่อชีวิตและการทำงานของผู้คน ดังนั้นการเกิดขึ้นของระบบขนส่งอัจฉริยะได้นำความสะดวกสบายมาสู่ชีวิตของเราอย่างมากและยังสามารถปรับปรุงความปลอดภัยในการจราจรได้อีกด้วย ระบบขนส่งอัจฉริยะก็แยกออกจากความทรงจำของมนุษย์ไม่ได้เช่นกัน

ประการแรก ระบบขนส่งอัจฉริยะสามารถใช้วิธีการที่ใช้เทคโนโลยีขั้นสูงในการรวบรวมและวิเคราะห์ข้อมูลการจราจร และแจ้งสภาพการจราจรโดยละเอียดและแม่นยำแก่ประชาชน ซึ่งช่วยอำนวยความสะดวกในการเดินทางของประชาชน และหลีกเลี่ยงความล่าช้าของเวลาเนื่องจากข้อมูลการจราจรที่ไม่ถูกต้อง เช่น สัญญาณไฟจราจร สำหรับผู้ขับขี่ ระบบขนส่งอัจฉริยะสามารถทำการวิเคราะห์และติดตามเส้นทางการขับขี่แบบเรียลไทม์ เตือนผู้ขับขี่ให้ปรับเปลี่ยนเส้นทางการขับขี่ทันทีในช่วงเวลาพิเศษ และลดการเกิดการจราจรติดขัด การล่าช้า ฯลฯ ด้วยวิธีนี้ ช่วยดึงดูดความสนใจของผู้ขับขี่ ลดความเมื่อยล้าระหว่างการขับขี่ และช่วยเพิ่มความปลอดภัยในการขับขี่

ประการที่สอง ระบบขนส่งอัจฉริยะยังสามารถเชื่อมต่อกับโทรศัพท์มือถือของผู้ขับขี่ ระบบนำทางในรถยนต์ และระบบอื่นๆ ผ่านทางวิธีการทางเทคนิค เช่น อินเทอร์เน็ตของยานพาหนะ ด้วยวิธีนี้ ผู้คนสามารถรับข้อมูลการจราจรล่าสุดได้ตลอดเวลา รู้สภาพแวดล้อมการจราจรในปัจจุบัน และปรับแผนการเดินทางได้ทันที ขณะเดียวกันยังสามารถทำงานร่วมกับระบบควบคุมความปลอดภัยของรถและระบบช่วยเหลือในการขับขี่เพื่อให้มั่นใจในการขับขี่อย่างปลอดภัย ตัวอย่างเช่น หลังจากที่ผู้ขับขี่เชี่ยวชาญเส้นทางการขับขี่ ข้อมูลการจราจร ฯลฯ ที่ได้รับจากระบบขนส่งอัจฉริยะแล้ว พวกเขาจะขับรถอย่างมีสมาธิและเสถียรมากขึ้น จะไม่สับสนเนื่องจากการเปลี่ยนแปลงเส้นทางอย่างกะทันหัน เป็นต้น และยังจะ สามารถดำเนินการในกรณีฉุกเฉินได้อย่างรวดเร็ว ตอบสนอง

สุดท้ายนี้ ระบบการขนส่งอัจฉริยะยังสามารถกำหนดกฎการจัดการจราจรที่สอดคล้องกันตามสถานการณ์การจราจรในเมืองที่แตกต่างกัน เพื่อให้มั่นใจถึงการเดินทางที่ปลอดภัยของยานพาหนะและคนเดินถนน และหลีกเลี่ยงอุบัติเหตุจราจร ตัวอย่างเช่น การเปลี่ยนเวลาและความถี่ของสัญญาณไฟจราจรตามสภาพการจราจรที่ติดขัด การแจ้งเตือนการจำกัดความเร็วในส่วนถนน ฯลฯ ช่วยให้ผู้ขับขี่สามารถตอบสนองได้อย่างถูกต้องเมื่อเผชิญกับสภาพถนนที่ซับซ้อน จึงรับประกันความราบรื่นของการจราจร และการรักษาความปลอดภัย

โดยสรุป มีความเชื่อมโยงอย่างใกล้ชิดระหว่างระบบขนส่งอัจฉริยะและความทรงจำของมนุษย์ ระบบการขนส่งอัจฉริยะช่วยให้เรามีสภาพแวดล้อมในการขับขี่ที่ดีขึ้น ลดภาระของผู้คนในการขับขี่ และเพิ่มความจำของผู้คน การพัฒนาระบบขนส่งอัจฉริยะเป็นแนวโน้มที่หลีกเลี่ยงไม่ได้ในการก่อสร้างเมืองสมัยใหม่ของเรา จะเห็นได้ว่าเราต้องปรับปรุงความจำ และ Cistanche Deserticola สามารถปรับปรุงความจำได้อย่างมาก เนื่องจาก Cistanche Deserticola เป็นยาแผนโบราณของจีนที่มีลักษณะพิเศษมากมาย หนึ่งในนั้นคือการปรับปรุงความจำ ประสิทธิภาพของเนื้อสับมาจากส่วนผสมออกฤทธิ์หลายชนิดในเนื้อสับ เช่น กรด โพลีแซ็กคาไรด์ ฟลาโวนอยด์ ฯลฯ ส่วนผสมเหล่านี้สามารถส่งเสริมสุขภาพสมองได้หลายวิธี

improve memory

คลิกรู้ 10 วิธีปรับปรุงความจำ

เพื่อแก้ปัญหาความท้าทายของป้ายจราจรขนาดเล็ก คุณลักษณะที่ไม่เด่นชัด และความแม่นยำในการตรวจจับต่ำ จึงเสนอวิธีการจดจำป้ายจราจรตาม YOLOv3 ที่ปรับปรุงแล้ว (คุณดูเพียงครั้งเดียว v3)

โครงสร้างปิระมิดพูลเชิงพื้นที่ถูกหลอมรวมเข้ากับโครงสร้างเครือข่าย YOLOv3 เพื่อให้เกิดการผสมผสานระหว่างคุณสมบัติเฉพาะที่และคุณสมบัติระดับโลก และมีการใช้มาตราส่วนการทำนายคุณสมบัติที่สี่ขนาด 152 × 152 เพื่อใช้คุณสมบัติตื้นในเครือข่ายอย่างเต็มประสิทธิภาพเพื่อทำนายเป้าหมายขนาดเล็ก

นอกจากนี้ การถดถอยขอบเขตขอบเขตจะมีเสถียรภาพมากขึ้นเมื่อใช้การสูญเสียระยะทาง-IoU (DIoU) ซึ่งคำนึงถึงระยะห่างระหว่างเป้าหมายและจุดยึด อัตราการทับซ้อน และสเกล

จุดยึด 12 จุดของชุดข้อมูลป้ายจราจร Tsinghua–Tencent 100K(TT100K) ได้รับการคำนวณใหม่โดยใช้อัลกอริธึมการจัดกลุ่ม K-means ในขณะที่ชุดข้อมูลมีความสมดุลและขยายเพื่อแก้ไขปัญหาคลาสเป้าหมายจำนวนไม่เท่ากันในชุดข้อมูล TT100K

อัลกอริธึมถูกเปรียบเทียบกับ YOLOv3 และอัลกอริธึมการตรวจจับเป้าหมายอื่นๆ ที่ใช้กันทั่วไป และผลลัพธ์แสดงให้เห็นว่าอัลกอริธึม YOLOv3 ที่ปรับปรุงแล้วบรรลุความแม่นยำเฉลี่ยเฉลี่ย (mAP) ที่ 77.3% ซึ่งสูงกว่า YOLOv3 ถึง 8.4% โดยเฉพาะอย่างยิ่งในการตรวจจับเป้าหมายขนาดเล็ก โดยที่ mAP นั้นอยู่ ปรับปรุงขึ้น 10.5% ซึ่งปรับปรุงความแม่นยำของเครือข่ายการตรวจจับอย่างมาก ขณะเดียวกันก็รักษาประสิทธิภาพแบบเรียลไทม์ให้สูงที่สุดเท่าที่จะเป็นไปได้

ความแม่นยำของเครือข่ายการตรวจจับได้รับการปรับปรุงอย่างมาก ขณะเดียวกันก็รักษาประสิทธิภาพแบบเรียลไทม์ของเครือข่ายให้สูงที่สุดเท่าที่จะเป็นไปได้

คำสำคัญ:

การจดจำป้ายจราจร โยโลฟ3; โครงสร้างการรวมกลุ่มเสี้ยมเชิงพื้นที่

1. บทนำ

ปัจจุบัน ระบบขับขี่อัตโนมัติและการขนส่งอัจฉริยะ (ITS) เป็นแอปพลิเคชั่นหลักสำหรับเทคโนโลยีการตรวจจับและระบุป้ายจราจร

โดยให้ข้อมูลการจราจรที่สำคัญแก่ผู้ขับขี่และยานพาหนะอัตโนมัติ เพื่อให้คนหลังสามารถตัดสินใจตามกฎจราจรหรือแจ้งเตือน และกำหนดทิศทางพฤติกรรมการปฏิบัติงานของผู้ขับขี่ได้ทันเวลา เพื่อลดอุบัติเหตุบนท้องถนน

short term memory how to improve

ป้ายจราจรสามารถแบ่งกว้าง ๆ ได้เป็น 3 ประเภท ได้แก่ ป้ายบอกทาง ป้ายเตือน และป้ายห้าม ป้ายเหล่านี้มีลักษณะกลมหรือสามเหลี่ยม และมีสีแดง เหลือง และน้ำเงิน

ดังนั้นการจดจำป้ายจราจรแบบคลาสสิกมักจะใช้เทคนิคการเรียนรู้ของเครื่องเพื่อจดจำป้ายจราจรหรือดึงข้อมูล เช่น สีและรูปร่างจากป้ายจราจร

การแบ่งส่วนสีเพื่อแยกคุณลักษณะก่อนใช้การระบุการจำแนกประเภทในการตรวจจับป้ายจราจรตามสี ซึ่งได้รับผลกระทบจากการเปลี่ยนแปลงของแสงได้ง่าย การแบ่งส่วนสีไม่ได้รับอิทธิพลจากความแปรผันของความสว่าง ตามวรรณกรรมก่อนหน้านี้ [1] และใช้พื้นที่ HIS เพื่อตรวจสอบเฉพาะเฉดสีและความอิ่มตัวของสีเท่านั้น

เนื่องจากความต้องการการจดจำสีในตัวแปรต่างๆ เช่น สภาพอากาศและระยะการตรวจจับมีความต้องการสูง วิธีการตรวจจับตามคุณสมบัติสีจึงสามารถนำมาใช้สำหรับการจดจำภาพที่มีความละเอียดสูง แต่ไม่ใช่สำหรับการจดจำภาพระดับสีเทา [2]

วิธีการระบุป้ายจราจรตามรูปทรงบนภาพระดับสีเทาถูกเสนอในวรรณกรรมอื่น [3] ซึ่งแปลงการตรวจจับป้ายจราจรสามเหลี่ยมเป็นการตรวจจับส่วนของเส้นแบบง่าย ซึ่งสามารถจดจำสัญญาณจราจรได้อย่างเหมาะสม และไม่ได้รับผลกระทบจากระยะทาง

มีการเสนอระบบตรวจจับและจดจำสัญญาณจราจรโดยใช้เครื่องเวกเตอร์สนับสนุนในวรรณกรรมอื่น [4] ซึ่งใช้คุณสมบัติทั่วไปของเครื่องเวกเตอร์สนับสนุนเชิงเส้นเพื่อแบ่งส่วนสีของป้ายจราจรก่อนแล้วจึงจำแนกแบบฟอร์ม

วิธีการตรวจจับคุณสมบัติสีและรูปร่างแยกจากกัน ขั้นแรกจะทำการแบ่งส่วนสีเพื่อให้ได้พื้นที่ที่สนใจ และหากตรวจไม่พบพื้นที่ที่สนใจ การตรวจจับตามรูปร่างจะไม่ดำเนินการอีกต่อไป ประการที่สอง การแบ่งส่วนสีต้องมีเกณฑ์คงที่เพื่อตั้งค่า ด้วยตนเอง ทำให้การตรวจจับป้ายจราจรมีความซับซ้อนและใช้เวลานาน

เพื่อแก้ไขปัญหาเหล่านี้และเพิ่มประสิทธิภาพการตรวจจับ การศึกษาชิ้นหนึ่ง [5] ใช้เฟรมเวิร์ก AdaBoost เพื่อดำเนินการตรวจจับการสร้างแบบจำลองสีและรูปร่างพร้อมกัน

การเปลี่ยนแปลงสภาพภายนอก เช่น แสง การเปลี่ยนแปลงสีของป้ายจราจร และอื่นๆ อาจส่งผลต่อการตรวจจับป้ายจราจรตามสีและรูปร่าง

ผลกระทบของการตรวจจับไม่เสถียร ส่งผลให้ประสิทธิภาพของระบบจดจำป้ายจราจรลดลง และทำให้เสี่ยงต่อการรั่วไหลของสัญญาณจราจรและการตรวจจับที่ผิดพลาด โครงข่ายประสาทเทียมถูกใช้บ่อยขึ้นเพื่อตรวจจับเป้าหมายในขณะที่เทคโนโลยีการเรียนรู้เชิงลึกก้าวหน้า ตัวอย่างของอัลกอริธึมเหล่านี้ ได้แก่ Faster R-CNN [6], SSD [7] และ YOLO [8] ฯลฯ ซึ่งแยกออกเป็นแนวทางการตรวจจับแบบขั้นตอนเดียวและสองขั้นตอนเป็นหลัก

การศึกษาก่อนหน้านี้ [9] นำเสนอเครือข่ายการตรวจจับที่ได้รับการปรับปรุงโดยใช้ YOLOv1 เพื่อแก้ไขปัญหาความแม่นยำต่ำและความเร็วในการตรวจจับที่ช้าของวิธีการตรวจจับป้ายจราจรมาตรฐาน

เครือข่ายนี้ปรับปรุงความเร็วในการตรวจจับสัญญาณจราจรและลดความต้องการฮาร์ดแวร์ของระบบตรวจจับ การศึกษาอื่น [10] แนะนำวิธีการตรวจจับสัญญาณจราจรโดยยึดตาม FasterRCNN ที่ปรับปรุงแล้ว โดยมีการปรับปรุง mAP 12.1% ซึ่งแก้ไขปัญหาได้สำเร็จ เช่น ประสิทธิภาพการจดจำต่ำและเพิ่มขึ้น ความแม่นยำในการตรวจจับและจดจำป้ายจราจร

ใน [11] ชุดข้อมูล CCTSDB ได้มาจากการขยายชุดข้อมูลป้ายจราจรจีน (CTSD) และอัปเดตข้อมูลเครื่องหมายตามอัลกอริธึมการตรวจจับเป้าหมาย YOLOv2 ที่ปรับปรุงแล้ว ชุดข้อมูล CCTSDB มีป้ายจราจรเพียงสามประเภทเท่านั้น ซึ่งไม่เพียงพอต่อการทำงานที่ท้าทายในการจดจำป้ายจราจร

ชุดข้อมูล TT100K [12] สร้างขึ้นโดยมหาวิทยาลัย Tsinghua และ Tencent ในการทำงานร่วมกัน ถูกดึงมาจากภาพพาโนรามา Street View ของจีน และครอบคลุมแสงและสภาพอากาศที่หลากหลาย ทำให้เป็นตัวแทนของสภาพแวดล้อมการขับขี่จริงได้มากขึ้น การศึกษา [13] ใช้ DenseNet แทน ResNet ในเครือข่ายแกนหลักของ YOLOv3 และตรวจสอบความถูกต้องโดยใช้ชุดข้อมูล TT100K

ways to improve memory

อัลกอริธึมช่วยปรับปรุงประสิทธิภาพแบบเรียลไทม์ของโมเดลการตรวจจับ แต่ความแม่นยำและการเรียกคืนมีแนวโน้มที่จะต่ำเมื่อเป็นเป้าหมายขนาดเล็ก เช่น ป้ายจราจร ซึ่งบ่งบอกถึงการตรวจจับที่ผิดพลาดร้ายแรง

งานการตรวจจับมักมีความท้าทายมากขึ้นในงานการตรวจจับเป้าหมาย เนื่องจากเป้าหมายที่จะตรวจจับมักจะมีขนาดใหญ่ และสามารถดึงคุณลักษณะต่างๆ ออกมาได้อย่างง่ายดาย

เนื่องจากโครงสร้าง FPN ที่ YOLOv3 แนะนำ ทำให้ตอนนี้สามารถตรวจจับเป้าหมายในระดับต่างๆ ได้ด้วยการใช้ฟีเจอร์หลายขนาด ซึ่งเหมาะสำหรับฉากการจราจรที่ซับซ้อน และได้แสดงให้เห็นประสิทธิภาพในการตรวจจับเป้าหมายขนาดเล็ก อย่างไรก็ตาม ยังมีพื้นที่สำหรับการปรับปรุงในภาพความละเอียดสูงของชุดข้อมูลป้ายจราจร TT100K

โดยสรุป วิธีการที่ใช้โครงข่ายประสาทเทียมสามารถแก้ไขปัญหาประสิทธิภาพการจดจำต่ำ การตรวจจับที่พลาด และการตรวจจับที่ผิดพลาดได้สำเร็จ ขณะเดียวกันก็เพิ่มความแม่นยำในการตรวจจับและการจดจำป้ายจราจรอีกด้วย

วิธีการที่ใช้โครงข่ายประสาทเทียมมีความแม่นยำดีกว่าหรือตรวจจับได้เร็วกว่าวิธีการแบบเดิม แต่ไม่สามารถรับทั้งความเร็วในการตรวจจับและความแม่นยำในการตรวจจับได้ นอกจากนี้ การตรวจจับป้ายจราจรส่วนใหญ่ใช้ชุดข้อมูลป้ายจราจรของเยอรมัน (GTSDB) และป้ายจราจรในเยอรมนีแตกต่างจากในจีน โดยมีการศึกษาเกี่ยวกับการตรวจจับและการจดจำป้ายจราจรในจีนน้อยกว่า

ดังนั้น เพื่อแก้ไขปัญหาในวิธีการข้างต้น บทความนี้จึงใช้ชุดข้อมูล TT100K เพื่อฝึกอบรมและตรวจจับสัญญาณไฟจราจรของจีน และปรับปรุงและปรับเครือข่าย YOLOv3 โดยมีการปรับปรุงดังต่อไปนี้เป็นหลัก:

(1) เพิ่มสเกลการทำนายคุณสมบัติที่สี่ขนาด 152 × 152 ให้กับโครงสร้างเครือข่าย YOLOv3 เพื่อใช้ประโยชน์จากคุณสมบัติตื้นในเครือข่ายอย่างเต็มที่เพื่อคาดการณ์เป้าหมายขนาดเล็ก เพื่อให้บรรลุถึงการหลอมรวมคุณลักษณะระดับท้องถิ่นและระดับโลก โครงสร้างปิรามิดพูลเชิงพื้นที่จึงถูกหลอมรวมเข้าด้วยกัน

(2) ระยะห่างระหว่างเป้าหมายและจุดยึด อัตราการทับซ้อน และขนาดจะถูกนำมาพิจารณาเมื่อใช้การสูญเสีย DIOU เพื่อการบรรจบกันที่เร็วขึ้นและการถดถอยของเฟรมเป้าหมายที่สม่ำเสมอยิ่งขึ้น ซึ่งจะทำให้การถดถอยของเฟรมเป้าหมายมีเสถียรภาพมากขึ้น

(3) ป้ายจราจรส่วนใหญ่ในชุดข้อมูล TT100K เป็นเป้าหมายขนาดเล็กและขนาดกลาง โดยมีเป้าหมายใหญ่เพียงไม่กี่แห่ง

ด้วยเหตุนี้ การใช้พุกแบบเดิมจึงไม่ใช่ทางเลือกที่เหมาะสม อัลกอริธึมการจัดกลุ่ม K-mean ใช้เพื่อคำนวณจุดยึด 12 จุดใหม่สำหรับชุดข้อมูล TT100K และใช้กลยุทธ์การเพิ่มข้อมูลเพื่อสร้างสมดุลและเพิ่มจำนวนหมวดหมู่เป้าหมายที่ไม่สมดุลของชุดข้อมูล

memory enhancement