ปรับปรุงการแยกพารามิเตอร์คุณสมบัติจากสัญญาณเสียงโดยใช้อัลกอริทึมการเรียนรู้ของเครื่อง (1)

เชิงนามธรรม: การรู้จำเสียงหมายถึงความสามารถของซอฟต์แวร์หรือฮาร์ดแวร์ในการรับสัญญาณเสียงพูด ระบุคุณลักษณะของผู้พูดในสัญญาณเสียงพูด และจดจำผู้พูดหลังจากนั้น โดยทั่วไป กระบวนการรู้จำเสียงเกี่ยวข้องกับสามขั้นตอนหลัก: การประมวลผลเสียง การดึงคุณลักษณะ และการจัดประเภท/การรู้จำ จุดประสงค์ของการดึงคุณสมบัติคือเพื่อแสดงสัญญาณเสียงพูดโดยใช้ส่วนประกอบสัญญาณตามจำนวนที่กำหนดไว้ล่วงหน้า ทั้งนี้เนื่องจากข้อมูลทั้งหมดในสัญญาณเสียงมีความยุ่งยากในการจัดการมากเกินไป และข้อมูลบางอย่างไม่เกี่ยวข้องกับงานระบุตัวตน การศึกษานี้เสนอวิธีการเรียนรู้ด้วยเครื่องที่ดำเนินการแยกพารามิเตอร์คุณลักษณะจากสัญญาณเสียงพูดเพื่อปรับปรุงประสิทธิภาพของแอปพลิเคชันการรู้จำเสียงในสภาพแวดล้อมเมืองอัจฉริยะแบบเรียลไทม์ ยิ่งไปกว่านั้น หลักการของการแมปบล็อกของหน่วยความจำหลักกับแคชยังใช้อย่างมีประสิทธิภาพเพื่อลดเวลาในการประมวลผล ขนาดบล็อกของหน่วยความจำแคชเป็นพารามิเตอร์ที่มีผลอย่างมากต่อประสิทธิภาพของแคช โดยเฉพาะการนำกระบวนการดังกล่าวไปใช้ในระบบเรียลไทม์นั้นต้องใช้ความเร็วในการคำนวณสูง ความเร็วในการประมวลผลมีบทบาทสำคัญในการรู้จำเสียงในระบบเรียลไทม์ ต้องใช้เทคโนโลยีสมัยใหม่และอัลกอริทึมที่รวดเร็วซึ่งเพิ่มความเร่งในการแยกพารามิเตอร์คุณลักษณะออกจากสัญญาณเสียงพูด ปัญหาเกี่ยวกับการโอเวอร์คล็อกระหว่างการประมวลผลสัญญาณเสียงพูดแบบดิจิทัลยังไม่ได้รับการแก้ไขอย่างสมบูรณ์ ผลการทดลองแสดงให้เห็นว่าวิธีการที่นำเสนอประสบความสำเร็จในการแยกคุณสมบัติของสัญญาณและบรรลุประสิทธิภาพการจำแนกที่ราบรื่นเมื่อเทียบกับอัลกอริธึมการรู้จำเสียงทั่วไปอื่นๆ

ซิสแทนช์ เดสทิโคลา

คำหลัก: การรู้จำเสียง; การคำนวณแบบขนาน การคำนวณแบบกระจาย โปรเซสเซอร์แบบมัลติคอร์ การสกัดคุณลักษณะ การวิเคราะห์สเปกตรัม

1. บทนำ

การสร้างแนวทางการสื่อสารระหว่างมนุษย์กับเทคโนโลยีคอมพิวเตอร์เป็นงานที่สำคัญในปัญญาประดิษฐ์สมัยใหม่ หนึ่งในวิธีที่ง่ายที่สุดสำหรับผู้ใช้ในการป้อนข้อมูลคือผ่านสัญญาณเสียงพูด ดังนั้นเทคโนโลยีการประมวลผลสัญญาณเสียงพูดและเครื่องมือจึงกลายเป็นส่วนที่จำเป็นของสังคมสารสนเทศ การรู้จำเสียงเป็นลักษณะการวิจัยที่สำคัญของการประมวลผลสัญญาณเสียงพูดและเป็นเทคนิคปฏิสัมพันธ์ระหว่างมนุษย์กับคอมพิวเตอร์ที่สำคัญ สัญญาณเสียงมีความหมาย ข้อมูลส่วนตัว และสิ่งแวดล้อม [1] วิธีการทั่วไปในการประมวลผลสัญญาณเสียงพูดคือการใช้การวิเคราะห์ระยะสั้น ซึ่งสัญญาณจะแบ่งออกเป็นกรอบเวลาที่มีขนาดคงที่ โดยสมมติว่าพารามิเตอร์สัญญาณไม่เปลี่ยนแปลง มีการวางซ้อนทับกันระหว่างหน้าต่างเพื่อให้ได้การแสดงสัญญาณที่แม่นยำยิ่งขึ้น อัลกอริธึมการแยกคุณลักษณะ เช่น การวิเคราะห์สเปกตรัมและการทำนายเชิงเส้นจะถูกนำไปใช้กับแต่ละหน้าต่าง อย่างไรก็ตาม กระบวนการเหล่านี้ควรคำนึงถึงความเร็วและเวลาด้วย

โสมทะเลทราย

เวลาเป็นข้อกังวลที่สำคัญในหลาย ๆ ด้านของการประมวลผลสัญญาณตามเวลาจริง อัตราส่วนความเร็วในการประมวลผลสามารถเพิ่มขึ้นได้โดยใช้ทรัพยากรโปรเซสเซอร์อย่างมีประสิทธิภาพและการพัฒนาอัลกอริธึมใหม่และรวดเร็วเพื่อลดเวลาการประมวลผลแบบดิจิตอล อย่างไรก็ตาม ปัญหาการประมวลผลประสิทธิภาพสูงยังไม่ได้รับการแก้ไขทั้งหมด [2] ยิ่งไปกว่านั้น ความก้าวหน้าอย่างมากในการรู้จำเสียงพูดอัตโนมัติด้วยการพัฒนาฮาร์ดแวร์และซอฟต์แวร์ประมวลผลสัญญาณดิจิทัล อย่างไรก็ตาม แม้จะมีความก้าวหน้าเหล่านี้ เครื่องจักรก็ไม่สามารถเทียบเคียงกับประสิทธิภาพการทำงานของมนุษย์ได้ในแง่ของความแม่นยำและการรับรู้ความเร็ว โดยเฉพาะอย่างยิ่งในการรู้จำเสียงพูดที่ไม่ขึ้นกับลำโพง ดังนั้น การวิจัยจำนวนมากที่ดำเนินการเกี่ยวกับการรู้จำเสียงจึงมุ่งเน้นไปที่ปัญหาการรู้จำเสียงที่ไม่ขึ้นอยู่กับผู้พูด เนื่องจากการใช้งานที่หลากหลายและข้อจำกัดของเทคนิคการรู้จำเสียงที่มีอยู่ [3]

โดยสรุปผลงานหลักของการศึกษามีดังนี้:

ชาซิสแตนช์

คลิกที่นี่เพื่อดูผลิตภัณฑ์ชา Cistanche Deserticola

【สอบถามเพิ่มเติม】 อีเมล:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

กระบวนการระบุตัวบุคคลด้วยสัญญาณเสียงประกอบด้วยหลายขั้นตอน บางขั้นตอนต้องใช้เวลาในการคำนวณมากขึ้น นี่คือการวิเคราะห์สเปกตรัม หนึ่งในพารามิเตอร์ที่สำคัญอย่างยิ่งในอัลกอริทึมการเรียนรู้ของเครื่องคือเวลาการฝึกอบรม ในงานนี้ เราพบว่ากระบวนการแยกคุณสมบัติมีความสำคัญต่อการระบุสัญญาณเสียงพูด นอกจากนี้ แมชชีนเลิร์นนิงยังต้องใช้เวลามาก เป็นที่ทราบกันดีว่ากระบวนการวิเคราะห์สเปกตรัมประกอบด้วยการดำเนินการที่เป็นอิสระ และสามารถดำเนินการแบบคู่ขนานได้

การทดลองแสดงให้เห็นว่าการแปลงสเปกตรัม FFT และ DCT ให้ผลลัพธ์ที่ดีในการวิเคราะห์สเปกตรัม กระบวนการวิเคราะห์สเปกตรัมใช้ได้กับแต่ละส่วนของสัญญาณเสียงพูด สิ่งนี้ทำให้เราสามารถแยกคุณลักษณะเหล่านี้ออกจากสัญญาณเสียงพูดได้อย่างชัดเจน ด้วยความช่วยเหลือของเครื่องมือ OpenMP และ TBB อัลกอริทึมการคำนวณแบบขนานได้รับการพัฒนาขึ้นซึ่งทำให้สามารถคำนวณได้เร็วขึ้น

ขนาดส่วนมีความสำคัญเมื่อแบ่งสัญญาณเสียงพูดออกเป็นส่วนๆ ในระหว่างการทดลองพบว่าขนาดของส่วนของสัญญาณเสียงพูดนั้นขึ้นอยู่กับหน่วยความจำแคชของโปรเซสเซอร์กลาง โดยเฉพาะอย่างยิ่ง การจับคู่เซ็กเมนต์กับขนาดแคชในโปรเซสเซอร์แบบมัลติคอร์พบว่าส่งผลดีต่อความเร็วในการคำนวณในการเรียนรู้ของเครื่อง

มีการเสนอวิธีการใช้งานแบบขนานใหม่สำหรับการแปลงสเปกตรัมของสัญญาณสำหรับการแยกพารามิเตอร์คุณสมบัติจากสัญญาณเสียงพูดโดยใช้อัลกอริทึมการเรียนรู้ของเครื่องบนโปรเซสเซอร์แบบมัลติคอร์โดยใช้ TBB และ OpenMP

นอกจากนี้ยังพบว่าการใช้หลักการแมปบล็อกหน่วยความจำหลักกับแคชอย่างมีประสิทธิภาพและขนาดของบล็อกหน่วยความจำแคชสามารถเพิ่มความเร็วในการประมวลผลได้

Cistanche เสริมใกล้ฉัน-ปรับปรุงหน่วยความจำ

ที่เหลือของบทความนี้มีการจัดระเบียบดังต่อไปนี้. ส่วนที่ 2 ทบทวนการศึกษาที่มีอยู่สำหรับการแยกคุณสมบัติของสัญญาณเสียงพูดเฉพาะ ส่วนที่ 3 อธิบายขั้นตอนการแยกคุณลักษณะด้วยการทดลอง ส่วนที่ 4 นำเสนออัลกอริทึมการคำนวณประสิทธิภาพสูงที่เสนอสำหรับการแยกพารามิเตอร์คุณลักษณะจากสัญญาณเสียงโดยละเอียด ผลการทดลองตามการใช้งานของเราจะกล่าวถึงในส่วนที่ 5 ส่วนที่ 6 เน้นย้ำถึงข้อจำกัดของวิธีการที่เสนอ สุดท้าย ส่วนที่ 7 สรุปการศึกษาโดยสรุปผลการวิจัยและระบุทิศทางการวิจัยในอนาคต

2. งานที่เกี่ยวข้อง

วิธีการใหม่ๆ อัลกอริทึม และแอปพลิเคชันสมัยใหม่กำลังได้รับการพัฒนาและปรับปรุงสำหรับการแบ่งส่วนของสัญญาณเสียงพูดและการคำนวณตัวบ่งชี้พารามิเตอร์ของชิ้นส่วนที่เลือก ด้วยเหตุนี้จึงสร้างสเปกตรัมของสัญญาณเสียงพูดโดยใช้การวิเคราะห์สเปกตรัม [4–7] การระบุผู้พูดด้วยคลิปเสียงที่หลากหลายทั่วโลกเป็นงานที่สำคัญและท้าทาย โดยเฉพาะอย่างยิ่งในการแยกคุณลักษณะที่รุนแรงและเลือกปฏิบัติ [8] Korkmaz et al. นำเสนอระบบการสกัดคุณลักษณะ Mel Frequency Cepstral Coefficients (MFCC) แบบใหม่ที่เร็วกว่าและประหยัดพลังงานมากกว่าการทำให้เกิด MFCC แบบดั้งเดิม [9]. แทนที่จะใช้ฟิลเตอร์เน้นเสียงก่อนผ่านสูง พวกเขาใช้ฟิลเตอร์โลว์พาส พวกเขาใช้ตัวกรองแบนด์พาสกับตัวกรองความถี่สูงเนื่องจากจำเป็นต้องมีการเน้นเสียงล่วงหน้าเพื่อเพิ่มพลังงานของสัญญาณในความถี่สูง ในงานก่อนหน้าของเรา [10] เราได้นำเสนอวิธีการใหม่ที่ใช้ MFCC สำหรับการระบุผู้พูด แทนที่จะใช้ MFCC แบบเดิม เราใช้พิกเซลจาก Mel spectrogram เป็นชุดคุณลักษณะของเรา สเปกตรัมถูกแปลงเป็น 2-อาร์เรย์ D เพื่อสร้างชุดข้อมูลใหม่ ในการระบุตัวผู้พูด อัลกอริทึมการเรียนรู้หลายตัวได้ถูกนำมาใช้จริงด้วย 10-เทคนิคการตรวจสอบความถูกต้องแบบไขว้ ด้วยความช่วยเหลือของ multi-layer perceptron (MLP) ที่มีฟังก์ชันการเปิดใช้งาน tanh ทำให้มีความแม่นยำที่ดีที่สุดถึง 90.2 เปอร์เซ็นต์

การสกัดคุณสมบัติทำได้โดยการเปลี่ยนรูปคลื่นเสียงพูดเป็นรูปแบบการแสดงพารามิเตอร์ด้วยอัตราข้อมูลที่ค่อนข้างน้อยกว่าสำหรับการประมวลผลและการวิเคราะห์ที่ตามมา [11–14] วิธีการแยกคุณลักษณะมักจะให้เวกเตอร์คุณลักษณะหลายมิติสำหรับทุกสัญญาณเสียงพูด การแยกคุณลักษณะเป็นส่วนที่เกี่ยวข้องกับการจดจำผู้พูดมากที่สุด คุณลักษณะของคำพูดมีส่วนสำคัญในการแยกผู้พูดออกจากผู้อื่น การดึงคุณลักษณะจะลดขนาดของสัญญาณเสียงพูด โดยไม่ก่อให้เกิดความเสียหายใดๆ ต่อพลังของสัญญาณเสียงพูด [15–17] ใน [18] ผู้เขียนได้แนะนำวิธีการใหม่ที่ใช้ประโยชน์จากการปรับแต่งพารามิเตอร์ขนาดและกะของหน้าต่างการวิเคราะห์สเปกตรัมที่ใช้ในการคำนวณการแปลงฟูริเยร์เวลาสั้นเริ่มต้นเพื่อปรับปรุงประสิทธิภาพของการรู้จำเสียงพูดอัตโนมัติที่ขึ้นกับลำโพง (ASR) ระบบ ในกรณีที่ไม่มีแพทย์ คนธรรมดาสามารถใช้ระบบช่วยเหลือการตัดสินใจที่สร้างขึ้นโดยใช้แนวทางปัญญาประดิษฐ์ การตรวจจับสถานะหัวใจในระยะเริ่มต้นและไม่รุกรานสามารถทำได้โดยใช้สัญญาณ phonocardiogram (PCG) [19–21]

Convolutional neural network (CNNs) ได้รับการสาธิตให้ประสบความสำเร็จในการจำลองตำแหน่งเชิงโครงสร้างในพื้นที่ฟีเจอร์ รวมถึงใช้การรวมเข้าด้วยกันภายในย่านความถี่ที่มีอคติเพื่อลดความผันแปรของการแปลและปรับสำหรับการรบกวนและการเปลี่ยนแปลงเล็กน้อยในพื้นที่ฟีเจอร์ [22] มูคามาดิเยฟและคณะ เสนอแบบจำลองการรู้จำเสียงแบบจำลอง Markov ที่ซ่อนเครือข่ายประสาทลึกแบบ end-to-end และเครือข่ายการจำแนกชั่วคราวแบบเชื่อมต่อแบบไฮบริด (CTC) สำหรับภาษาอุซเบกและภาษาถิ่น วิธีการที่นำเสนอนี้ช่วยลดเวลาการฝึกอบรมและปรับปรุงความแม่นยำในการรู้จำเสียงโดยใช้ฟังก์ชันวัตถุประสงค์ CTC ในการฝึกแบบจำลองความสนใจ [23] การแยกคุณลักษณะและการจำแนกประเภทโดยใช้แบบจำลองโครงข่ายประสาทเทียมแบบหนึ่งมิติ (CNN) ซึ่งแบ่งสัญญาณเสียงหัวใจเป็นปกติและผิดปกติโดยไม่ขึ้นกับคลื่นไฟฟ้าหัวใจ (ECG) โดยตรง ถูกนำเสนอใน [24] พวกเขาอ้างว่าความแม่นยำในการจำแนกประเภทใน 1D CNN นั้นสูงกว่าใน 2D CNN สำหรับสัญญาณเสียงหัวใจที่ใช้ในการศึกษานี้เมื่อเคอร์เนลการบิดงอน้อยกว่า 52 เนื่องจากเคอร์เนลการบิดงอขนาดใหญ่สามารถนำไปสู่ความซับซ้อนในการคำนวณและใช้เวลานานมากขึ้น . ใน [25] โครงข่ายประสาทเทียมเชิงลึกได้รับการฝึกอบรมเพื่อเพิ่มความแม่นยำสูงสุดของลำดับสถานะของแบบจำลองอะคูสติกที่เกี่ยวข้องกับลำดับคุณลักษณะเสียงพูดโดยใช้ฐานข้อมูล TIMIT (TIMIT Acoustic-Phonetic Continuous Speech Corpus)

3. การประมวลผลล่วงหน้า: ภาพรวมวัสดุ

Cistanche เสริมใกล้ฉัน-ปรับปรุงหน่วยความจำ

เพื่อจุดประสงค์นี้ การพัฒนาอัลกอริทึมอย่างรวดเร็วสำหรับการแยกพารามิเตอร์คุณลักษณะจากสัญญาณเสียงพูดและการแสดงพารามิเตอร์แบบพาราเมตริก การสกัดตัวอย่างที่เป็นประโยชน์และให้ข้อมูลสำหรับการประมวลผล และการพัฒนาโปรแกรมสำหรับการนำสเปกตรัมของเซ็กเมนต์อะคูสติกที่เลือกไปใช้นั้นเป็นสิ่งที่ขาดไม่ได้

ระบบการรู้จำเสียงประกอบด้วยสองระบบย่อยหลัก:

การประมวลผลสัญญาณเสียงพูดเบื้องต้น (phonogram);

การจำแนกสัญลักษณ์อะคูสติกโดยใช้อัลกอริธึมอัจฉริยะ (สเปกโตรแกรม)

ระบบย่อยแรกสร้างสัญลักษณ์อะคูสติกเป็นชุดของคุณสมบัติอะคูสติกที่ให้ข้อมูลของสัญญาณและคุณลักษณะของสัญญาณ ระบบย่อยที่สองจะแปลงสัญญาณเสียงพูดเป็นรูปแบบพาราเมตริกตามลักษณะเสียงที่ได้รับ การประมวลผลสัญญาณเสียงประกอบด้วยขั้นตอนต่อไปนี้:

การแยกขอบเขตของสัญญาณเสียงพูด

การกรองแบบดิจิตอล

การแบ่งส่วน;

การใช้หน้าต่างปรับให้เรียบ

การแปลงสเปกตรัมและการทำให้ความถี่สเปกตรัมเป็นปกติ

ขั้นตอนเหล่านี้ใช้อย่างกว้างขวางเพื่อแยกพารามิเตอร์คุณลักษณะออกจากสัญญาณเสียงพูด และคุณลักษณะหลักจะพิจารณาดังต่อไปนี้

3.1. การแยกเขตแดน

การสกัดเฉพาะส่วนของคำพูดจากสัญญาณที่เข้ามาหรือการกำหนดช่วงเวลาเริ่มต้นและสิ้นสุดของประโยคในสภาพแวดล้อมที่มีเสียงดังเป็นภารกิจสำคัญในการประมวลผลคำพูด คุณสมบัติของสัญญาณเสียงพูดต่อไปนี้ใช้เพื่อแก้ปัญหานี้: พลังงานระยะสั้นของสัญญาณเสียงพูด จำนวนจุดที่ตัดกันที่ศูนย์ ความหนาแน่นของการกระจายค่าของสนามความเงียบภายในสัญญาณ และ เอนโทรปีสเปกตรัม ระบบรู้จำเสียงแบบดั้งเดิมใช้เทคนิคที่ขึ้นอยู่กับพลังงานชั่วคราวและสเปกตรัมของสัญญาณ (เช่น การตรวจจับกิจกรรมเสียง) เพื่อกำหนดขอบเขตเสียงพูดจากสัญญาณเสียงพูดที่เข้ามา [26–28]

ตัวแปรหลักของสัญญาณเสียงพูดคือพลังงานระยะสั้นของสัญญาณเสียงพูดและจำนวนจุดที่ผ่านศูนย์ ตามกฎแล้วพารามิเตอร์ของสัญญาณเสียงจะเปลี่ยนแปลงอย่างรวดเร็วเมื่อเวลาผ่านไป ดังนั้นจึงเป็นเรื่องปกติที่จะประมวลผลสัญญาณเสียงพูดเป็นเศษส่วนความยาว 10 ถึง 30 มิลลิวินาทีที่ไม่ทับซ้อนกัน สัญญาณเสียงพูดจะอยู่นิ่งภายในช่วงนี้ และพื้นที่เงียบในสัญญาณเสียงพูดจะถูกลบออกโดยการคำนวณพลังงานชั่วคราว อัลกอริทึมสำหรับการแก้ปัญหานี้แบ่งออกเป็นลำดับ N ของค่าพลังงานระยะสั้น 256 ค่าของสัญญาณเสียงพูดถัดไป

การคำนวณพลังงานของแต่ละแฟรกเมนต์โดยการแบ่งสัญญาณเสียงพูดนั้นเหมาะสมสำหรับการคำนวณแบบขนานและแบบกระจาย แต่ละแฟรกเมนต์ได้รับการประมวลผลโดยอิสระ หากใช้การประมวลผลในมัลติโปรเซสเซอร์แบบ n-core ก็จะสามารถคำนวณพลังงานของชิ้นส่วน n ชิ้นพร้อมกันได้ ดังนั้นจึงเป็นไปได้ที่จะเพิ่มประสิทธิภาพการประมวลผลแบบขนานในระหว่างขั้นตอนนี้ [29–32]

3.2. จำนวน Zero-Crossings

จุดตัดศูนย์คือจุดที่เครื่องหมายของฟังก์ชันทางคณิตศาสตร์เปลี่ยนไป (เช่น จากบวกเป็นลบ) ซึ่งแสดงโดยจุดตัดของแกน (ค่าศูนย์) ในกราฟของฟังก์ชัน [33] ความถี่ครอสโอเวอร์เป็นศูนย์ในสัญญาณอาจเป็นตัวบ่งชี้คุณสมบัติทางสเปกตรัมที่ตรงไปตรงมาที่สุด ตัวอย่างเช่น จำนวนจุดที่ผ่านศูนย์ในสัญญาณเสียงสามารถกำหนดได้โดยใช้สมการต่อไปนี้:

รูปที่ 1 วิธีการแยกคำพูดตามการวิเคราะห์เอนโทรปีสเปกตรัม

3.3. การกรองแบบดิจิทัล

นอกจากสัญญาณทั่วไปที่มีประโยชน์แล้ว ยังมีสัญญาณรบกวนประเภทต่างๆ อีกด้วย เนื่องจากเสียงรบกวนส่งผลเสียต่อคุณภาพของระบบรู้จำเสียง การจัดการกับเสียงรบกวนจึงเป็นปัญหาเร่งด่วน ตัวกรองดิจิทัลสองประเภทใช้เพื่อลดระดับเสียงรบกวนในระบบ: ตัวกรองบรรทัดและตัวกรองเริ่มต้น ตัวกรองเชิงเส้นสามารถพิจารณาได้ว่าเป็นการรวมกันของตัวกรองความถี่ต่ำและความถี่สูง เนื่องจากตัวกรองจะจับความถี่ต่ำและสูงทั้งหมด ใช้การกรองเบื้องต้นเพื่อลดผลกระทบของการรบกวนเฉพาะที่ต่อเครื่องหมายลักษณะเฉพาะที่ใช้สำหรับการระบุในภายหลัง สัญญาณเสียงพูดต้องผ่านตัวกรองสัญญาณความถี่ต่ำเพื่อจัดตำแหน่งสเปกตรัม [35]

3.4. การแบ่งกลุ่ม

การแบ่งกลุ่มเป็นกระบวนการแบ่งสัญญาณเสียงออกเป็นส่วนย่อยที่ไม่ทับซ้อนกัน โดยปกติสัญญาณจะแบ่งออกเป็นหน่วยเสียงพูด เช่น ประโยค คำ พยางค์ หน่วยเสียง หรือแม้แต่หน่วยเสียงที่เล็กกว่า การแบ่งส่วนการบันทึกที่มีคำพูดของผู้พูดจำนวนมากอาจประกอบด้วยการระบุคำพูดของผู้พูดโดยเฉพาะ คำว่า "สถานีส่วน" บางครั้งใช้เพื่ออ้างถึงการแบ่งสัญญาณเสียงพูดออกเป็นเฟรมก่อนการกำหนดพารามิเตอร์ [36,37]

3.5. การแปลงสเปกตรัม

จำเป็นต้องแยกแยะคุณสมบัติหลักของสัญญาณเสียงพูดที่ใช้ในขั้นตอนต่อมาของกระบวนการรู้จำเสียง คุณลักษณะเริ่มต้นถูกกำหนดโดยการวิเคราะห์คุณสมบัติทางสเปกตรัมของสัญญาณเสียงพูด อัลกอริทึมการแปลงฟูริเยร์แบบเร็วมักใช้เพื่อหาความถี่สเปกตรัมของสัญญาณเสียงพูด [38,39]

3.6. การทำให้เป็นมาตรฐานของความถี่สเปกตรัม

กระบวนการคำนวณทั้งหมดในอัลกอริทึมอัจฉริยะจะขึ้นอยู่กับการเคลื่อนย้ายเลขทศนิยม ดังนั้น พารามิเตอร์ของวัตถุที่จัดประเภทโดยใช้โครงข่ายประสาทเทียมจึงจำกัดอยู่ในช่วง [{{0}}.0, 1.0] สเปกตรัมผลลัพธ์จะถูกทำให้เป็นมาตรฐานระหว่าง 0 ถึง 1 เพื่อใช้การประมวลผลสเปกตรัมโดยใช้โครงข่ายประสาทเทียม เพื่อให้บรรลุเป้าหมาย องค์ประกอบเวกเตอร์แต่ละรายการจะถูกแบ่งออกเป็นองค์ประกอบสูงสุด

วิธีการประมวลผลสเปกตรัมทำให้สามารถใช้ตัวอย่างข้อมูลทั้งหมดที่ได้รับจากสัญญาณเสียงพูด สัญญาณเสียงพูดจำนวนมากมีโครงสร้างความถี่และคุณสมบัติสเปกตรัมเฉพาะ วิธีสเปกตรัมให้การประมวลผลสัญญาณเสียงที่มีความแม่นยำสูง ข้อเสียของการประมวลผลสเปกตรัม ได้แก่ ความยืดหยุ่นต่ำในลักษณะเฉพาะของสัญญาณ การขาดขนาดสเปกตรัม และต้นทุนการคำนวณที่ค่อนข้างสูง

การแปลงฟูริเยร์ การวิเคราะห์เวฟเล็ต และอัลกอริทึมอื่นๆ ถูกนำมาใช้อย่างกว้างขวางในการประมวลผลสเปกตรัมของสัญญาณเสียงพูด การแปลงฟูริเยร์ถูกนำมาใช้ในสาขาวิทยาศาสตร์หลายสาขา รวมถึงการประมวลผลคำพูด ในการประมวลผลสัญญาณเสียง การแปลงฟูเรียร์จะแปลงสัญญาณจากฟิลด์เวลาเป็นฟิลด์สเปกตรัมเป็นองค์ประกอบความถี่ [40]

ในการศึกษาก่อนหน้านี้ การแปลงฟูเรียร์แบบไม่ต่อเนื่อง (DFT) การแปลงโคไซน์แบบไม่ต่อเนื่อง (DCT) การแปลงฟูริเยร์ระยะสั้น และการแปลงเวฟเล็ตถูกนำมาใช้สำหรับการวิเคราะห์สเปกตรัม วิธีการเหล่านี้ใช้เพื่อแปลงส่วนของสัญญาณเสียงพูดเป็นโดเมนความถี่และคำนวณสเปกตรัม แพ็คเกจ TBB และ OpenMP ถูกใช้เพื่อสร้างอัลกอริธึมแบบขนานสำหรับการแปลงสเปกตรัม ในวิธีการเหล่านี้ คำสั่งจะแบ่งสัญญาณออกเป็นเฟรม ตัวอย่างเช่น N=16, 32, … หรือ 4096 สำหรับแต่ละเฟรม [4] ขนาดของแต่ละเฟรมที่สร้างขึ้นจะเท่ากับขนาดบล็อกของหน่วยความจำแคช เนื่องจากหน่วยความจำแคชเป็นปัจจัยที่ส่งผลต่อประสิทธิภาพของการประมวลผลแบบขนาน ผลการเร่งความเร็วแสดงในรูปที่ 2

รูปที่ 2 ผลการเร่งความเร็วสำหรับ (a) โปรเซสเซอร์ 4 และ (b) 8 คอร์

สำหรับการใช้งานซอฟต์แวร์ของอัลกอริธึมการประมวลผลแบบขนาน การประมวลผลแบบอนุกรมและแบบขนานได้ดำเนินการบนโปรเซสเซอร์สี่และแปดคอร์ ซึ่งใช้โดยใช้คอมพิวเตอร์ส่วนบุคคลและเซิร์ฟเวอร์ ดังที่แสดงไว้ในตารางที่ 1

ตารางที่ 1. คุณลักษณะของโปรเซสเซอร์ Intel

คุณสมบัติหลักของอัลกอริทึม DCT คือช่วงเวลา ข้อได้เปรียบของ DCT คือมีแนวโน้มที่จะรวมพลังงานสัญญาณส่วนใหญ่ไว้ที่ปัจจัยจำนวนเล็กน้อย สมการต่อไปนี้ให้องค์ประกอบของเมทริกซ์สัมประสิทธิ์:

โดยที่ L(k) คือค่าของ DCT, k คือดัชนีของสัมประสิทธิ์, x(n) แทนรายการข้อมูล และ N คือขนาดเฟรม

พารามิเตอร์การวิเคราะห์ฟูริเยร์เป็นพื้นฐานของวิธีการที่ใช้เพื่อสร้างเวกเตอร์คุณลักษณะในระบบการรู้จำเสียงส่วนใหญ่ในการประมวลผลสัญญาณเสียงพูดแบบดิจิทัลภายในโดเมนสเปกตรัม ค่าสัมประสิทธิ์เซปสตรัลความถี่เมล (MFCCs) [41] และเทคนิคการเข้ารหัสเชิงทำนายเชิงเส้น (LPC) [42,43] ถูกนำมาใช้ในการวิเคราะห์ฟูริเยร์เพื่อสร้างภาพสเปกตรัมจากสัญญาณเสียงพูด สเปกตรัมที่ได้มาจากการวิเคราะห์ฟูริเยร์ให้ข้อมูลที่กระชับและแม่นยำเกี่ยวกับสัญญาณเสียง ดังแสดงในรูปที่ 3

รูปที่ 3 DFT: (a) การเปลี่ยนแปลงของช่วงความถี่ภายในโดเมนเวลา และ (b) สเปกตรัม

สัญญาณสองมิติ (2D) ถูกนำมาใช้สำหรับการวิเคราะห์สเปกตรัมในการทดลอง ลักษณะการวิเคราะห์สเปกตรัม 2 มิติที่ใช้ในอัลกอริธึมการประมวลผลภาพแบบขนานนั้นเหมาะสำหรับการประมวลผลแบบขนานในตัวประมวลผลแบบมัลติคอร์ [38] โดยเฉพาะอย่างยิ่ง เวกเตอร์และเมทริกซ์การแปลงไปข้างหน้าและผกผันมีขนาดไบนารี และความเข้ากันได้ของสถาปัตยกรรมตัวประมวลผลแบบมัลติคอร์นี้สามารถเพิ่มความเร็วในการคำนวณได้อย่างมีประสิทธิภาพ ดังนั้นเราจึงใช้การประมวลผลแบบลำดับและแบบคู่ขนานบนคอมพิวเตอร์ที่มีลักษณะตัวประมวลผลต่างกันสำหรับการนำฮาร์ดแวร์ของอัลกอริทึมที่ใช้สำหรับการประมวลผลสัญญาณ 2 มิติ (ตารางที่ 2)

ตารางที่ 2. ลักษณะของการใช้โปรเซสเซอร์ Intel

สัญญาณ 2 มิติทั้งหมดถูกแบ่งออกเป็นชิ้นส่วนขนาดต่างๆ ที่เหมือนกันในแต่ละขั้น [44] ค่าของแฟรกเมนต์ที่เลือกอยู่ระหว่างความละเอียดพิกเซล 16 × 16 และ 1024 × 1024 ความเร็วของอัลกอริทึม DCT แบบขนานที่ใช้แพ็คเกจ OpenMP เทียบกับความเร็วของอัลกอริทึมซีเควนเชียลแสดงในรูปที่ 4 การใช้การวิเคราะห์สเปกตรัม 2 มิติแบบขนาน อัลกอริทึมบนโปรเซสเซอร์แบบมัลติคอร์ให้ผลลัพธ์การโอเวอร์คล็อกที่ใกล้เคียงกับจำนวนคอร์

รูปที่ 4 ผลการเร่งความเร็วสำหรับการวิเคราะห์สเปกตรัมแบบขนาน 2 มิติ