توسط محققان دانشگاه صنعتی امیرکبیر؛

سامانه به‌کارگیری اطلاعات تصویری طراحی شد

۰۱ خرداد ۱۳۹۸ | ۱۳:۰۸ کد : ۴۷۷۱۳ دستاوردهای دانشگاه ها
تعداد بازدید:۱۴۷۷
محققان دانشکده مهندسی پزشکی دانشگاه صنعتی امیرکبیر موفق به طراحی سامانه‌ای برای برای به‌کارگیری اطلاعات تصویری در بازشناسی خودکار گفتار صوتی-تصویری شدند.
سامانه به‌کارگیری اطلاعات تصویری طراحی شد

به گزارش اداره کل روابط عمومی وزارت علوم به نقل از دانشگاه صنعتی امیرکبیر، فاطمه وخشیته، دکترای مهندسی پزشکی - گرایش بیوالکتریک، از دانشگاه صنعتی امیرکبیر درخصوص «سامانه طراحی بازشناسی خودکار گفتار» اظهارکرد: به کارگیری منابع اطلاعاتی متعدد نقش مهمی در سامانه‌های بازشناسی گفتار دارد به طوری که عملکرد مطلوب‌تر سامانه‌ها می‌تواند در نتیجه استفاده صحیح از اطلاعات کمکی مناسب و با روش‌های دقیق شود.
وی افزود: این موضوع ریشه در طبیعت ادراک در انسان دارد چراکه در مغز انسان و از جمله در فرآیندهای تولید و ادراک گفتار، به‌طور همزمان بر روی چندین منبع اطلاعاتی پردازش صورت می‌پذیرد.
وخشیته با اشاره به تحقیقات خود در زمینه بازشناسی خودکار گفت: هدف این رساله به‌کارگیری اطلاعات تصویری در قالب اطلاعات کمکی و ارائه سامانه بازشناسی خودکار گفتار صوتی-تصویری است، تا ضمن برآورده شدن طبیعت چندگونه‌ای ادراک در انسان، از خاصیت مقاوم بودن اطلاعات تصویری در برابر نویز صوتی نیز استفاده شود.
به گفته این محقق، در بازشناسی گفتار صوتی-تصویری، هریک از روش‌های استخراج ویژگی، مدل‌سازی، تلفیق گونه‌های مختلف صوتی و تصویری، و نهایتاً بازشناسی دوگونه‌ای گفتار نقش به‌سزایی دارند. منظور از یک گونه، یک منبع اطلاعاتی است و ویژگی‌های مستخرج در شرایط ارائه یک منبع اطلاعاتی، ویژگی‌های تک‌گونه‌‌ای نامیده می‌شوند.
وی با بیان اینکه منظور از دو گونه، دو منبع مختلف اطلاعاتی است و ویژگی‌های مستخرج در شرایط فراهم‌شدن هم‌زمان دو منبع اطلاعاتی، ویژگی‌های دوگونه‌ای نامیده می‌شوند، بیان کرد: بر این اساس در این رساله ابتدا ویژگی‌های مناسب صوتی و تصویری جست‌وجو و استخراج می‌شوند.
وخشیته بیان کرد: درخصوص شاخه تصویری، از روش‌های کلاسیک و مبتنی بر شبکه‌های عصبی عمیق استفاده می‌شود و در ادامه یک روش استخراج ویژگی ترکیبی پیشنهاد می‌شود که از این میان ویژگی‌های تصویری هیبریدی، که در یک فرآیند پیش‌پردازشی پیچیده استخراج می‌شوند، به‌عنوان ویژگی‌های منتخب تصویری درنظر گرفته خواهند شد.
وی درخصوص روند کار با این سامانه ادامه داد: شاخه صوتی، ویژگی‌های کپسترال فرکانس حوزه مل پس از انجام مقایسه‌ها به‌عنوان ویژگی‌های منتخب صوتی لحاظ می‌شوند؛ در ادامه، تلفیق کارآمد ویژگی‌های منتخب تک‌گونه‌ای دنبال می‌شود، به گونه‌ای که موجب هم‌افزایی دو منبع اطلاعاتی و همچنین کاهش نویز زمینه موجود در گفتار صوتی شود.
وخشیته با بیان اینکه دراین خصوص دو رویکرد تلفیق ویژگی پیشنهاد می‌شود، خاطرنشان کرد: در رویکرد اول، از معیار آنتروپی جهت سنجش میزان رسایی (چگونگی بازنمایی اطلاعات) ویژگی‌های حاصل از منابع صوتی و تصویری استفاده می‌شود و تلفیق اطلاعات در سطح متوسط با انتخاب لایه صوتی با آنتروپی بیشینه و لایه تصویری با آنتروپی کمینه صورت می‌پذیرد. در رویکرد دوم، از شبکه‌های کدگذار خودکار عمیق استفاده می‌شود و تلفیق اطلاعات در لایه گلوگاه شبکه صورت می‌پذیرد. در این رویکرد یک ساختار دوگونه‌ای پیشنهاد می‌شود که طیِ چهار مرحله توسعه و تکمیل می‌شود.
وی افزود: در آخرین مرحله از توسعه، با در نظر گرفتن تابع مناسب نگاشت‌دهنده ویژگی‌های گلوگاهی نویزی به تمیز و قراردادن لایه برچسب‌ها در کنار گلوگاه شبکه، ساختاری به دست می‌آید که نسبت به سایر ساختارها از کارآمدی بالاتری برخوردار است.
وخشیته با اشاره به نتیجه تحقیقات خود گفت: خروجی رویکردها به طور کلی موفقیت عملکرد آنها را نشان می‌دهد و به میزان بالایی در بهبود نتایج بازشناسی گفتار مؤثر است.
وی ادامه داد: در شرایط نویزی با ارائه اطلاعات صوتی به تنهایی در سامانه عمیق هیبریدیِ مبتنی بر شبکه باور عمیق و مدل مخفی مارکوف، نرخ خطای واجی ۱۸.۵ درصد را نشان می‌دهد که در این شرایط، با تلفیق ویژگی‌ها بر اساس معیار آنتروپی، نرخ خطای واجی به ۱۰.۹ درصد کاهش می‌یابد که این مقدار با تلفیق ویژگی‌ها توسط شبکه کدگذار خودکار عمیق دوگونه‌ای برابر با ۱۰.۳ درصد می‌شود.
این محقق درادامه گفت: از این سامانه می‌توان برای افرادی که مشکل ناشنوایی دارند استفاده شود.
وخشیته با اشاره به کاربرد این سامانه گفت: کمک به افرادی که اختلال تکلم دارند، به نحوی که از اطلاعات تصویری آنها کمک گرفته و اختلال ایجاد شده در سیگنال گفتار این افراد جبران شود که این کاربرد در بهبود انتقال پیام در سیگنال گفتار گویندگان است؛ این یکی از کاربردهای سامانه محسوب می‌شود.
وی افزود: در محیط های شلوغ که اطلاعات صوتی گویندگان مخدوش یا نامفهوم است از اطلاعات تصویری این افراد کمک گرفته می‌شود و پیغام صوتی منتقل می‌شود، از جمله کاربردهای این سامانه است. این کاربرد در بهبود انتقال پیام برای شنوندگان است.
وخشیته در ادامه گفت: اینها نمونه کاربردهای رایجی هستند که در آنها از اطلاعات تصویری در بازشناسی خودکار گفتار استفاده می‌شود، اما توجیه به‌کارگیری شبکه‌های عصبی عمیق در این راستا ارتقای دقت بازشناسی گفتار تصویری (لب‌خوانی) و گفتار صوتی معمولی و همچنین در شرایطی است که از اطلاعات صوتی و تصویری به‌صورت همزمان استفاده می‌شود، می‌باشد.
گفتنی است این پروژه به راهنمایی دکترفرشاد الماس گنج و مشاوره دکتراحمد نیک آبادی انجام شده است.
ل.س ۴۲/ ل.م ۵۴