پایان نامه
کاربرد مدل‌های زبانی از پیش‌آموزش‌دیده در مهندسی سیستم‌ها و مدیریت هوشمند الزامات مهندسی

چکیده

با افزایش پیچیدگی سامانه‌های مهندسی، مدیریت، تحلیل و استخراج اطلاعات از مجموعه‌های گسترده الزامات متنی به یکی از چالش‌های اساسی در مهندسی سیستم‌ها تبدیل شده است. روش‌های سنتی پردازش الزامات، علاوه بر نیاز به صرف زمان و نیروی انسانی قابل‌توجه، در مواجهه با حجم زیاد اطلاعات و پیچیدگی‌های زبانی کارایی محدودی دارند. این پایان‌نامه با هدف بررسی قابلیت استفاده از مدل‌های زبانی از پیش‌آموزش‌دیده (Pre-trained Language Models) در حوزه مهندسی سیستم‌ها، به ارزیابی میزان اثربخشی این مدل‌ها در تحلیل خودکار الزامات مهندسی می‌پردازد. در ابتدا، مفاهیم بنیادین مهندسی سیستم‌ها، روند گذار از مهندسی سیستم مبتنی بر اسناد (Document-based Systems Engineering) به مهندسی سیستم مبتنی بر مدل (Model-based Systems Engineering) و همچنین مبانی پردازش زبان طبیعی (Natural Language Processing)، روش‌های نمادین، یادگیری ماشین، یادگیری عمیق و مدل‌های زبانی نوین مرور می‌شوند. سپس سه مدل زبانی مطرح شامل BERT، RoBERTa و SciBERT انتخاب شده و با استفاده از روش پیش‌آموزش تطبیقی مبتنی بر وظیفه (Task-Adaptive Pretraining) برای انجام وظایف مختلف مهندسی الزامات مورد ارزیابی قرار می‌گیرند. آزمایش‌ها سه مسئله اصلی شامل طبقه‌بندی الزامات عملکردی و غیرعملکردی، طبقه‌بندی زیرگروه‌های الزامات و استخراج موجودیت‌های نامدار (Named Entity Recognition) از متون الزامات را پوشش می‌دهند. نتایج حاصل نشان می‌دهد که استفاده از پیش‌آموزش تطبیقی موجب افزایش پایداری مدل‌ها، بهبود شاخص‌های عملکرد و کاهش نیاز به داده‌های برچسب‌خورده و منابع محاسباتی نسبت به بسیاری از روش‌های پیشین می‌شود. همچنین پژوهش نشان می‌دهد که به‌کارگیری این مدل‌ها می‌تواند گامی مؤثر در هوشمندسازی مدیریت الزامات، افزایش بهره‌وری مهندسان سیستم، کاهش خطاهای انسانی و تسریع فرایند توسعه سامانه‌های پیچیده باشد. در نهایت، ضمن بررسی محدودیت‌های موجود، مسیرهای آینده پژوهش برای توسعه مدل‌های تخصصی‌تر، افزایش دقت در کاربردهای مهندسی سیستم و گسترش استفاده از فناوری‌های نوین هوش مصنوعی در این حوزه ارائه شده است.

“`

خلاصه پایان‌نامه

این پایان‌نامه به بررسی نقش مدل‌های زبانی از پیش‌آموزش‌دیده (Pre-trained Language Models) در توسعه و بهبود مهندسی سیستم‌ها (Systems Engineering) می‌پردازد و نشان می‌دهد که چگونه فناوری‌های نوین پردازش زبان طبیعی (Natural Language Processing) می‌توانند بسیاری از فعالیت‌های زمان‌بر و دستی مهندسی الزامات را خودکار کنند. ایده اصلی پژوهش این است که با رشد روزافزون پیچیدگی سامانه‌های مهندسی، روش‌های سنتی مبتنی بر اسناد دیگر پاسخگوی نیازهای پروژه‌های بزرگ نیستند و لازم است از روش‌های هوشمند مبتنی بر هوش مصنوعی برای تحلیل، طبقه‌بندی و استخراج اطلاعات از اسناد متنی استفاده شود.

پایان‌نامه در ابتدا به معرفی مفاهیم پایه مهندسی سیستم‌ها می‌پردازد. نویسنده توضیح می‌دهد که مهندسی سیستم‌ها یک رویکرد میان‌رشته‌ای برای طراحی، توسعه، تحلیل و مدیریت سامانه‌های پیچیده است. در پروژه‌های صنعتی بزرگ مانند صنایع هوافضا، دفاعی، خودروسازی، انرژی و مخابرات، هزاران الزام عملکردی، غیرعملکردی و مدیریتی وجود دارد که باید به‌صورت دقیق مدیریت شوند. این الزامات معمولاً در قالب اسناد متنی ذخیره می‌شوند و بررسی دستی آن‌ها بسیار دشوار، زمان‌بر و مستعد خطا است.

در ادامه، روند تکامل مهندسی سیستم‌ها از مهندسی سیستم مبتنی بر اسناد (Document-based Systems Engineering) به مهندسی سیستم مبتنی بر مدل (Model-based Systems Engineering) تشریح می‌شود. در روش سنتی، اطلاعات پروژه در تعداد زیادی سند متنی ذخیره می‌شود و ارتباط میان این اسناد معمولاً توسط افراد مدیریت می‌شود. این موضوع باعث بروز مشکلاتی مانند ناسازگاری اطلاعات، دشواری ردیابی تغییرات، افزایش هزینه نگهداری اسناد و احتمال بروز خطاهای انسانی می‌شود. در مقابل، مهندسی سیستم مبتنی بر مدل تلاش می‌کند اطلاعات پروژه را در قالب مدل‌های ساختاریافته نگهداری کند تا ارتباط میان اجزای سیستم بهتر مدیریت شود. با این حال، حتی در این رویکرد نیز حجم زیادی از اطلاعات همچنان به صورت متن طبیعی باقی می‌ماند و تحلیل آن‌ها همچنان یک چالش اساسی است.

نویسنده بر این باور است که فناوری پردازش زبان طبیعی می‌تواند این فاصله را پر کند. به همین دلیل بخش قابل توجهی از پایان‌نامه به معرفی مبانی علمی پردازش زبان طبیعی اختصاص یافته است. ابتدا تفاوت میان نحو (Syntax) و معناشناسی (Semantics) توضیح داده می‌شود و نشان داده می‌شود که صرف تحلیل ساختار جملات برای درک مفهوم واقعی متن کافی نیست. سپس کاربردهای مختلف پردازش زبان طبیعی شامل طبقه‌بندی متن، برچسب‌گذاری توالی‌ها، استخراج موجودیت‌ها، خلاصه‌سازی متون، ترجمه ماشینی و پاسخ‌گویی به پرسش‌ها معرفی می‌شوند و ارتباط آن‌ها با مهندسی سیستم‌ها مورد بررسی قرار می‌گیرد.

در ادامه، پایان‌نامه روش‌های مختلف پردازش زبان طبیعی را مرور می‌کند. ابتدا روش‌های نمادین (Symbolic Approaches) مانند روش‌های مبتنی بر واژه‌نامه و قوانین معرفی می‌شوند. این روش‌ها اگرچه تفسیرپذیر هستند، اما به دلیل وابستگی شدید به قوانین دستی، توانایی محدودی در مواجهه با زبان طبیعی واقعی دارند. سپس روش‌های یادگیری ماشین (Machine Learning) بررسی می‌شوند که در آن‌ها مدل‌ها روابط میان داده‌ها را از طریق آموزش روی داده‌های برچسب‌خورده یاد می‌گیرند. در نهایت، پژوهش به معرفی یادگیری عمیق (Deep Learning) و مدل‌های مبتنی بر شبکه‌های عصبی می‌پردازد که در سال‌های اخیر تحولی اساسی در پردازش زبان طبیعی ایجاد کرده‌اند.

یکی از مهم‌ترین بخش‌های پایان‌نامه، معرفی انواع نمایش برداری زبان است. نویسنده ابتدا روش‌های ساده‌ای مانند Bag of Words و One-Hot Encoding را توضیح می‌دهد و سپس مدل‌های پیشرفته‌تر مانند Word2Vec و GloVe را معرفی می‌کند که قادر به یادگیری روابط معنایی میان کلمات هستند. پس از آن، مدل‌های زمینه‌محور (Contextual Models) مانند ELMo، BERT و GPT معرفی می‌شوند که مفهوم هر کلمه را با توجه به متن اطراف آن درک می‌کنند. این ویژگی برای تحلیل اسناد مهندسی که واژگان تخصصی و چندمعنایی دارند اهمیت بسیار زیادی دارد.

پژوهش سپس به مفهوم مدل‌های زبانی از پیش‌آموزش‌دیده می‌پردازد. این مدل‌ها ابتدا روی میلیاردها کلمه آموزش می‌بینند و سپس برای یک مسئله خاص دوباره تنظیم می‌شوند. مزیت این روش آن است که به داده آموزشی بسیار کمتری نیاز دارد و عملکرد بسیار بهتری نسبت به آموزش مدل از ابتدا ارائه می‌دهد. پایان‌نامه توضیح می‌دهد که چگونه مفهوم انتقال یادگیری (Transfer Learning) باعث شده است استفاده از هوش مصنوعی در بسیاری از حوزه‌های تخصصی، از جمله مهندسی سیستم‌ها، امکان‌پذیر شود.

هدف اصلی پایان‌نامه پاسخ به این پرسش است که آیا مدل‌های زبانی از پیش‌آموزش‌دیده می‌توانند وظایف مهم مهندسی الزامات را با دقت بالا انجام دهند یا خیر. برای پاسخ به این سؤال، سه مدل مشهور شامل BERT، RoBERTa و SciBERT انتخاب شده‌اند. دلیل انتخاب این مدل‌ها آن است که هرکدام ویژگی‌های متفاوتی دارند؛ SciBERT بر روی متون علمی آموزش دیده است، در حالی که BERT و RoBERTa مدل‌های عمومی محسوب می‌شوند.

برای ارزیابی این مدل‌ها، پژوهش از روش پیش‌آموزش تطبیقی مبتنی بر وظیفه (Task-Adaptive Pretraining) استفاده می‌کند. در این روش، قبل از آموزش نهایی، مدل با مجموعه‌ای از اسناد مرتبط با همان حوزه تخصصی دوباره آموزش داده می‌شود تا با واژگان و ساختارهای زبانی آن حوزه آشنا شود. فرضیه پژوهش این است که این مرحله باعث افزایش دقت مدل در انجام وظایف تخصصی خواهد شد.

برای آزمون این فرضیه، سه مسئله اصلی انتخاب شده است. نخست، طبقه‌بندی الزامات عملکردی و غیرعملکردی است؛ یعنی تعیین اینکه هر الزام مربوط به عملکرد سیستم است یا ویژگی‌هایی مانند امنیت، قابلیت اطمینان، کارایی یا نگهداری. دوم، طبقه‌بندی زیرگروه‌های الزامات است که در آن الزامات در دسته‌های تخصصی‌تری قرار می‌گیرند. سومین مسئله، استخراج موجودیت‌های نامدار (Named Entity Recognition) است که هدف آن شناسایی خودکار اجزای مهم موجود در متن مانند نام تجهیزات، زیرسیستم‌ها، اجزای فنی یا سایر موجودیت‌های مهندسی است.

پژوهش برای انجام این آزمایش‌ها مجموعه‌ای از داده‌های مرتبط با مهندسی سیستم‌ها را آماده کرده و مدل‌ها را تحت شرایط یکسان آموزش داده است. سپس عملکرد آن‌ها با استفاده از معیارهای استاندارد ارزیابی و با نتایج پژوهش‌های پیشین مقایسه شده است. نتایج نشان می‌دهد که استفاده از پیش‌آموزش تطبیقی تقریباً در همه وظایف باعث بهبود عملکرد مدل‌ها می‌شود. علاوه بر افزایش دقت، مدل‌ها پایداری بیشتری در آموزش پیدا می‌کنند و با داده‌های محدود نیز نتایج قابل قبولی ارائه می‌دهند.

یکی از نتایج مهم پایان‌نامه این است که مدل‌های زبانی عمومی نیز پس از تطبیق با داده‌های تخصصی می‌توانند عملکردی نزدیک یا حتی بهتر از مدل‌های تخصصی داشته باشند. این موضوع اهمیت استفاده از داده‌های مرتبط با دامنه کاربرد را نشان می‌دهد و بیان می‌کند که کیفیت داده‌های آموزشی می‌تواند به اندازه انتخاب نوع مدل اهمیت داشته باشد.

در بخش بحث، نویسنده توضیح می‌دهد که استفاده از این مدل‌ها تنها به طبقه‌بندی اسناد محدود نمی‌شود. این فناوری می‌تواند در استخراج خودکار اطلاعات، کشف ابهام‌های موجود در الزامات، تشخیص ناسازگاری میان اسناد، کمک به ایجاد مدل‌های مهندسی سیستم، تولید مستندات، جست‌وجوی هوشمند در میان اسناد و حتی پشتیبانی از تصمیم‌گیری مهندسان نیز مورد استفاده قرار گیرد. بنابراین، این فناوری می‌تواند بهره‌وری مهندسان سیستم را به میزان قابل توجهی افزایش دهد.

در عین حال، پایان‌نامه محدودیت‌های پژوهش را نیز بیان می‌کند. یکی از مهم‌ترین محدودیت‌ها کمبود مجموعه‌داده‌های بزرگ و استاندارد در حوزه مهندسی سیستم‌ها است. همچنین آموزش و تنظیم مدل‌های زبانی بزرگ به منابع محاسباتی قابل توجهی نیاز دارد. علاوه بر این، بسیاری از متون مهندسی دارای اصطلاحات تخصصی هستند که ممکن است در داده‌های عمومی وجود نداشته باشند و این موضوع عملکرد مدل‌ها را تحت تأثیر قرار دهد.

در پایان، پیشنهادهایی برای تحقیقات آینده ارائه می‌شود. از جمله این پیشنهادها می‌توان به توسعه مدل‌های زبانی اختصاصی برای مهندسی سیستم‌ها، ایجاد مجموعه‌داده‌های بزرگ‌تر، بررسی مدل‌های جدید مبتنی بر معماری Transformer، استفاده از مدل‌های چندزبانه، ترکیب مدل‌های زبانی با دانش مهندسی و توسعه ابزارهای عملی برای استفاده در محیط‌های صنعتی اشاره کرد.

به طور کلی، این پایان‌نامه نشان می‌دهد که مدل‌های زبانی از پیش‌آموزش‌دیده می‌توانند نقش بسیار مؤثری در تحول مهندسی سیستم‌ها ایفا کنند. پژوهش ثابت می‌کند که بهره‌گیری از این مدل‌ها، به‌ویژه همراه با پیش‌آموزش تطبیقی مبتنی بر وظیفه، باعث افزایش دقت تحلیل اسناد، کاهش هزینه‌های پردازش دستی، کاهش خطاهای انسانی و تسریع فرایند توسعه سامانه‌های پیچیده می‌شود. در نتیجه، این تحقیق گامی مؤثر در جهت تلفیق فناوری‌های نوین هوش مصنوعی و پردازش زبان طبیعی با مهندسی سیستم‌ها محسوب می‌شود و زمینه را برای توسعه نسل جدید ابزارهای هوشمند مدیریت الزامات و اسناد مهندسی فراهم می‌کند.