این پایاننامه با تمرکز بر مسئله همجوشی دادههای چندوجهی (Multimodal Data Fusion)، رویکردی نوین برای ترکیب اطلاعات حاصل از منابع دادهای ناهمگون ارائه میدهد تا بتوان از طریق آن استنباطی دقیقتر، قابلاعتمادتر و همراه با سنجش عدمقطعیت درباره پدیدههای پنهان انجام داد. در بسیاری از کاربردهای مهندسی، علوم داده، بینایی ماشین، سنجش از دور و تحلیل دادههای زیستی، اطلاعات موردنیاز از چندین منبع مختلف مانند تصاویر، دادههای متنی، حسگرها، پایگاههای آماری و اندازهگیریهای میدانی جمعآوری میشود. اگرچه هر یک از این منابع بخشی از واقعیت را توصیف میکنند، اما هیچکدام بهتنهایی قادر به ارائه تصویری کامل از پدیده مورد مطالعه نیستند. ازاینرو، همجوشی دادهها به یکی از مهمترین موضوعات پژوهشی در یادگیری ماشین و آمار تبدیل شده است.
با وجود پیشرفتهای فراوان در این حوزه، همچنان دو چالش اساسی وجود دارد. نخست آنکه در بسیاری از کاربردهای واقعی، برای برخی از منابع داده، مدل پیشرو (Forward Model) مشخص و دقیقی وجود ندارد؛ یعنی رابطه ریاضی بین متغیرهای پنهان و دادههای مشاهدهشده ناشناخته یا بسیار پیچیده است. این مسئله باعث میشود روشهای کلاسیک استنباط بیزی نتوانند از تمامی منابع اطلاعاتی موجود بهره بگیرند. چالش دوم مربوط به دادههای چندوجهی است که در آن مشاهدات متناظر میان مدالیتههای مختلف وجود ندارد. به بیان دیگر، اگرچه دادهها از یک پدیده مشترک استخراج شدهاند، اما امکان تطبیق مستقیم نمونههای مربوط به هر مدالیته با یکدیگر وجود ندارد و همین موضوع یادگیری روابط مشترک میان آنها را دشوار میکند.
برای رفع این مشکلات، پژوهش حاضر دیدگاهی کاملاً بیزی نسبت به مسئله همجوشی دادهها اتخاذ میکند. در این چارچوب، فرآیند استدلال بهصورت استنباط پسین (Posterior Inference) روی متغیرهای نهفته مدلسازی میشود. این رویکرد علاوه بر فراهمکردن امکان برآورد دقیق پارامترهای پنهان، قابلیت ارزشمندی مانند اندازهگیری عدمقطعیت، مدیریت دادههای ناقص، ارزیابی مدل و توسعه مدلهای سلسلهمراتبی را نیز فراهم میکند. بااینحال، پیچیدگی محاسبات استنباط بیزی در مدلهای بزرگ همواره یکی از موانع اصلی کاربرد عملی آن بوده است؛ ازاینرو بخش مهمی از این پایاننامه به توسعه نمایشها و الگوریتمهایی اختصاص یافته که بتوانند فرآیند استنباط را بهصورت موازی و با کارایی بالا اجرا کنند.
نخستین دستاورد اصلی پایاننامه، معرفی روشی جدید با عنوان همجوشی داده سبک (Lightweight Data Fusion یا LDF) است. این روش برای شرایطی طراحی شده که تنها بخشی از منابع داده دارای مدل احتمالاتی مشخص هستند و برای سایر منابع چنین مدلی وجود ندارد. ایده اصلی LDF این است که از منابع دادهای دارای مدل شناختهشده برای آموزش یک نگاشت معکوس استفاده شود تا دادههای فاقد مدل نیز بتوانند در فرآیند استنباط بیزی مشارکت کنند. این روش دادههای کمکی را به آمارههای کافی (Sufficient Statistics) تبدیل میکند؛ آمارههایی که تمامی اطلاعات موردنیاز برای استنباط پارامترهای نهفته را در خود نگه میدارند. در نتیجه بدون نیاز به دانستن مدل دقیق تولید داده، اطلاعات موجود در دادههای کمکی نیز وارد فرآیند تصمیمگیری میشود.
برای تحقق این هدف، نویسنده از مفاهیم خانواده نمایی، آمارههای کافی و نگاشتهای مزدوج بهره میگیرد و نشان میدهد که میتوان با استفاده از شبکههای عصبی، نگاشتی غیرخطی از دادههای کمکی به فضای آمارههای کافی آموخت. این فرآیند سبب میشود استنباط پسین با همان ساختار مدل اصلی انجام شود، درحالیکه اطلاعات منابع ناشناخته نیز بهطور مؤثر در مدل وارد شدهاند. همچنین پایاننامه از دیدگاه نظری، معیارهای یادگیری این نگاشت را بر اساس نظریه اطلاعات تحلیل کرده و نشان میدهد که روش پیشنهادی از لحاظ آماری دارای ویژگیهای مطلوبی مانند حفظ اطلاعات، کاهش خطای مدل و افزایش دقت پیشبینی است.
برای ارزیابی عملکرد روش پیشنهادی، چندین مطالعه موردی ارائه شده است. یکی از مهمترین کاربردها، برآورد میزان دسترسی مناطق مختلف به برق است. در این مسئله، دادههای پیمایش میدانی بهعنوان داده اصلی و اطلاعاتی مانند تصاویر ماهوارهای، شدت نور شبانه، تراکم ساختمانها و موقعیت تجهیزات زیرساختی بهعنوان دادههای کمکی مورد استفاده قرار میگیرند. نتایج نشان میدهد روش LDF نسبت به مدلهای کلاسیکی مانند رگرسیون لجستیک، رگرسیون دوجملهای و Beta-Binomial Regression دقت بالاتر، برآوردهای مطمئنتر و عدمقطعیت واقعبینانهتری ارائه میدهد. مطالعه دوم نیز به تحلیل نرخ قتل در ایالتهای مختلف آمریکا اختصاص دارد که در آن اطلاعات جمعیتشناختی و اقتصادی بهعنوان داده کمکی مورد استفاده قرار گرفته و مدل پیشنهادی توانسته است نسبت به روشهای متداول عملکرد بهتری در تخمین نرخ وقوع جرم ارائه کند.
دستاورد دوم پایاننامه توسعه نمایش جدیدی برای مدلهای مخلوط مبتنی بر فرآیند دیریکله (Dirichlet Process) و فرآیند دیریکله سلسلهمراتبی (Hierarchical Dirichlet Process) است. این مدلها از مهمترین روشهای ناپارامتری بیزی محسوب میشوند و امکان تعیین خودکار تعداد خوشهها را فراهم میکنند. بااینحال، الگوریتمهای استنباط آنها معمولاً بهصورت ترتیبی اجرا شده و برای مجموعهدادههای بزرگ بسیار زمانبر هستند. نویسنده با معرفی مفهوم Deferred Instantiation یا نمونهسازی تأخیری، نمایش جدیدی از این مدلها ارائه میدهد که در آن بخشی از مؤلفههای مدل بهصورت صریح و بخش دیگر بهشکل تجمیعشده نگهداری میشوند. این ساختار امکان اجرای موازی الگوریتمهای Gibbs Sampling را فراهم کرده و بدون کاهش دقت مدل، سرعت استنباط را به میزان قابلتوجهی افزایش میدهد.
در ادامه، این نمایش جدید به مدلهای پیچیدهتر تعمیم داده شده و چارچوبی برای اجرای موازی مدلهای سلسلهمراتبی توسعه یافته است. نتایج آزمایشها نشان میدهد که روش پیشنهادی علاوه بر کاهش زمان اجرا، کیفیت تخمین پارامترها و همگرایی الگوریتم را نیز حفظ میکند و برای دادههای حجیم کارایی بسیار مناسبی دارد.
سومین دستاورد مهم پایاننامه، توسعه مدلهای ناپارامتری بیزی برای دادههای چندوجهی است. در بسیاری از مسائل واقعی، دادههای مربوط به مدالیتههای مختلف فاقد تطابق نمونهبهنمونه هستند و تنها در سطح گروه یا سند با یکدیگر ارتباط دارند. روشهای رایج معمولاً چنین شرایطی را پشتیبانی نمیکنند یا نیازمند فرضیات محدودکننده هستند. نویسنده با توسعه نسخه چندوجهی فرآیند دیریکله و فرآیند دیریکله سلسلهمراتبی، مدلهایی ارائه میدهد که قادرند وابستگیهای مشترک میان مدالیتههای مختلف را حتی بدون وجود تطابق مستقیم میان نمونهها استخراج کنند.
این مدلها بر پایه نمایش فرآیند پواسون طراحی شدهاند و امکان یادگیری ساختارهای مشترک میان منابع داده مختلف را فراهم میکنند. همچنین الگوریتمهای Gibbs Sampling مناسب برای این مدلها توسعه یافته و با استفاده از روش نمونهسازی تأخیری، قابلیت اجرای موازی نیز به آنها افزوده شده است. عملکرد این مدلها در تحلیل دادههای زیستی، بهویژه دادههای مربوط به گونههای میکروبی، مورد بررسی قرار گرفته و نتایج نشان داده است که مدلهای پیشنهادی قادرند ساختارهای مشترک میان انواع مختلف دادههای زیستی را با دقت بیشتری نسبت به روشهای موجود استخراج کنند.
در مجموع، این پایاننامه سه نوآوری اصلی را ارائه میدهد: نخست، معرفی روش Lightweight Data Fusion برای ادغام منابع دادهای که مدل احتمالاتی آنها ناشناخته است؛ دوم، ارائه نمایش جدیدی از مدلهای Dirichlet Process و Hierarchical Dirichlet Process که امکان استنباط موازی و مقیاسپذیر را فراهم میکند؛ و سوم، توسعه مدلهای چندوجهی ناپارامتری بیزی برای یادگیری روابط میان دادههای چندمدالیته فاقد تطابق مستقیم. ترکیب این سه دستاورد موجب شده است چارچوبی جامع برای همجوشی دادههای پیچیده، استنباط بیزی، یادگیری ساختارهای نهفته و پردازش دادههای بزرگ ارائه شود.
بهطور کلی، هدف اصلی این پژوهش افزایش دقت، انعطافپذیری و مقیاسپذیری روشهای همجوشی دادههای چندوجهی است. پایاننامه نشان میدهد که با بهرهگیری از اصول آمار بیزی، یادگیری عمیق، مدلهای ناپارامتری و الگوریتمهای استنباط موازی میتوان محدودیتهای روشهای کلاسیک را برطرف کرد و چارچوبی عمومی برای تحلیل دادههای پیچیده در حوزههای مختلف علمی و صنعتی فراهم ساخت. این پژوهش نهتنها از نظر نظری سهم قابلتوجهی در توسعه مدلهای احتمالاتی دارد، بلکه از منظر کاربردی نیز راهکارهایی عملی برای حل مسائل واقعی در حوزههایی مانند سنجش از دور، تحلیل زیرساختهای انرژی، دادهکاوی زیستی، تحلیل دادههای محیطی و یادگیری ماشین ارائه میکند.
| فهرست مطالب | شماره صفحه |
|---|---|
| چکیده | iii |
| قدردانی | v |
| فصل 1: مقدمه | 1 |
| فصل 2: مبانی (Background) | 3 |
| 2-1. رویکرد بیزی (Bayesian Approach) | 3 |
| 2-1-1. انگیزه: تعویضپذیری (Exchangeability) و قضیه دیفینتی (de Finetti’s Theorem) | 3 |
| 2-2. خانوادههای نمایی (Exponential Families) و آمارهای کافی (Sufficient Statistics) | 5 |
| 2-2-1. خانوادههای نمایی و توزیعهای مزدوج (Conjugacy) | 5 |
| 2-2-2. چند توزیع از خانواده نمایی | 8 |
| 2-2-3. اطلاعات و آمارهای کافی | 16 |
| 2-3. استنباط تقریبی و روشهای نمونهگیری | 18 |
| 2-3-1. نمونهگیری متروپولیس-هیستینگز (Metropolis-Hastings) | 20 |
| 2-3-2. نمونهگیری گیبس (Gibbs Sampling) | 20 |
| 2-3-3. روش MCMC با پرش برگشتپذیر (Reversible-jump MCMC) | 22 |
| 2-3-4. سایر روشهای نمونهگیری | 23 |
| 2-4. مدلهای خطی تعمیمیافته (Generalized Linear Models) | 23 |
| 2-4-1. مدلهای خطی تعمیمیافته با پراکندگی بیشازحد (Overdispersed GLMs) | 26 |
| 2-4-2. مدلهای خطی تعمیمیافته سلسلهمراتبی و مدلهای آمیخته | 27 |
| 2-5. خودرمزگذارهای واریاسیونی ساختاریافته (Structured Variational Autoencoders) | 28 |
| 2-6. فرایندهای پواسون (Poisson Processes) | 31 |
| 2-7. فرایندهای دیریکله (Dirichlet Processes) | 33 |
| 2-7-1. دیدگاههایی درباره فرایندهای دیریکله | 34 |
| 2-7-2. مدلهای مخلوط مبتنی بر فرایند دیریکله | 38 |
| 2-7-3. استنباط مبتنی بر نمونهگیری برای مدلهای مخلوط دیریکله | 40 |
| 2-8. فرایندهای دیریکله سلسلهمراتبی (Hierarchical Dirichlet Processes) | 44 |
| 2-8-1. فرانشیز رستوران چینی (Chinese Restaurant Franchise) | 44 |
| 2-8-2. مدلهای مخلوط HDP | 46 |
| 2-8-3. استنباط مبتنی بر نمونهگیری برای مدلهای مخلوط HDP | 46 |
| فصل 3: همجوشی سبک دادهها با آمارهای کافی آموختهشده (Lightweight Data Fusion) | 53 |
| 3-1. خانوادههای نمایی، آمارهای کافی و نگاشتهای مزدوج | 55 |
| 3-2. یادگیری آمارهای کافی تقریبی | 66 |
| 3-3. پژوهشهای مرتبط | 71 |
| 3-4. نتایج تجربی | 75 |
| 3-5. بحث و جمعبندی | 99 |
| فصل 4: نمونهسازی تأخیری اتمها در مدلهای مخلوط ناپارامتری بیزی | 101 |
| 4-1. نتیجه اصلی | 102 |
| 4-2. نمونهگیرهای موازی گیبس با نمونهسازی تأخیری | 105 |
| 4-3. پژوهشهای مرتبط | 116 |
| 4-4. تحلیل مدلهای تجمیعشده | 117 |
| 4-5. تقریب مؤلفه تجمیعشده | 128 |
| 4-6. نتایج تجربی | 131 |
| 4-7. بحث و جمعبندی | 139 |
| فصل 5: مدلهای مخلوط ناپارامتری بیزی برای دادههای چندوجهی | 143 |
| 5-1. پژوهشهای مرتبط | 144 |
| 5-2. از اندازههای تصادفی چندوجهی تا فرایندهای دیریکله | 144 |
| 5-3. مدلهای مخلوط دیریکله چندوجهی | 148 |
| 5-4. مدلهای مخلوط HDP چندوجهی | 157 |
| 5-5. نتایج تجربی | 168 |
| 5-6. بحث و جمعبندی | 178 |
| فصل 6: دستاوردها و پیشنهادها | 181 |
| 6-1. خلاصه دستاوردهای پژوهش | 181 |
| 6-2. پیشنهادهایی برای پژوهشهای آینده | 182 |
| پیوست A: پیوست مربوط به همجوشی سبک دادهها (LDF) | 183 |
| پیوست B: پیوست مربوط به نمونهسازی تأخیری | 213 |
| پیوست C: پیوست مربوط به مدلهای مخلوط DP و HDP چندوجهی | 245 |
| منابع (Bibliography) | 255 |
“`
همجوشی دادههای چندوجهی چگونه آینده هوش مصنوعی را متحول میکند؟ نگاهی به یکی از پیشرفتهترین رویکردهای یادگیری بیزی
امروزه تقریباً تمام سیستمهای هوشمند با یک چالش اساسی روبهرو هستند؛ دادهها از منابع مختلف تولید میشوند، اما این منابع همیشه کامل، همراستا یا حتی قابل اعتماد نیستند. تصاویر، حسگرها، دادههای آماری، اطلاعات متنی و اندازهگیریهای میدانی هرکدام بخشی از واقعیت را توصیف میکنند، اما چگونه میتوان همه این اطلاعات پراکنده را به یک تصویر دقیق و قابل اعتماد تبدیل کرد؟
این پایاننامه دقیقاً به همین سؤال پاسخ میدهد و مجموعهای از روشهای نوآورانه را برای همجوشی دادههای چندوجهی، افزایش دقت مدلهای بیزی و کاهش هزینه محاسباتی ارائه میکند.
چرا ترکیب چند منبع داده تا این اندازه دشوار است؟
در بسیاری از کاربردهای واقعی، همه منابع داده کیفیت یکسانی ندارند. برخی دارای مدل ریاضی مشخص هستند، اما برخی دیگر تنها اطلاعات خام تولید میکنند و مشخص نیست چگونه باید از آنها استفاده کرد.
مشکل زمانی پیچیدهتر میشود که دادههای چند منبع حتی متناظر با یکدیگر هم نباشند؛ یعنی نتوان مشخص کرد هر نمونه در یک منبع دقیقاً معادل کدام نمونه در منبع دیگر است.
این پایاننامه تلاش میکند بدون نیاز به چنین تطابق مستقیمی، اطلاعات همه منابع را وارد فرآیند یادگیری کند.
نوآوری اول؛ همجوشی سبک دادهها (Lightweight Data Fusion)
یکی از مهمترین دستاوردهای این پژوهش معرفی روشی با عنوان Lightweight Data Fusion (LDF) است.
در این روش، اگر تنها بخشی از دادهها دارای مدل احتمالاتی مشخص باشند، همان دادهها برای آموزش مدلی استفاده میشوند که بتواند اطلاعات منابع ناشناخته را نیز به شکل مؤثر وارد فرآیند استنباط کند.
مزیت اصلی این روش آن است که دیگر لازم نیست برای هر نوع داده، یک مدل پیچیده و مستقل طراحی شود؛ بلکه دادههای کمکی به آمارههای اطلاعاتی تبدیل شده و مستقیماً در تحلیل نهایی مشارکت میکنند.
چگونه دادههای ناقص هم به تصمیمگیری کمک میکنند؟
در بسیاری از پروژههای واقعی، اطلاعات همیشه کامل نیست.
ممکن است برخی حسگرها از کار بیفتند، تصاویر ناقص باشند یا بخشی از اطلاعات اصلاً ثبت نشده باشد.
چارچوب بیزی معرفیشده در این پایاننامه بهگونهای طراحی شده که بتواند حتی با وجود دادههای ناقص نیز عدمقطعیت را اندازهگیری کرده و همچنان تصمیمهای قابل اعتمادی ارائه دهد.
این ویژگی یکی از مهمترین مزیتهای مدلهای احتمالاتی نسبت به بسیاری از روشهای کلاسیک یادگیری ماشین محسوب میشود.
سرعت بیشتر بدون کاهش دقت
یکی دیگر از مشکلات مدلهای بیزی، هزینه محاسباتی بسیار زیاد آنها است.
این پایاننامه با معرفی ساختاری جدید برای مدلهای Dirichlet Process و Hierarchical Dirichlet Process موفق شده الگوریتمهای استنباط را به صورت موازی اجرا کند.
نتیجه این نوآوری، کاهش چشمگیر زمان پردازش در مجموعهدادههای بزرگ بدون کاهش کیفیت نتایج است؛ موضوعی که برای کاربردهای صنعتی و سامانههای هوش مصنوعی اهمیت زیادی دارد.
وقتی دادههای چندوجهی دیگر مانع یادگیری نیستند
در بسیاری از مسائل، دادهها از منابع کاملاً متفاوتی تولید میشوند؛ برای مثال تصاویر، متن، دادههای زیستی یا اطلاعات محیطی.
معمولاً این دادهها ارتباط مستقیم نمونهبهنمونه با یکدیگر ندارند و همین موضوع آموزش مدل را دشوار میکند.
این پژوهش با توسعه نسخههای چندوجهی مدلهای ناپارامتری بیزی، امکان استخراج الگوهای مشترک میان این منابع مختلف را فراهم کرده است؛ حتی زمانی که هیچ تطابق مستقیمی میان دادهها وجود نداشته باشد.
کاربردهایی فراتر از تحقیقات دانشگاهی
نکته جذاب این پایاننامه آن است که ایدههای ارائهشده صرفاً تئوری نیستند.
روشهای پیشنهادی روی مسائل واقعی آزمایش شدهاند؛ از جمله:
- برآورد میزان دسترسی مناطق مختلف به برق
- تحلیل نرخ وقوع جرم
- پردازش دادههای زیستی و میکروبی
- تحلیل دادههای محیطی
- یادگیری ماشین و هوش مصنوعی مبتنی بر دادههای چندمنبعی
این نتایج نشان میدهد چارچوب پیشنهادی میتواند در بسیاری از سامانههای تصمیمیار آینده مورد استفاده قرار گیرد.
چرا این پژوهش اهمیت دارد؟
بخش بزرگی از آینده هوش مصنوعی به توانایی سیستمها در ترکیب اطلاعات پراکنده وابسته است.
هرچه منابع داده بیشتر شوند، نیاز به مدلهایی که بتوانند این اطلاعات را با دقت، سرعت و همراه با اندازهگیری عدمقطعیت تحلیل کنند نیز افزایش مییابد.
این پایاننامه دقیقاً در همین مسیر حرکت کرده و سه نوآوری مهم را در کنار یکدیگر قرار داده است:
- توسعه روش Lightweight Data Fusion برای استفاده از منابع داده فاقد مدل مشخص
- طراحی الگوریتمهای استنباط موازی برای مدلهای ناپارامتری بیزی
- ارائه مدلهای چندوجهی جدید برای یادگیری وابستگی میان دادههای ناهمگون
جمعبندی
با گسترش روزافزون دادههای چندمنبعی، روشهای سنتی دیگر پاسخگوی پیچیدگی مسائل واقعی نیستند. این پژوهش نشان میدهد که ترکیب مدلهای بیزی، همجوشی داده و الگوریتمهای استنباط موازی میتواند راهکاری قدرتمند برای تحلیل دادههای بزرگ و چندوجهی باشد. شاید مهمترین پیام این پایاننامه این باشد که آینده هوش مصنوعی تنها به افزایش حجم دادهها وابسته نیست، بلکه به توانایی مدلها در درک ارتباط میان دادههای متفاوت بستگی دارد.
اگر بتوانیم دادههای پراکنده را به دانشی منسجم تبدیل کنیم، آیا نسل بعدی سیستمهای هوشمند قادر خواهند بود جهان را دقیقتر از همیشه درک کنند؟
بسیار سریع و ساده می توانید اصل این پایان نامه را به صورت فایل PDF در اختیار داشته باشید.