چکیده

ترجمه ماشینی یکی از مهم‌ترین حوزه‌های پردازش زبان طبیعی (Natural Language Processing یا NLP) است که هدف آن ایجاد سامانه‌هایی برای تبدیل خودکار متن از یک زبان به زبان دیگر است. با وجود پیشرفت چشمگیر این حوزه، یکی از مسائل بنیادی و کمتر قابل مشاهده در پشت بسیاری از سامانه‌های ترجمه، هم‌ترازی واژه‌ها (Word Alignment) است؛ یعنی تعیین اینکه هر واژه یا بخش واژه در جمله مبدأ، با کدام واژه یا بخش واژه در جمله مقصد ارتباط دارد. این مسئله در توسعه و ارزیابی مدل‌های ترجمه، استخراج واژگان ترجمه، تحلیل متون چندزبانه و بسیاری از کاربردهای میان‌زبانی اهمیت دارد. پایان‌نامه حاضر به‌طور مشخص بر همین مسئله تمرکز کرده و تلاش می‌کند با ترکیب روش‌های آماری و عصبی، روش‌هایی دقیق‌تر و مقاوم‌تر برای هم‌ترازی واژه‌ها ارائه دهد.

ریشه این مسئله به نسل‌های اولیه ترجمه ماشینی بازمی‌گردد. در ابتدا، سامانه‌های ترجمه عمدتاً مبتنی بر قواعد (Rule-Based) بودند. در این رویکردها لازم بود قواعد دستوری، واژه‌نامه‌ها و اطلاعات زبانی برای هر جفت‌زبان به‌صورت دستی تهیه شوند. چنین فرآیندی بسیار زمان‌بر، پرهزینه و وابسته به تخصص زبانی بود و در مواجهه با ابهام‌های معنایی، اصطلاحات، تفاوت‌های ترتیب واژه‌ها و تنوع گسترده زبان انسانی محدودیت داشت. پژوهش‌های براون و همکاران با معرفی مدل‌های هم‌ترازی IBM، مسیر متفاوتی را پیشنهاد کردند: به‌جای تعریف دستی قواعد، می‌توان از پیکره‌های موازی (Parallel Corpora) استفاده کرد و احتمال ترجمه و ارتباط میان واژه‌ها را مستقیماً از داده استخراج کرد.

مدل‌های IBM 1 تا 5 نقطه عطفی در ترجمه ماشینی آماری (Statistical Machine Translation یا SMT) محسوب می‌شوند. این مدل‌ها با استفاده از آمار هم‌رخدادی واژه‌ها، احتمال ارتباط میان واژه‌های دو زبان را تخمین می‌زدند و از الگوریتم امیدریاضی-بیشینه‌سازی (Expectation-Maximization یا EM) برای برآورد پارامترها بهره می‌گرفتند. مدل‌های پیچیده‌تر IBM حتی توانایی در نظر گرفتن حالت‌هایی را داشتند که یک واژه در زبان مبدأ با چند واژه در زبان مقصد متناظر باشد یا برعکس. این رویکرد، پایه‌ای مهم برای پژوهش‌های بعدی در هم‌ترازی واژه‌ها و ترجمه ماشینی ایجاد کرد.

با گذشت زمان، مدل‌های آماری از هم‌ترازی صرفاً واژه‌به‌واژه فراتر رفتند و مدل‌های مبتنی بر عبارت (Phrase-Based) نیز توسعه یافتند. با این حال، ظهور روش‌های عصبی، تحول بزرگ دیگری در این حوزه ایجاد کرد. معماری‌های دنباله‌به‌دنباله (Sequence-to-Sequence) مبتنی بر شبکه‌های بازگشتی و سپس سازوکار توجه (Attention) امکان یادگیری مستقیم روابط میان بخش‌های جمله مبدأ و مقصد را فراهم کردند. پس از آن، معماری ترنسفورمر (Transformer) با تکیه بر خودتوجهی (Self-Attention) توانست محدودیت‌های معماری‌های بازگشتی و کانولوشنی را کاهش دهد و به یکی از پایه‌های اصلی ترجمه ماشینی عصبی مدرن تبدیل شود.

در کنار این تحولات، استفاده از واحدهای کوچک‌تر از واژه، یعنی زیرواژه‌ها (Subwords)، نیز اهمیت پیدا کرد. روش‌هایی مانند رمزگذاری جفت‌بایتی (Byte Pair Encoding یا BPE) برای حل مشکل واژه‌های نادر و خارج از واژگان معرفی شدند. این روش‌ها واژه‌ها را به واحدهای کوچک‌تر تقسیم می‌کنند و به مدل اجازه می‌دهند حتی با واژه‌هایی که قبلاً به‌طور کامل مشاهده نشده‌اند نیز کار کند. این موضوع به‌خصوص برای زبان‌های دارای ساختار صرفی پیچیده و زبان‌هایی با واژگان بزرگ اهمیت دارد. پژوهش‌های مرتبط نشان داده‌اند که مدل‌های زیرواژه‌ای می‌توانند مشکل واژه‌های نادر و ناشناخته را کاهش دهند و به یک روش رایج در ترجمه ماشینی عصبی تبدیل شده‌اند.

با وجود پیشرفت مدل‌های عصبی، مسئله هم‌ترازی واژه‌ها همچنان چالش‌برانگیز باقی مانده است. از یک طرف، مدل‌های عصبی توانایی بالایی در یادگیری روابط پیچیده و وابسته به زمینه دارند؛ از طرف دیگر، روش‌های آماری سنتی همچنان در برخی سناریوهای هم‌ترازی بدون نظارت عملکرد قابل توجهی نشان می‌دهند. حتی در دوره‌ای که مدل‌های عصبی ترجمه ماشینی بر روش‌های آماری غلبه کرده‌اند، ابزارهایی مانند GIZA++ همچنان به‌عنوان مبنا در پژوهش‌های هم‌ترازی مورد استفاده قرار گرفته‌اند. این شکاف میان توانایی روش‌های آماری و عصبی، انگیزه مهمی برای پژوهش حاضر است.

پژوهش‌های جدیدتر تلاش کرده‌اند این مشکل را با روش‌های عصبی و کم‌نیازتر به داده برطرف کنند. برای نمونه، MASK-ALIGN با استفاده از یادگیری خودنظارتی (Self-Supervised Learning) تلاش می‌کند بدون نیاز به هم‌ترازی‌های دستی، ارتباط میان واژه‌های دو زبان را یاد بگیرد. همچنین روش‌هایی بر پایه تنظیم دقیق (Fine-Tuning) تع嵌ه‌های چندزبانه مانند BERT و RoBERTa توسعه یافته‌اند که با استفاده از اطلاعات زمینه‌ای، ماتریس‌های هم‌ترازی را استخراج می‌کنند. این روش‌ها حتی در برخی شرایط بدون داده‌های برچسب‌گذاری‌شده نیز عملکرد رقابتی نشان داده‌اند.

پایان‌نامه حاضر در همین نقطه وارد مسئله می‌شود و به‌جای تمرکز صرف بر یک خانواده از روش‌ها، سه مدل متفاوت برای حل و مقایسه مسئله هم‌ترازی واژه‌ها ارائه می‌کند: یک مدل جدید مبتنی بر شمارش و زیرواژه، یک مدل عصبی مبتنی بر معماری رمزگذار-رمزگشا (Encoder-Decoder) و در نهایت یک مدل ترکیبی یا Ensemble که دو رویکرد را با یکدیگر تلفیق می‌کند. مدل شمارش‌محور از معیارهای آماری و آمار هم‌رخدادی برای تخمین هم‌ترازی استفاده می‌کند؛ مدل عصبی با استفاده از معماری رمزگذار-رمزگشا و سازوکار توجه تلاش می‌کند روابط میان واژه‌ها را به‌صورت انتهابه‌انتها یاد بگیرد؛ و مدل Ensemble نقاط قوت این دو رویکرد را در یک چارچوب مشترک به کار می‌گیرد.

یکی از جنبه‌های مهم پژوهش، تمرکز بر روابط زیرواژه‌ای و زبان‌هایی با الفباهای متفاوت است. نویسندگان معتقدند بسیاری از روش‌های موجود، اگرچه نتایج امیدوارکننده‌ای ارائه کرده‌اند، هنوز در ثبت دقیق روابط میان بخش‌های واژه و برخورد با جفت‌زبان‌های متنوع از نظر ساختار و الفبا با محدودیت مواجه‌اند. مدل پیشنهادی شمارش‌محور تلاش می‌کند از اطلاعات آماری مربوط به بخش‌های واژه استفاده کند تا بتواند روابطی را که ممکن است در سطح واژه کامل از دست بروند، بهتر شناسایی کند.

در بخش عصبی، پایان‌نامه از معماری رمزگذار-رمزگشا استفاده می‌کند که در آن رمزگذار ورودی را پردازش کرده و رمزگشا خروجی را تولید می‌کند. سازوکار توجه به مدل اجازه می‌دهد هنگام تولید هر بخش از خروجی، روی بخش‌های مرتبط ورودی تمرکز کند. در فرآیند ارزیابی نیز احتمال یا درست‌نمایی لگاریتمی (Log-Likelihood) توالی مقصد نسبت به توالی مبدأ محاسبه می‌شود تا بتوان از آن برای ارزیابی گزینه‌های هم‌ترازی استفاده کرد.

نتایج تجربی پایان‌نامه نکته جالبی را آشکار می‌کند: برخلاف انتظار ساده‌ای که ممکن است از برتری مدل‌های عصبی ناشی شود، مدل عصبی پیشنهادی در آزمایش‌های این پژوهش نتوانست به دقت مدل زیرواژه‌ای مبتنی بر شمارش برسد. مدل عصبی با افزایش تعداد تکرارهای آموزش اندکی بهبود نشان داد، اما همچنان عملکرد آن پایین‌تر از مدل شمارش‌محور باقی ماند. این نتیجه نشان می‌دهد که در مسئله خاص هم‌ترازی واژه‌ها، پیچیدگی بیشتر مدل الزاماً به معنای دقت بیشتر نیست و ویژگی‌های آماری و ساختاری داده نیز می‌توانند نقشی اساسی داشته باشند.

با این حال، پژوهش به همین مقایسه اکتفا نمی‌کند. نویسندگان مدل شمارش‌محور و مدل عصبی را در قالب یک مدل Ensemble ترکیب می‌کنند. در این روش، وزن مشخصی به هر مدل اختصاص داده می‌شود و مقدار این وزن با یک ابرپارامتر به نام λ کنترل می‌شود. آزمایش‌ها نشان می‌دهند که با انتخاب λ برابر با 0.98، مدل Ensemble به دقت 29.08 درصد در معیار تطابق دقیق رشته (Exact String Match) دست می‌یابد؛ مقداری که اندکی بهتر از عملکرد مدل شمارش‌محور به‌تنهایی است. این نتیجه اهمیت ترکیب مدل‌ها را نشان می‌دهد، زیرا حتی مدلی که به‌تنهایی عملکرد ضعیف‌تری دارد می‌تواند در نقش مکمل، به بهبود خروجی مدل قوی‌تر کمک کند.

در مجموع، هدف اصلی این پایان‌نامه صرفاً ساخت یک مدل جدید نیست، بلکه بررسی تجربی و مقایسه رویکردهای آماری و عصبی برای هم‌ترازی واژه‌ها و یافتن راهی برای ترکیب مزایای آن‌ها است. نتایج نشان می‌دهد که یک مدل نسبتاً ساده اما متکی بر اطلاعات زیرواژه‌ای و آماری می‌تواند در این مسئله از مدل عصبی مورد استفاده بهتر عمل کند و ترکیب هوشمندانه این دو نیز امکان دستیابی به عملکردی اندکی بهتر را فراهم می‌کند. بنابراین، یافته اصلی پژوهش تأکید می‌کند که در مسائل چندزبانه، به‌ویژه هم‌ترازی واژه‌ها، نباید روش‌های آماری را صرفاً به دلیل ظهور مدل‌های عصبی کنار گذاشت؛ بلکه ترکیب دانش آماری، ساختار زیرواژه‌ای و قابلیت یادگیری مدل‌های عصبی می‌تواند مسیر مؤثرتری باشد.

پایان‌نامه در نهایت مسیرهای متعددی را برای ادامه پژوهش پیشنهاد می‌کند؛ از جمله استفاده از روش‌های آماری پیشرفته‌تر، تقسیم واژه‌ها به بیش از دو بخش برای زبان‌های صرفی، بررسی دقیق‌تر خطاهایی که تنها یک یا دو حرف با پاسخ صحیح فاصله دارند، استفاده از معیارهایی مانند نرخ خطای هم‌ترازی (Alignment Error Rate یا AER)، بررسی معماری‌های عصبی جدیدتر و استفاده از مدل‌های مبتنی بر ترنسفورمر و تع嵌ه‌های زمینه‌مند. همچنین بررسی روش‌های بهتر برای حل تساوی‌ها در مدل Ensemble و تحلیل خطاها بر اساس ویژگی‌های دستوری و ساختار صرفی واژه‌ها از دیگر مسیرهای آینده معرفی شده‌اند.

در نتیجه، این پژوهش را می‌توان تلاشی برای بازنگری در یک مسئله بنیادی در ترجمه ماشینی دانست: چگونه می‌توان ارتباط میان واحدهای زبانی دو زبان را با دقت بیشتری کشف کرد؟ پاسخ پایان‌نامه یک راه‌حل واحد نیست، بلکه مقایسه‌ای میان سه دیدگاه متفاوت است؛ دیدگاه آماری، دیدگاه عصبی و دیدگاه ترکیبی. مهم‌ترین دستاورد آن نیز نشان دادن این نکته است که در برخی مسائل تخصصی NLP، یک روش آماری مبتنی بر زیرواژه می‌تواند نه‌تنها رقیبی جدی برای مدل عصبی باشد، بلکه در کنار آن به ساخت یک سامانه هم‌ترازی دقیق‌تر و مقاوم‌تر کمک کند.

وقتی مدل ساده‌تر از هوش مصنوعی بهتر عمل می‌کند؛ داستان یک رقابت غیرمنتظره در ترجمه ماشینی

اگر قرار باشد برای حل یک مسئله پیچیده در هوش مصنوعی بین یک مدل آماری نسبتاً ساده و یک شبکه عصبی انتخاب کنیم، احتمالاً انتظار داریم مدل عصبی برنده شود. بالاخره شبکه عصبی می‌تواند الگوهای پیچیده، روابط معنایی و اطلاعات زمینه‌ای را یاد بگیرد.

اما در مسئله هم‌ترازی واژه‌ها (Word Alignment)، این پایان‌نامه نتیجه‌ای متفاوت نشان می‌دهد: گاهی اوقات چیزی که کمتر «هوشمند» به نظر می‌رسد، دقیق‌تر عمل می‌کند.

پژوهش حاضر سه رویکرد را برای پیدا کردن ارتباط میان واژه‌های دو زبان بررسی می‌کند: یک مدل زیرواژه‌ای مبتنی بر شمارش، یک مدل عصبی و در نهایت ترکیب این دو.

مسئله از کجا شروع می‌شود؟ یک ترجمه فقط جابه‌جایی واژه‌ها نیست

فرض کنید یک جمله انگلیسی و ترجمه اسپانیایی آن را در اختیار داریم. مسئله این است که بفهمیم هر واژه در جمله اول دقیقاً با کدام واژه در جمله دوم ارتباط دارد.

این همان هم‌ترازی واژه‌ها است؛ مسئله‌ای بنیادی که در ترجمه ماشینی، بازیابی اطلاعات میان‌زبانی، استخراج واژگان دوزبانه و دیگر کاربردهای چندزبانه اهمیت دارد. تفاوت در ترتیب واژه‌ها، ساختار دستوری و صرف زبان‌ها باعث می‌شود این کار به سادگی مقایسه دو رشته متنی نباشد.

اهمیت موضوع زمانی بیشتر مشخص می‌شود که بدانیم تاریخ ترجمه ماشینی تا حد زیادی تاریخ تلاش برای حل همین مشکل است.

از مدل‌های آماری IBM و استفاده از پیکره‌های موازی گرفته تا مدل‌های مبتنی بر عبارت و سپس شبکه‌های عصبی، پژوهشگران دائماً در تلاش بوده‌اند بفهمند کدام بخش از جمله مبدأ با کدام بخش از جمله مقصد ارتباط دارد. مدل‌های IBM حتی از الگوریتم امیدریاضی-بیشینه‌سازی (EM) برای تخمین احتمال‌های ترجمه استفاده می‌کردند.

بعدتر، توجه به مدل‌های عصبی، LSTM، توجه (Attention) و Transformer معادله را تغییر داد.

اما یک سؤال همچنان باقی ماند:

آیا مدل عصبی واقعاً همیشه بهترین ابزار برای هم‌ترازی است؟

این پایان‌نامه دقیقاً همین سؤال را آزمایش می‌کند.

سه رقیب وارد میدان می‌شوند

پژوهش سه مدل را طراحی و با یکدیگر مقایسه می‌کند.

مدل اول، یک مدل زیرواژه‌ای مبتنی بر شمارش (Count-Based Subword Model) است که از معیارهای آماری و آمار هم‌رخدادی برای تخمین هم‌ترازی استفاده می‌کند.

مدل دوم، یک مدل عصبی هم‌ترازی مبتنی بر رمزگذار-رمزگشا (Encoder-Decoder) است که با استفاده از توجه تلاش می‌کند روابط میان واژه‌ها و زیرواژه‌ها را به‌صورت انتهابه‌انتها یاد بگیرد.

و مدل سوم، یک مدل ترکیبی (Ensemble) است که قرار است بهترین ویژگی‌های دو مدل قبلی را کنار هم قرار دهد.

ایده جذاب همین‌جاست: پژوهش نمی‌گوید «آمار قدیمی است و شبکه عصبی جدید است، پس شبکه عصبی بهتر است». بلکه هر دو را وارد یک رقابت واقعی می‌کند.

سورپرایز اول: مدل آماری برنده می‌شود

نتایج آزمایش شاید جذاب‌ترین بخش پایان‌نامه باشند.

داده‌های مورد استفاده از مجموعه MUSE گرفته شده‌اند و آزمایش اصلی روی هم‌ترازی واژه‌های انگلیسی و اسپانیایی انجام شده است. مجموعه شامل ۱۴٬۹۵۲ نمونه آموزشی و ۲٬۹۷۵ نمونه آزمایشی بوده است. معیار ارزیابی نیز تطابق دقیق رشته (Exact String Match) بوده؛ یعنی خروجی مدل باید دقیقاً با هم‌ترازی صحیح موجود در داده مطابقت داشته باشد.

نتیجه؟

مدل آماری بیش از دو برابر مدل عصبیِ ۲۰۰ تکراره دقت به دست آورده است.

این نتیجه یک نکته مهم را یادآوری می‌کند: پیچیده‌تر بودن مدل لزوماً به معنای بهتر بودن آن نیست.

مدل عصبی توانایی یادگیری روابط پیچیده و اطلاعات معنایی را دارد، اما در این آزمایش مشخصاً در شناسایی مرزهای زیرواژه‌ای و هم‌ترازی دقیق آن‌ها مشکل بیشتری داشته است.

اما چرا زیرواژه‌ها این‌قدر مهم‌اند؟

یکی از ایده‌های کلیدی پایان‌نامه این است که شاید نباید همیشه واژه را یک واحد غیرقابل تقسیم در نظر گرفت.

یک واژه ممکن است از بخش‌هایی تشکیل شده باشد که در زبان دیگر، معادل‌های متفاوتی داشته باشند. بنابراین اگر مدل بتواند واژه را به زیرواژه‌ها تقسیم کند، می‌تواند اطلاعات بیشتری درباره ساختار آن به دست آورد.

این موضوع برای زبان‌های دارای ساختار صرفی پیچیده اهمیت بیشتری پیدا می‌کند.

به همین دلیل، مدل پیشنهادی تلاش می‌کند به‌جای اتکا به خود واژه، از مرزها و روابط زیرواژه‌ای نیز استفاده کند. نتایج آزمایش نشان می‌دهد همین ایده ساده می‌تواند تفاوت بزرگی ایجاد کند.

مدل عصبی شکست خورد؟ نه دقیقاً

در نگاه اول، عدد ۱۲٫۱۳٪ برای مدل عصبی چندان امیدوارکننده نیست.

اما این نتیجه را نباید به معنای بی‌ارزش بودن شبکه‌های عصبی دانست.

مدل عصبی با افزایش تعداد تکرارهای آموزش، از ۲٫۸۱٪ در ۷ تکرار به ۱۲٫۰۶٪ در ۲۰۰ تکرار و سپس ۱۲٫۱۳٪ در ۴۰۰ تکرار رسید. بنابراین مدل واقعاً در حال یادگیری بود؛ فقط سرعت و میزان پیشرفت آن برای رسیدن به مدل آماری کافی نبود.

نکته جالب‌تر این است که پژوهشگران متوجه شدند قدرت مدل عصبی شاید نه در رقابت مستقیم، بلکه در نقش مکمل آن باشد.

مدل عصبی اطلاعاتی را در اختیار دارد که مدل شمارش‌محور به شکل متفاوتی با آن‌ها برخورد می‌کند؛ به‌خصوص در زمینه روابط پیچیده و اطلاعات زمینه‌ای.

پس شاید سؤال درست این نباشد که:

«کدام مدل بهتر است؟»

بلکه این باشد:

«آیا می‌توان کاری کرد که هر مدل، اشتباه‌های مدل دیگر را جبران کند؟»

اینجاست که مدل ترکیبی وارد می‌شود

پژوهشگران دو مدل را در قالب یک سیستم Ensemble ترکیب کردند.

در این روش، امتیاز مدل شمارش‌محور و امتیاز مدل عصبی با یک وزن مشخص ترکیب می‌شوند. این وزن با پارامتر λ کنترل می‌شود؛ λ مشخص می‌کند چه میزان اعتماد به مدل شمارش‌محور داده شود.

و نتیجه بسیار جالب است.

وقتی:

λ = 0.98

باشد، دقت مدل ترکیبی به:

۲۹٫۰۸٪

می‌رسد.

یعنی مدل ترکیبی نه‌تنها مدل عصبی را پشت سر می‌گذارد، بلکه کمی بهتر از مدل شمارش‌محور به‌تنهایی عمل می‌کند که دقت آن ۲۸٫۳۳٪ بود.

یک نکته ظریف: مدل عصبی لازم نیست برنده باشد تا مفید باشد

این شاید یکی از آموزنده‌ترین نتایج پژوهش باشد.

مدل عصبی به‌تنهایی عملکرد ضعیف‌تری دارد، اما وقتی در کنار مدل شمارش‌محور قرار می‌گیرد، می‌تواند به انتخاب میان گزینه‌های پیشنهادی کمک کند.

آزمایش‌ها این موضوع را به‌خوبی نشان می‌دهند:

• λ = 0.98 → ۲۹٫۰۸٪
• λ = 0.50 → ۲۸٫۴۷٪
• λ = 0 → ۱۷٫۳۳٪

یعنی در این مسئله، بهترین ترکیب به‌شدت به مدل شمارش‌محور متکی است؛ اما حضور مدل عصبی همچنان ارزش افزوده ایجاد می‌کند.

این دقیقاً همان فلسفه مدل‌های Ensemble است: لازم نیست همه اعضای تیم به‌تنهایی بهترین باشند؛ کافی است نقاط قوت آن‌ها مکمل یکدیگر باشد.

یک محدودیت مهم: معیار ارزیابی شاید بیش از حد سخت‌گیر باشد

اینجا پایان‌نامه خودش یک سؤال جالب برای آینده مطرح می‌کند.

معیار اصلی، تطابق دقیق رشته است. این معیار ساده و شفاف است: یا پیش‌بینی دقیقاً درست است یا نیست.

اما تصور کنید پاسخ صحیح با پیش‌بینی مدل فقط یک حرف تفاوت داشته باشد.

از نگاه Exact String Match، این اشتباه تقریباً همانند یک پاسخ کاملاً بی‌ربط محسوب می‌شود.

پژوهشگران به همین دلیل پیشنهاد می‌کنند در آینده از معیارهایی مانند نرخ خطای هم‌ترازی (Alignment Error Rate یا AER) نیز استفاده شود تا ارزیابی ظریف‌تری از کیفیت هم‌ترازی امکان‌پذیر باشد.

این نکته مهم است، چون گاهی یک عدد ساده در جدول نتایج نمی‌تواند تمام داستان عملکرد یک مدل را تعریف کند.

مسیر بعدی کجاست؟ مدل‌های هوشمندتر یا ترکیب‌های هوشمندتر؟

پایان‌نامه چند مسیر مشخص برای ادامه این کار پیشنهاد می‌کند.

یکی از آن‌ها استفاده از روش‌های آماری پیشرفته‌تر و ویژگی‌های زبانی غنی‌تر است. حتی پیشنهاد شده واژه‌ها به جای دو قسمت، در برخی زبان‌های صرفی به سه یا چند قسمت تقسیم شوند.

مسیر دیگر، حرکت به سمت معماری‌های عصبی جدیدتر است؛ از جمله مدل‌های مبتنی بر Transformer، توجه خودکار (Self-Attention)، گراف و تع嵌ه‌های زمینه‌مند مانند BERT و GPT.

همچنین بررسی دقیق خطاها بر اساس نقش دستوری، ساختار صرفی واژه‌ها و شرایطی که مدل شمارش‌محور دچار تساوی در امتیازدهی می‌شود، می‌تواند به بهبود Ensemble کمک کند.

جمع‌بندی: آینده لزوماً متعلق به پیچیده‌ترین مدل نیست

این پژوهش یک پیام ساده اما ارزشمند دارد:

در هوش مصنوعی، پیچیدگی همیشه برنده نیست.

مدل زیرواژه‌ای مبتنی بر شمارش در آزمایش انجام‌شده توانست با دقت ۲۸٫۳۳٪ از مدل عصبی با دقت ۱۲٫۱۳٪ بهتر عمل کند. اما ترکیب این دو رویکرد توانست دقت را به ۲۹٫۰۸٪ برساند.

بنابراین شاید آینده هم‌ترازی واژه‌ها نه در انتخاب بین «آمار» و «شبکه عصبی»، بلکه در پیدا کردن نقطه‌ای باشد که این دو بتوانند یکدیگر را کامل کنند.

و شاید سؤال جذاب‌تر برای پژوهش بعدی این باشد:

اگر یک مدل ساده می‌تواند یک مدل عصبی را شکست دهد، ترکیب یک مدل آماری بهتر با یک مدل عصبی واقعاً قدرتمند تا کجا می‌تواند پیش برود؟