Recursive Neural Networks Can Learn Logical Semantics

درخت‌های بازگشتی شبکه عصبی (TreeRNNها) برای به‌دست آوردن معنی جملات در کاربردهای بسیاری موفق بوده است، اما سؤالی که باقی می‌ماند این است که آیا بازنمایی‌های با طول ثابتی که این درخت‌ها یاد می گیرند، می توانند taskهای استنتاج منطقی را پشتیبانی کنند یا خیر. ما این سؤال را با بررسی اینکه آیا دو مدل ساده TreeRNN و TreeRNTNs، می‌توانند روابط منطقی را به‌درستی با استفاده از این بازنمایی‌ها شناسایی کنند یا خیر. در مجموعه اول آزمایشات ما داده‌های مصنوعی را از یک گرامر منطقی تولید می کنیم و از آن برای ارزیابی توانایی مدل ها برای یادگیری روابط منطقی استفاده می‌کنیم. سپس مدل‌ها را بر روی داده‌های چالش های طبیعی ارزیابی می‌کنیم. هر دو مدل در هر سه آزمایش بر روی داده های شبیه‌سازی شده به طور کلی به خوبی جواب می‌دهند و این نشان می دهد که آنها می‌توانند بازنمایی مناسب برای استنتاج منطقی در زبان طبیعی را بیاموزند.
**مقدمه**
مدل‌های درختی شبکه عصبی بازگشتی برای معنای جملات در بسیاری از کاربردهای پیشرفته زبانی، از جمله تحلیل احساسات، توصیف تصویر و تشخیص نقل قول موفق بوده‌اند. این نتایج ما را ترغیب می‌کنند که این مدل‌ها را برای یادگیری تولید و استفاده از اصطلاحات معنایی قوی برای جمله‌ها توانا کنیم. با این وجود، سؤالی که باقی می‌ماند این است که آیا چنین مدلی می‌تواند عملکردهای گرامری مبتنی بر منطق را تطبیق دهد یا خیر.
کارهای اخیر در روش‌های جبری دارای چارچوب غنی برای محاسبات معنایی قطعاتی از زبان طبیعی است، اما هنوز روش های موثری برای یادگیری این بازنمایی از داده ها در یادگیری ماشین معمولی به دست نیامده است. تجربیات گذشته درباره استدلال تا حد زیادی محدود به عبارات کوتاه بوده است. با این حال، برای درک صحیح زبان طبیعی، ضروری است که این پدیده‌ها را در حالت کلی خود مدل کنیم.
این مقاله چهار آزمایش آزمایش یادگیری را توصیف می‌کند که به طور مستقیم توانایی این مدل‌ها را برای یادگیری بازنمایی‌هایی که از رفتارهای معنایی خاص پشتیبانی می کنند، ارزیابی می‌کند. ما یک معماری شبکه عصبی جدید برای استنتاج زبان طبیعی معرفی می‌کنیم که به‌طور مستقل بردارهای نمایندگی را برای هر دو جمله‌ای با استفاده از مدل‌های TreeRNN یا TreeRNTN محاسبه می‌کند بر اساس این بازنمایی‌ها رابطه بین جملات را قضاوت می‌کند. که به ما اجازه می دهد توانایی این دو مدل را برای نشان دادن تمام اطلاعات معنایی لازم در جمله‌ها بیان کنیم.
بسیاری از کارهای نظری در مورد استنتاج زبان طبیعی شامل منطق طبیعی است که سیستم های رسمی هستند که قواعد استنتاج بین کلمات زبان طبیعی، عبارات و جملات را بدون نیاز به بازنمایی‌های متوسط در یک منطق زبانی مصنوعی تعریف می کنند. در سه آزمایش اول ، توانایی مدل‌ها را برای یادگیری پایه‌های استنتاجی زبان طبیعی را با آموزش آنها برای تکثیر رفتار منطق طبیعی مک کارتی و منینگ بر روی داده های مصنوعی تست می کنیم. این منطق هفت رابطه متقارن انحصاری ترادف، تلقی، تضاد و ثبات متقابل را تعریف می کند که در جدول 1 خلاصه شده است. اولین آزمایش با استفاده
از این منطق، استنتاج را با روابط منطقی ساده پوشش میدهد، و دوم آن را به استدلال با عبارات ساخته شده با توابع بازگشتی ترکیب می کند و سوم، پیچیدگی های اضافی را که از تعریف به دست می آید، پوشش می دهد. اگر چه عملکرد مدل TreeRNN ساده در اولین آزمایش ما تا حدودی ضعیف است، اما مدل قوی‌‎تر TreeRNTN در همه موارد به خوبی کار می‌کند و بدین معنی است که آن را آموخته است و مفاهیم منطقی مورد نظر را شبیه‌سازی کرده است.
آزمایشات با داده های شبیه‌‎سازی شده توانایی شبکه‌های عصبی برای یادگیری ساختن و استفاده از اصطلاحات معنایی برای جملات طبیعی پیچیده از مجموعه های آموزشی مناسب را نشان می دهد. با این حال، ما نیز علاقمند هستیم که ببینیم آیا می‌توانند این بازنمایی‌ها را از متن طبیعی یاد بگیرند یا خیر. برای پاسخگویی به این سؤال، ما مدل های خود را به داده‌های چالشی اعمال می‌کنیم. اندازه کوچک این بدنه، یک عیب است که با این حال قادر هستیم به دستیابی به کارایی رقابتی آن هستیم.
![شکل 1. هفت رابطه منطقی مک‌کارتی و منینگ](https://boute.s3.amazonaws.com/293-Capture.JPG)