موجز: پیاده‌سازی و ارزیابی یک کارگزار خلاصه‌سازی خبر

تغییرات
ارزیابی انجام آزمایش‌ها و گزارش نتایج

نسخه آزمایشی: ‌ پیاده سازی اولیه را از این‌جا مشاهده نمایید. لطفا در صورت مشاهده‌ی باگ، گزارش دهید.
برای استفاده یک لینک یک خبر یا مقاله را در ورودی وارد کنید و دکمه مشاهده‌ی خلاصه را بزنید در صورتی که برای آن خبر کار نکرد لطفا لینک را گزارش دهید. ضمن عذرخواهی، ممکن است در بعضی ساعات به خاطر ایراد در vps یا تغییر کد در بعضی از ساعات کار نکند.

۱. چکیده

در این پروژه، ابتدا به بیان و پیاده‌سازی چند روش خلاصه‌سازی متن خواهیم پرداخت و تکنیک‌های خاصی را که منحصرا به خلاصه‌سازی خبر مربوط می‌شوند را توضیح می دهیم. سپس کارگزارِ1 خلاصه‌سازیِ خبرِ موجز، که از ترکیب چند روش خلاصه‌سازی آماری و یادگیریِ ماشین استفاده می‌ کند را معرفی می کنیم. موجز، از تکنیک‌های مربوط به پردازش زبان طبیعی و قواعد مربوط به زبان فارسی برای بهبود نتایج خود استفاده می کند. پس از پیاده سازی این سیستم با زبان برنامه نویسی پایتون‌، نتایج را با یک مجموعه‌ی خبر که توسط انسان خلاصه شده‌است مقایسه می‌‌‌کنیم و این سیستم را با روش‌‌‌های ارزیابی ذاتی و بیرونی سیستم‌‌‌های اتوماتیک خلاصه سازی‌، می‌‌‌سنجیم‌. نشان خواهیم داد که در بدترین حالت،‌ در کیفیت خلاصه و معیارهایی نظیر دقت2و فراخوانی3، نسبت به سیستم‌های مشابه بهبود نسبی حاصل شده است.

۲. ۱. مقدمه

در سال‌‌‌های اخیر نرخِ رشدِ اطلاعات، بسیار فزاینده است‌. با توجه به این افزایش حجم مستندات متنی‌، برای پاسخگویی به نیاز‌‌‌های اطلاعاتی کاربران‌، دیگر تکنیک‌‌‌های بازیابی اطلاعات به تنهایی کارا نیستند‌. از این رو خلاصه‌سازی متن‌‌‌ها به منظور فهم کلیه اطلاعات بااهمیت متن از جایگاه ویژه‌ای برخوردار است‌. این‌ کار منجر به استفاده از منابع بیشتر و با سرعت بالا‌‌تر و در نتیجه حاصل شدنِ اطلاعاتِ غنی‌‌‌تر می‌‌‌شود‌. امروزه کارگزار‌‌‌های خلاصه‌ساز متن در خلاصه‌سازی اطلاعاتِ پزشکیِ بیماران[1]، سرویس‌‌‌های صوتی برای ناشنوایان، موتور‌‌های جستجو، خلاصه‌سازی نامه‌‌‌‌های الکترونیکی[2]، اخبار[29] و غیره کاربرد دارند‌.

۲.۱. ۱.۱. انواع خلاصه‌سازی متن

در منابع[4,3]، دسته‌بندی‌های مختلفی برای کارگزارهای خلاصه‌سازی معرفی شده است که وجوهِ مشترک بسیاری دارند:

  • نوع خلاصه: به طور کلی خلاصه‌سازی به دو نوع مستخرج4 و چکیده5 تقسیم بندی می‌شود. در خلاصه‌های مستخرخ، جملاتی از متنِ اصلی، به عنوان جملاتِ مهم از سند در خلاصه انتخاب می‌شوند اما در خلاصه‌های چکیده، خروجی می‌تواند شاملِ جملات جدیدی باشد که دربرگیرندهِ اطلاعات مهم متن است. اکثر سیستم‌های خلاصه‌ساز، خلاصه‌های مستخرج تولید می‌کنند[5].

  • تعداد اسناد: کارگزار خلاصه‌ساز می‌تواند، یک سندِ مجزا را خلاصه کند یا چندین سند را که یک رویداد را گزارش می‌دهند خلاصه کند.

  • پارامتر: خلاصه‌ی یک متنِ یکسان، می‌تواند برای هر کاربر، با توجه به ویژگی‌های شخصی وی، متفاوت باشد.[6] ویژگی‌های کاربر می‌تواند به صورت هوشمند یا با پرسش از وی استخراج شود.

دسته‌بندی‌های دیگری نیز برای خلاصه‌سازی ارایه شده‌ است که به دلیل ارتباط کمتر با این مطالعه‌ی موردی، ذکر نشده است.

۲.۲. ۱.۲. چالش‌های پیش‌رو

  • حفظ پیوستگی:‌ خلاصه‌سازی با رویکرد مستخرج، باعث حذف برخی از جملات می شود. ممکن است جملات متن خلاصه، دچار گسستگی و عدم ارتباط موضوعی با یکدیگر باشند.

  • ضمایر سرگردان: ممکن است مرجع برخی ضمیرها مانند «وی» و «آن» در جملاتی باشد که حذف شده‌اند و خود جملاتِ شامل این ضمیرها، در متن خلاصه شده آمده باشد. این موضوع باعث ابهام و کاهش خوانایی متن می‌شود.

  • استاندارد متون: عدم رعایت استانداردی یکسان در متون خبری، به ویژه محتوای خبری که توسط خبرگزاری‌های فارسی تولید می‌شود باعث ایجاد مشکل خواهد شد. به عنوان مثال، قرارندادن علایم نگارشی در یک متن باعث می شود که تحلیل‌گرهای زبان‌های طبیعی، دچار خطا شوند. خطا در تحلیل جایگاه کلمات، باعث خطا در تکنیک‌هایی که از ویژگی‌های زبان استفاده می‌کنند خواهد شد.

  • حجم خلاصه: یافتن میزان مطلوب کاهش حجم یک متن به صورت خودکار، توسط سیستم خلاصه‌ساز یکی از چالش های اصلی در زمینه پیاده سازی و ارزیابی سیستم های خلاصه سازی است[7].

  • ارزیابی کیفیت خلاصه: ارزیابی خروجی سیستم خلاصه‌ساز گاهی اوقات یک موضوع کیفی است[8]. در بعضی از موارد حتی مشاهده می‌شود که یک خلاصه توسط دوفرد مختلف متفاوت ارزیابی می‌شود. کمی نبودن برخی از معیارهای ارزیابی، یک چالش اساسی محسوب می‌شود.

  • پردازش زبان فارسی: در توسعه این سیستم علاوه بر چالش های معمول های پردازش زبان طبیعی، مشکلات خاصی نیز وجود دارد که مرتبط با قواعد زبان فارسی هستند. مشکل دیگر در پردازش زبان فارسی کم بودن منابع زبانی، مثل پیکره‌های متنی مناسب برای این زبان است[9].

  • واکشی خبر: یافتن متن اصلی خبر و عنوان آن از صفحه وب، یکی از مراحل کارِ خلاصه‌ساز است. این مرحله به دلیل گستردگی و تفاوت سایت‌های خبرگزاری‌ها یک چالش محسوب می‌شود.

۳. ۲. مراحل و روش‌های موجود

به طور کلی عمل خلاصه‌سازی در سه مرحله‌ی پیش‌پردازش‌، پردازش و تولید خلاصه انجام می‌‌‌شود‌. در خلاصه‌سازی اخبار‌، باید مرحله واکشی خبر را نیز به ابتدای این مراحل اضافه نماییم‌:

۳.۱. ۲.۱. واکشی خبر

ما‌، واکشی را‌، استخراجِ متنِ اصلیِ خبر، عنوان آن و مهم‌ترین تصویر موجود مرتبط، از یک صفحه وب تعریف می‌‌‌کنیم‌. واکشی تصویر مرتبط به خبر، از آن جهت اهمیت دارد که گاهی، تمام خبر در یک تصویر خلاصه می‌شود یا در برخی موارد، خبر توضیحی از تصویر است و بدون وجود آن، بی‌معنی.

واکشی متن و عنوان اصلی یک خبر یا مقاله از صفحه وب‌، به دلیل یکسان نبودن ساختار صفحات سایت‌‌‌های مختلف نیاز به به‌کارگیری تکنیک‌‌‌های مختلفی دارد. برای این‌کار دو مرحله‌ی زیر را، پیشنهاد می‌کنیم:

  • واکشی بر پایه‌ی ساختار صفحات وب: طبق بررسی ها، اکثر سایت‌های خبرگزاری‌های فارسی، عموما از دو نرم‌افزار اتوماسیون خبرگزاری ایران سامانه و استودیو خبر استفاده می‌کنند. بنابراین ساختار صفحات وب این سایت‌ها عموما مشابه است. برای این سایت‌هامی‌توان، با استفاده از شناسایی موقعیت تگ‌های html به راحتی و به طور دقیق، عنوان و متن اصلی خبر را استخراج کرد. واکشی تصویر هم برای این سرویس‌ها به سادگی با استفاده از تگ‌های تصویر انجام می‌گیرد.

  • واکشی بر پایه‌ی روش‌های هوشمند:
    اگر ساختار html صفحه ای که لینک آن را داریم(مانند بالا) مشخص نبود باید بتوانیم متن اصلی و عنوان خبر را از آن استخراج کنیم. برای واکشی عنوان و متن اصلی مقاله، روش های زیر به ذهن می‌رسد:

۱. برای پیدا کردن متن اصلی خبر، ابتدا تمامی تگ‌هایی مانندِ تگ<p>را حذف می کنیم. سپس از بین بخش‌های مختلف متنی، بزرگترین قسمت را به عنوان متن اصلی در نظر گرفته و واکشی می کنیم. برای یافتن عنوان خبر، می‌توان از تگ<title>استفاده کرد. چنانچه عنوان خبر در این تگ نبود می‌توان به دنبال تمامی تگ‌هایی گشت که یک متن را بزرگنمایی می کنند.(مثل<h1>یا<b>)
در این صورت ممکن است چندین گزینه برای انتخاب عنوان وجود داشته باشد. اگر چنین اتفاقی افتاد، ابتدا با یکی از روش های‌های یافتن کلمات کلیدی در متن.(مانند روش tf-idf)، کلمات کلیدی متن را استخراج می‌کنیم[10]. سپس گزینه‌ای را انتخاب می‌کنیم که کلمات کلیدی بیشتری در آن وجود داشته باشد.

برای واکشی تصویر مرتبط به خبر،‌ به دنبال تگ‌<img>‌ای می‌گردیم که پدر یا همزاد آن در سند html، متن اصلی خبر باشد(نزدیک‌ترین تصویر به متن اصلی در صورت وجود).

۲. در آینده تکمیل می‌گردد.

۳.۲. ۲.۲ پیش‌پردازش

به دلیل عدم رعایت استانداردهای نگارشی زبان فارسی توسط منابع، پیش از انجام هر عملی به روی متنی که از صفحه وب واکشی شده است، باید پیش‌پردازش را انجام دهیم تا به متونی استاندارد برسیم. کارهای مرتبط پیشین[11, 5]، کارهای زیادی را برای پیش پردازش زبان فارسی پیشنهاد داده‌اند که البته برخی از آن‌ها،‌نادرست، فاقد دلیل منطقی و یا مغایر با شیوه‌ی درست نگارش زبان فارسی[12] به نظر می‌رسند و باعث پردازش اضافی بر روی متن می‌شوند. در زیر اعمالی را که برای پیش‌پردازش زبان فارسی، منطقی به نظر می رسد را ذکر می کنیم:

  • تبدیل نویسه‌‌ «ی» و «ک» عربی به نوع فارسی آن‌ها

  • تبدیل نویسه های «ؤ» به «و»، «ئ» به «ی» و «أ» به «ا»

  • تبدیل حمزه‌ی آخر کلمات به «ی» با رعایت نیم فاصله مناسب

  • اصلاح فاصله‌گذاری نادرست پرانتزها

  • تبدیل اعداد عربی و انگلیسی به معادل فارسی آن‌ها

  • رعایت نیم‌فاصله در پسوندهایی مانند «ها»، «تر»، «تری» و «ترین»

  • رعایت نیم‌فاصله در ضمایر ملکی نظیر «ام»، «ای»، «ات» و «اش»

  • رعایت نیم‌فاصله در پیشوندهایی همچون «نمی» و «می» در ابتدای فعل‌ها

  • حذف بیش از یک علامت سوال یا علامت تعجب

  • اصلاح کشیدگی کلماتی مانند «وحیـــــــد»

  • حذف فاصله پس از پیشوند «بر» در واژه‌هایی مانند «بر می‌گردد»

  • چسباندن علایم نگارشی مانند نقطه و علامت سوال به انتهای جمله

۳.۳. ۲.۳. پردازش

در این مرحله، اعمالی جهت بهبود نتایج کارِ خلاصه‌ساز بر روی متن اصلی انجام می‌شود که به طور خلاصه، تعدادی از آن‌ها را در زیر مطرح می‌کنیم. تعدادی از این مراحل، برای همه‌ی خلاصه‌سازها مناسب است و تعدادی از آن‌ها منحصرا نتایج خلاصه‌ساز خبر را بهبود می‌دهد:

۳.۳.۱. ۲.۳.۱. حذف کلمات ایست

یک پیکره از افعال، کلمات پرتکرار، ضمایر، قیدها، حروف ربط، حروف اضافه و حروف تعریف را به عنوان پیکره‌ی کلمات ایست فارسی در نظر گرفتیم و آن‌ها را از متن اصلی حذف می‌کنیم. این‌ کار به بهبود نتایج کمک بسیار زیادی می‌کند.

۳.۳.۲. ۲.۳.۲. دادن امتیاز بیش‌تر به کلمات عنوان اصلی خبر

عنوان خبر، شامل کلمات اصلی خبر است و می‌توان در متن نیز امیتاز بیش‌تری برای جملاتی که حاوی این کلمات هستند در نظر گرفت.

۳.۳.۳. ۲.۳.۳. اسامی خاص

در آینده تکمیل می‌گردد

۳.۳.۴. ۲.۳.۴. امتیاز مثبت به جملات حاوی اعداد، علامت درصد(٪) و کلمات بیگانه

در آینده تکمیل می‌گردد

۳.۳.۵. ۲.۳.۵. امتیاز مثبت به جملات حاوی نقل قول

در آینده تکمیل می‌گردد

۳.۳.۶. ۲.۳.۶. در نظر گرفتن امتیاز کلمات یا عبارات اشاره

در آینده تکمیل می‌گردد

۳.۳.۷. ۲.۳.۷. امتیاز مثبت به جملات حاوی نقل قول

در آینده تکمیل می‌گردد

۳.۳.۸. ۲.۳.۸. امتیاز مثبت کلمات کلیدی خبر

در آینده تکمیل می‌گردد

(در آینده تکمیل می‌گردد)

۳.۴. ۲.۴. تولید خلاصه

تاکنون روش‌های زیادی برای تولید خلاصه از یک متن پیشنهاد شده است. در این بخش تعدادی از آن‌ها را بررسی می‌کنیم:

۳.۴.۱. ۲.۴.۱ روش TF-ISF

این روش برگرفته از معیار فرکانس کلمه - معکوس فرکانس سند در بازیابی اطلاعات است. فرکانس یک کلمه، تعداد تکرار آن در متن است. فرکانس جمله، تعداد جملات سند است که حاوی آن کلمه هستند. این مشخصه بعد از حذف تمامی کلمات ایست6، برای تمام کلمات هر جمله محاسبه می شود. وزن هر جمله از مجوع وزن کلمات آن جمله تقسیم بر تعداد کلمات آن بدست می آید و در نهایت، بسته به حجم دلخواه خلاصه جملات با بیشترین وزن انتخاب می شوند. فرمول این روش به صورت زیر است:

tf_{i,j} = \frac{ freq_ {i,j} }{ max_ {l} freq_ {l,j} } (1)

isf_ {i} = \log \frac {N}{n_ {i}} (2)

در این رابطه is_ {i} تعداد تکرار کلمه و isf_ {i} بیانگر عکس تعداد تکرار جمه از کلمه i ام است. در رابطه (2)، N تعداد کل جملات و n_ {i} تعداد جملاتی است که در آن کلمه i ام وجود دارد.

سپس وزن هر کلمه را از فرمول زیر محاسبه می کنیم.

w_ {i,j} = tf_{i,j} \times isf_ {i}

در نهایت وزن جملات را از تقسیم مجموع وزن کلمات آن جمله بر تعداد کلمات آن بدست می آوریم.

۳.۴.۲. ۲.۴.۲ روش مبتنی بر گراف

در آینده تکمیل می‌گردد.

۳.۴.۳. ۲.۴.۳ روش های مبنی بر زنجیره لغوی

زنجیره‌های لغوی، کلماتی هستند که از نظر معنایی با یکدیگر مشابهند. به عنوان نمونه، واژگانی نظیر کوشش، سعی و تلاش در یک زنجیره قرار می‌گیرند. روش‌های خلاصه‌سازی مبتنی بر زنجیره لغوی، در سه مرحله عمل می کنند[15]:

  1. تولید زنجیره‌های لغوی

  2. امتیاز دادن به زنجیره‌ها

  3. یافتن بهترین زنجیره برای ارزش‌دهی و استخراج جملات کلیدی

نیاز به توضیح بیشتر دارد.

۳.۴.۴. ۲.۴.۴روش های مبتنی بر یادگیری

این روش نیاز به وجود یک مجموعه سند خبری و خلاصه آن‌ها دارد. اگر ما چنین مجموعه‌ای از داده‌ها را داشته باشیم می‌توانیم به کمک راه حل‌هایی که برای طبقه‌بندی مطرح شده‌است، مساله خلاصه‌سازی را حل می‌کنیم. در حین یادگیری، داده‌ها به یک الگوریتم طبقه‌بندی داده می‌شوند. جملات به چند گروه جملات خلاصه و جملات غیر خلاصه با ویژگی‌هایی که دارند تقسیم بندی می‌شوند. برای یادگیری‌ می‌توان از روش‌هایی مانند Naive Bayes استفاده کرد[14, 23].

نیاز به توضیح بیشتر دارد.

۳.۴.۵. ۲.۴.۵. روش مبتنی بر ضریب خوشه بندی و ارزیابی ترایایی

در آینده تکمیل می‌گردد.

۳.۴.۶. ۲.۴.۶روش مبتنی بر تئوری فراکتال ها

در آینده تکمیل می‌گردد.

۴. ۳. روش پیشنهادی

۴.۱. ۳.۱ تولید خلاصه

در آینده تکمیل می‌گردد.

۴.۲. ۳.۲ حجم خلاصه

همانطور که گفته شد، یافتن میزان کاهش حجم در فرآیند خلاصه‌سازی یک چالش اساسی است. درصد کاهش حجم، برای کاربردهای مختلف متفاوت است. به عنوان مثال حجم یک سند پزشکی، شامل اطلاعات یک بیمار، می‌تواند بسیار کاهش بیابد و فقط در حدی اطلاعات در خلاصه بیاوریم که پزشک بتواند موارد مهم را از آن دریابد. درصد کاهش حجم، باید با توجه به نظر خبرگان هر حوزه و کاربران سیستم تعیین شود. این درصد، در کارگزارهای خلاصه‌ساز معمولا یک مقدار ثابت است ولی بسته به شرایط می‌تواند متغییر نیز باشد یا توسط کاربر(با پرسش مستقیم) تعیین شود. چون ما در این پروژه، به طور خاص فقط خلاصه‌سازی خبر را مورد بررسی قرار دادیم. طبق یک آزمایش روانشناختی که شرح آن خارج از حوصله‌ی این گزارش است، میزان حجم مطلوب خلاصه از نظر تعدادی کاربر را سنجیدیم و نتایج زیر بدست آمد:

جدول ۳-۱ میزان حجم مطلوب خلاصه از نظر تعدادی کاربر

تعداد خط‌های خبر خلاصه‌نشده تعداد خط‌های مطلوب از نظر کاربر برای خواندن‌ خلاصه
۶ ‌ ۵
۸ ۷
۱۰ ۶
۱۵ ۹
... ...
۶۰ ۱۷
... ...
۹۳ ۱۸

لازم به ذکر است که جدول به شکل کامل آورده نشده است. سعی شد داده ها را به کمک نرم افزار GeoGebra تحلیل کرده و تابع آن را تخمین بزنیم. در نهایت دو تابع زیر(با دقت‌های مختلف) برای چنین داده‌هایی تخمین زده شد:

y=\frac{\left(\frac{\ln(x)}{\ln(2.42)}\right)^2}{x^{0.11}} + 1.5=\frac{\log^2_{2.42}(x)}{x^{\frac{11}{100}}}+\frac{3}{2} (3)

و

y=\ln^2(x)+1 (4)

در فرمول های بالا x بیانگر تعداد خط‌های خبر اصلی و ‌y نمایانگر تعداد خط‌های خلاصه است. با توجه به سادگی فرمول (3) و نیاز محاسباتی کمتر، در پیاده‌سازی اولیه از آن استفاده کردم. به نظر می‌رسد که در صورتی که بتوان آزمایش را با جامعه‌ی آماری بالاتری انجام داد، استفاده از فرمول‌‌هایی با دقت فرمول (4) بهینه است. البته در آینده شاید بتوان با توجه دسته‌های مختلف کابران، از فرمول‌های مختلف برای هر فرد استفاده کرد(به این صورت که برای هر فرد، ثوابت فرمول با تکنیک‌های شخصی سازی تعیین شوند).

روش ارایه شده فقط به نظر کاربر توجه می‌کند و فاکتور‌های بسیار دیگری، نظیر پیوستگی مطلب خلاصه شده، را در نظر نمی‌گیرد. ان‌شاالله در آینده روش‌های بهتری برای این موضوع پیشنهاد خواهم داد.

۵. ۴. ارزیابی

ارزیابی کارگزار خلاصه‌ساز متن، یک فرایند پیچیده است. زمانی که ما از ارزیابی یک سیستم خلاصه ساز، صحبت می‌کنیم باید حداقل دو ویژگی را اندازه گیری کنیم[8]: نسبت فشردگی 7 (چه میزان متن خلاصه شده،‌ کوتاه‌تر از متن اصلی است؟)

CR = \frac{lengthof Summary}{length of Full Text}

و نسبت نگهداری8(چه میزان از اطلاعات نگهداری شده است؟)
RR = \frac{information in Summary}{information Full Text}

ارزیابی‌ها برای ۱۰۰۰ خبر، نشان می‌دهد که میانگین نسبت فشردگی کارگزار خلاصه‌ساز خبر موجز، با روش پیشنهاد‌ داده‌شده برای حجم خلاصه، حدود ۶۷.۴۳ درصد است. نسبت نگهداری هم با معیارهایی نظیر دقت و فراخوانی مشخص می‌شود که در بخش ۴.۱.۳ محاسبه شده است.
معمولا ارزیابی‌های زیر برای ‌یک سیستم خلاصه‌ساز تعریف می‌شود:

۵.۱. ۴.۱. ارزیابی ذاتی 9

تمرکز روش های ارزیابی ذاتی بر روی پیوستگی و اطلاع‌رسانی خلاصه ها است و تنها کیفیت خروجی بدون توجه به هدف نهایی مورد سنجش قرار می گیرد.

۵.۱.۱. ۴.۱.۱. پیوستگی خلاصه10

گاهی اوقات، جملاتی که در خلاصه‌هایی که به روش مستخرج تولید می شوند دچار بی ارتباطی معنایی در دنباله جملات هستند. یکی سنجه‌ی پیوستگی خلاصه، درجه بندی جمله‌ها بر حسب میزان پیوستگی‌شان است. سپس باید درجه جملات خلاصه با امتیازات خلاصه های مرجع، با امتیازا جملات منبع، با با امتیازات سایز سیستم‌های خلاصه ساز، مقایسه شود.

۵.۱.۲. ۴.۱.۲ آموزندگی خلاصه11

با مقایسه‌ی متن اصلی و متن خلاصه‌شده می‌توان اندازه گرفت که چه حجمی از اطلاعات متن اصلی، در خلاصه‌ی تولید شده توسط کارگزار حفظ شده است. البته این یک کمیت کیفی و اندازه گیری آن دشوار است. اما معیار‌‌هایی نظیر فراخوانی و دقت که در بخش ۴.۱.۳ توضیح داده شده‌اند تا حدی می‌توانند نمایانگر میزان حفظ اطلاعات به صورت کمی باشند.

۵.۱.۳. ۴.۱.۳ فراخوانی و دقت

از جمله معیارهای استاندارد در بازیابی اطلاعات، فراخوانی و دقت هستند: فراخوانی برابر با نسبت تعداد جملاتی که توسط سیستم درست تشخیص داده شده بر تعداد جملاتی که توسط سیستم معیار درست تشخیص داده شده اند،

Precision Rate = \frac{Number of Correctly Selected Sentences}{Total Number of Selected Sentences}

همچنین دقت برابر است با نسبت تعداد جملاتی که توسط سیستم درست تشخیص داده شده اند بر تعداد کل جملاتی که توسط سیستم برای خلاصه ایجاد شده اند،
Recall Rate = \frac{Number of Correctly Selected Sentences}{Total Number of Correct Sentences}

از ترکیب این دو معیار، معیاری تحت عنوان F-Measure ایجاد می‌شود. میزان وزن درنظر گرفته شده برای ترکیب دو معیار دقت و فراخوانی می‌تواند یکسان و یار غیر یکسان باشد در صورتی که یکسان باشند به آن F_{1} می‌گویند و مقدار آن از رابطه‌ی زیر بدست می‌آید.
F = 2 \times \frac{Precision.Recall}{Precision + Recall}

که این رابطه حالت خاصی از معیار F_{ \beta } است(برای هر \beta حقیقی غیر منفی):
F_{ \beta } = (1 + \beta^{2}) \times \frac{Precision.Recall}{\beta^2 . Precision + Recall}

دو معیار F رایج دیگر، یکی F_{ 2 } است که به فراخوانی وزن بیش‌تری می‌دهد و دیگری F_{ 0.5 }، که به دقت وزن بیش‌تری نسبت به فراخوانی می‌دهد.
ارزیابی‌های انجام شده وقتی که نتایج مستخرج از آزمون‌دهنده‌های انسانی به عنوان معیار قرار گرفتند نشان می‌دهند که فعلا میانگین معیار دقت کارگزار موجز ۷۶ درصد و میانگین معیار فراخوانی آن ۶۱ درصد است. در نتیجه معیار F_{ 1 }، برای این کارگزار در این فاز حدود ۶۷.۶ درصد ارزیابی می‌شود.

۵.۲. ۴.۲. ارزیابی بیرونی 12

کانون توجه در ارزیابی بیرونی، به روی کاربر است. در این روش میزان موثر بودن و قابلیت پذیرش خلاصه‌های تولید شده، با برخی از روش ها مثل ارزیابی رابطه‌ای یا خوانایی متن خلاصه، سنجیده می شود.
چندین سناریوی بازی به روش های سطحی برای ارزیابی خلاصه، پیشنهاد داده شده که در زیر تعدادی از آن ها را معرفی می کنیم:

۵.۲.۱. ۴.۲.۱. بازی شانون13

بازی شانون،‌ نوعی از معیار شانون در نظریه اطلاعات(شانون ۱۹۸۴) است که تلاش می‌کند محتوای داده‌ها را با حدس‌زدنِ token بعدی(به عنوان مثال: کلمه یا جمله بعدی) به منظور رسیدن به متن اصلی، به شکل کمی ارزیابی کند. ایده‌ این است که شما، سه گروه از اطلاعات را برای بازسازی مهم‌ترین بخش متن در این زمان‌ها می‌پرسید: ۱.بدون دیدن هیچ متنی ۲. پس از دیدنِ خلاصه‌ی تولید شده‌ توسط کارگزار ۳. بعد از دیدن متن اصلی خبر.
معیار نگهداری اطلاعات14 با اندازه‌گیری حدس‌های غلطی که برای بازسازی متن‌ِ اصلی زده شده است اندازه گیری می‌شود. ایراد این آزمون این است که بسیار به عملکرد آزمون‌دهنده در حدس زدن و دانش قبلی وی درباره موضوع بستگی دارد.

۵.۲.۲. ۴.۲.۲. بازی سوال 15

هدف بازی سوال ارزیابی میزان فهمِ خواننده، از متن خلاصه شده است. این ارزیابی دو گام دارد. ابتدا آزمون‌گر، متن مقاله را می‌خواند و قسمت اصلی متن را مشخص می‌کند و سوالاتی از حقایق مشخص از این قسمت‌ می‌سازد. در گام بعد، آزمون‌دهنده به سوالات،‌ در سه‌ زمان پاسخ می‌دهد: ۱.بدون دیدن هیچ متنی ۲. پس از دیدنِ خلاصه‌ی تولید شده‌ توسط کارگزار ۳. بعد از دیدن متن اصلی خبر.
خلاصه‌ای بهتر است که آزمون‌دهنده‌ها بتوانند به سوالات بیشتری بعد از دیدن خلاصه‌ی صحیح پاسخ دهند. به عبارت بهتر خلاصه‌ای بهتر است که تفاوت پاسخ‌های آزمون‌دهنده، بین زمان‌های ۱ و ۲ زیاد و بین زمان‌های ۲ و ۳ کم باشد.
بازی سوال کارگزار موجز طراحی و انجام شد(فرم پرسش‌نامه را از این جا ببینید) چون این ارزیابی، یک ارزیابی کیفی است نمی‌توان نتایج را به صورت ارقام گزارش کرد. برای نمونه می‌توانید نتیجه‌ی چند پرسش‌نامه تکمیل شده توسط تعدادی آزمون‌دهنده را از این جا مشاهده کنید.

۵.۲.۳. ۴.۲.۳. بازی رده‌بندی 16

بازی رده‌بندی از آزمون‌دهنده‌(آزمون دهنده‌ می‌‌تواند یک کارگزار رده‌بندی متون یا یک انسان باشد ولی ترجیح با انسان است) می‌خواهد که خلاصه‌های تولید شده توسط کاربر و متون اصلی را به طور جداگانه رده‌بندی کند. عملکرد خلاصه‌سازی مطلوب است که رده‌های متون خلاصه‌‌شده و متن اصلی حداکثر شباهت را داشته‌ باشند.
با توجه به هزینه‌ی بالای رده بندی متون خبری و خروجی خلاصه‌ساز توسط انسان، از یک کارگزار رده‌بندی متون فارسی استفاده شد 17. برای حدود ۲۰۰ خبر، متن اصلی و خلاصه شده به صورت جداگانه رده‌بندی شدند. نتایج حاصل نشان دادند که دقیقا در ۷۵ درصد متون، متن اصلی خبر و متن خلاصه‌شده در یک رده قرار گرفتند.

۵.۲.۴. ۴.۲.۴. کلمات کلیدی انجمنی 18

کلمات کلیدی انجمنی یک روش کم‌هزینه اما سطحی نگر برای ارزیابی عملکرد کارگزار است که صحت خلاصه را با ارزیابی کلمات کلیدی انجمنی(می‌تواند خودکار یا دستی به دست آمده باشد) می‌سنجد. خلاصه‌سازی مطلوب است که کلمات کلیدی مشترک بیش‌تری بین متن اصلی و خلاصه‌شده وجود داشته باشد. مزیت این روش ساده‌‌بودن و عدم نیاز به تفسیر پیچیده است.
با توجه به این‌ که استخراج کلمات کلیدی توسط کاربر انسانی،‌ هزینه‌ی زیادی دارد ما از یک کارگزار استخراج کلمات کلیدی متن استفاده کرده‌ایم. در صورتی به یک کلمه کلیدی،کلمه‌ی کلیدی درست استخراج شده(Correctly Extracted) می‌گوییم که هم در خلاصه‌ و هم در متن اصلی کلمه‌ی‌کلیدی تشخیص داده شود و دو معیار فراخوانی و دقت را برای این روش به شکل زیر تعریف می‌کنیم:

Precision Rate = \frac{Number of Correctly Extracted Keywords}{Total Number of Extracted Keywords}
Recall Rate = \frac{Number of Correctly Extracted Keywords}{Total Number of Correct Keywords}

ارزیابی‌های کارگزار موجز، برای حدود ۱۰۰۰ خبر خلاصه‌شده نشان می‌دهند که میانگین معیار دقت ۹۲.۲ درصد و میانگین معیار فراخوانی ۹۴.۷ درصد است.

۶. ۵. نتیجه‌گیری

در آینده تکمیل می‌گردد.

۷. ۶. مراجع

  1. Afantenos, S., Karkaletsis, V., & Stamatopoulos, P. (2005). Summarization from medical documents: a survey. Intelligence in Medicine. Elsevier

  2. Dalli, A., Xia, Y., & Wilks, Y. (2004). Fasil email summarisation system. Proceedings of the 20th International Conference. ACM

  3. Bogdanovski, A. (2006). An Automatic Text Summarizer.

  4. Hovy, E. H., Lin C.(1998), Automating Text Summarization in SUMMARIST, In I. Mani and M. Maybury (eds), Advances in Automated Text Summarization, MIT Press

  5. Shamsfard, M., Akhavan, T., & Jourabchi, M. E. (2009). Parsumist: A Persian text summarizer. 2009 International Conference on Natural Language Processing and Knowledge Engineering, 1–7.

  6. Moro, R. (2011) Personalized Text Summarization. Personalized Web - Science, Technologies and Engineering.

  7. Smedt, K. De, & Liseth, A. (2004). How short is good? An evaluation of automatic summarization.

  8. Hassel, M. (2004). Evaluation of automatic text summarization. Licentiate Thesis, Stockholm, Sweden.

  9. Shamsfard, M. (2011). Challenges and open problems in Persian text processing. 5th Language & Technology Conference (LTC) 65–69.

  10. Lee, S., & Kim, H.-J. (2008). News Keyword Extraction for Topic Tracking. 2008 Fourth International Conference on Networked Computing and Advanced Information Management

  11. محسن مشکی، مرتضی آنالویی. خلاصه‌سازی چندسندی متون فارسی با استفاده از یک روش مبتی بر خوشه بندی. اولین کنفرانس مهندسی نرم‌افزار ایران. آموزشکده فنی و حرفه‌ای سما، رودهن

  12. دستور خط زبان فارسی، مصوب فرهنگستان زبان و ادب فارسی (۱۳۸۹) . نشر آثار

  13. Al-Hashemi, R. (2010). Text Summarization Extraction System (TSES) Using Extracted Keywords. Int. Arab J. E-Technol.164–168.

  14. Chuang, W., & Yang, J. (2000). Extracting sentence segments for text summarization: a machine learning approach. Proceedings of the 23rd Annual International ACM, 152–159.

  15. Barzilay, R., Elhadad, M. (1997). Using lexical chains for text summarization. Intelligent Scalable Text Summarization.

  16. Das, D. (2007). A Survey on Automatic Text Summarization Single-Document Summarization, 1–31.

  17. Gholamrezazadeh, S. (2009). A comprehensive survey on text summarization systems.

  18. Elena Lloret, Teresa Rom, a-Ferri, Manuel Palomar. (2011). COMPENDIUM: A Text Summarization System for Generating Abstracts of Research Papers. Lecture notes in computer science. Springer

  19. Jing, H. (2000). Sentence reduction for automatic text summarization. Proceedings of the Sixth Conference on Applied Natural…, 310–315.

  20. Li, Y., & Cheng, K. (2011). Single document Summarization based on Clustering Coefficient and Transitivity Analysis.

  21. Mani, I. (2001). Summarization evaluation: An overview.

  22. Nenkova, A. (2011). Automatic Summarization. In Foundations and Trends® in Information Retrieval (Vol. 5, pp. 103–233).

  23. Neto, J., Freitas, A., & Kaestner, C. (2002). Automatic text summarization using a machine learning approach. Advances in Artificial Intelligence, (i).

  24. Sjobergh, J., & Araki, K. (2006). Extraction based summarization using a shortest path algorithm. Proceedings of 12th Annual Language Processing ….

  25. Steinberger, J. (2004). Using Latent Semantic Analysis in Text Summarization.

  26. Thakkar, K., & Shrawankar, U. (2011). Test Model for Text Categorization and Text Summarization. International Journal on …,1539–1545.

  27. Tofighy, M., Kashefi, O., & Zamanifar, A. (2011). Persian Text Summarization Using Fractal Theory. Springer, 651–662.

  28. Jing, H., Barzilay, R., McKeown, K., & Elhadad, M. (1998). Summarization evaluation methods: Experiments and analysis. … on Intelligent Summarization, 51–59.

  29. Wong, L. (n.d.). ANSES: Automatic News Summarization and Extraction System.

۷.۱. ضمایم

  1. لیست کلمات ایست فارسی (این لیست ۵۰۰ تایی متناسب با متون خبری تغییر خواهد کرد)

  1. Agent

  2. Precision

  3. Recall

  4. Extract

  5. Abstract

  6. Stop Words

  7. Compression Ratio

  8. Retension Ratio

  9. Intrinsic Evaluation

  10. Summary Coherence

  11. Summary Informativeness (در صورتی که واژه بهتری برای ترجمه این عبارت به نظرتان می‌رسد لطفا پیشنهاد دهید)

  12. Extrinsic Evaluation

  13. Shannon Game

  14. Information Retention

  15. Question Game

  16. Classification Game

  17. از کد پروژه‌ی آقای محمودی برای رده‌بندی استفاده شد. با تشکر از ایشان!

  18. Keyword Association

رد شده

خوب است.

رد شده

بسیار خوب و عالی
تمامی قسمت ها از جمله فرمول ها الگوریتم ها جداول و نتایج به صورت قابل قبولی توضیح داده شده اند
فقط یک نکته اونم اینکه ای کاش به جای bitbucket از سایت دیگری استفاده میشد چون بیت باکت چند وقتی هست که فقط با فیلتر شکن بالا میاد و من برای دانلود کد به مشکل برخوردم
موفق باشید

تایید شده

ایراد سیستم خلاصه سازی اخبار شما این است که ممکن است خبرها را خلاصه کند ولی عبارات مهم و اصلی در متن خبر را در مواردی جا می اندازد و از جایی شروع می کند که مثلا در میانه خبر است و خواننده خلاصه را دچار ابهام می کند ولی برای شروع کار از نظر من بسیار خوب است

تایید شده

با سلام و خسته نباشید
کار شما بر روی پروژه بسیار خوب است. توضیحات قسمت های مختلف کامل و جامع است و مشخص کردن مراجع نکته خوبی است. این که خروجی پروژه در قالب یک سایت می باشد ایده بسیار جالبی است و به راحتی نتیجه کار قابل مشاهده است.
همچنین کد پروژه تمیز و قابل فهم است.
در کل به خوبی روی پروژه کار شده است، فقط چند نکته کوچک قابل ذکر است :

  1. روشی که برای حجم خلاصه پیشنهاد داده اید را کامل توضیح نداده اید. بهتر است توضیح بیشتری در این مورد ارائه شود.

  2. روش ارزیابی کلمات کلیدی به نظر من روش خوبی برای ارزیابی کار شما نیست. چون وقتی روش خودتان از کلمات کلیدی استفاده می کند بهتر است روش ارزیابیتان مبتنی بر چیز دیگری باشد تا ارزیابی صحیح باشد وگر نه نتایج غیر واقعی می شود.

  3. از بعضی سایت‌ها علاوه بر متن اصلی و عنوان خبر، اطلاعات اضافی(مثل منو ها و فرم تماس و نظرات و ...) هم واکشی می‌شود و در خلاصه خبر می آید. توصیه می شود روی واکشی بهتر خبر از صفحه HTML کار کنید.

  4. چند ایراد کوچک نگارشی در متن وجود دارد که بهتر است اصلاح شود.

پیشنهاد:
یک کرپوس متنی فارسی از متن و خلاصه آنها تولید کنید که بتوان از آن در روش های مبتنی بر یادگیری استفاده کرد و بعد منتشر کنید! :)
موفق باشید

محسن ایمانی

از زحمات شما در این فاز تشکر می‌کنم فقط چند نکته کوچک به ذهنم رسید که عرض می‌کنم:

  • در مورد حجم خلاصه و آزمون آماری صورت گرفته، اگر این آزمون و تحلیل را خودتان انجام دادید بهتر بود که با جزئیات بیشتری از قبیل این که نحوه جمع‌آوری نظرات به چه صورت بوده و این که از چند نفر این اطلاعات جمع‌آوری شده است و ... بیان می‌نمودید. اگر هم این نتایج و جدول از مرجع دیگری برداشته شده است نام آن مرجع را می‌آوردید.

  • در بسیاری از سامانه‌های واقعی خلاصه‌ساز، حجم خلاصه به عنوان یک پارامتر در اختیار کاربر قرار می‌گیرد تا خودش حجم دلخواه را به سامانه به عنوان ورودی بدهد.

  • نکته بعدی در مورد معیار ارزیابی بازی سوال و لینک‌های مربوط به پرسش‌نامه در آن است که هیچ‌کدام صحیح نیستند.

  • همچنین نحوه محاسبه دو معیار فراخوانی دقت هم برای این سامانه نیاز به توضیح جزئيات بیشتری از قبیل این که نمونه‌های معیار چگونه تهیه شده‌اند و چه این عدد بر مبنای چه تعداد سند محاسبه شده است، داشت.