هدف از انجام این پروژه طراحی و پیاده سازی یک سیستم است که تصویر دو چهره ورودی که برای احراز هویت به آن داده میشود را با هم مقایسه کرده و عددی را به عنوان میزان تشابه آن دو چهره برگرداند. سپس برای پذیرش احراز هویت، یک آستانه را برای میزان شباهت تعیین کند که اگر میزان شباهت از آن مقدار بیشتر بود، سیستم آن مقایسه را به عنوان تطبیق بپذیرد و در غیر اینصورت آن را رد کند. این حد آستانه باید به گونه ای باشد که خطا روی پایگاه داده آزمون، کمترین میزان باشد. منظور از خطا، جمع مقدار FAR¹ و FRR² می‌باشد.

• برای دریافت داده‌های آموزش و آزمون لطفا به آزمایشگاه دکتر آنالویی مراجعه نمایید.

۱. مقدمه

هدف در سیستم تشخیص چهره، پیدا کردن تصویری است که ویژگی های بسیار مشابهی (شبیه ترین) با تصویر چهره ورودی را دارد.تشخیص چهره عملی است که انسان ها به صورت روتین و روزمره در زندگی خود با دقت بالایی انجام میدهند. تشخیص چهره نسبت به دیگر روش های بیومتریک نظیر تشخیص اثر انگشت در بازشناسی مزایایی دارد. در کنار طبیعی بودن و غیر قابل بروز بودن این نوع بازشناسی، مهم ترین مزیت بازشناسی چهره این است که صورت میتواند در هر فاصله ای گرفته شود وپوشش داده شود. در بین شش ویژگی بیومتریکی که توسط Heimeyer معرفی شد، ویژگی های چهره بالاترین سازگاری را درسیستم هایMRTD (Machine Readable Travel Documents) داشته اند. بازشناسی چهره به عنوان یکی از قدرتمندترین تکنولوژی های بیومتریک در پیشرفت هایی در دستگاههای عکس برداری، ذخیره سازی حجم زیادی از تصاویر در حافظه و یا وب و افزایش امنیت نقش بسیار مهمی را ایفا کرده است.
تحقیقات درباره چگونگى درک چهره توسط انسان، یافته هاى جالب فراوانى را در پى داشته است که می تواند در طراحى سیستم هاى کاربردى و عملى، کمک مفیدی باشد. کارایى تشخیص چهره علاوه بر کاربردهاى مرتبط با تعیین و مقایسه هویت نظیر کنترل دسترسى، امور قضایى، صدور مجوزها و مدارک هویتى و نظارت در زمینه هایى نظیر تعامل انسان و کامپیوتر، واقعیت مجازى،بازیابى اطلاعات از پایگاه هاى داده، مالتى مدیا و سرگرمى هاى کامپیوترى نیز به اثبات رسیده است.[20]
شکل زیر شماى کلى یک سیستم معمول تشخیص چهره را نشان می دهد که شامل سه بخش اساسى کشف چهره (Face Detection) ،استخراج الگوها(Feature Extraction) و تشخیص چهره (Face Recognition) است.

مانند هر مسئله تشخیص الگوى دیگرى، تفاوت الگوى ناشى از نورپردازى، ژست، قیافه و... در واحد استخراج الگو، با تبدیل الگوها به حالت هاى یکنواخت و مقاوم در برابر تغییر یا با تعیین قوانینى براى این واحد که در تمام حالتها قابل استفاده باشند، مدیریت مى شوند. در طراحى سیستم هاى تشخیص چهره دست کم سه وظیفه مهم سیستم را همواره باید در نظر داشت:
• مقایسه: در این حالت سیستم تعیین می کند که آیا شخصى که از او تصویر بردارى شده با هویت مورد ادعا مطابقت دارد یا خیر.
• تشخیص هویت: سیستم هویت یک فرد را از روى تصویر چهره تعیین می کند.
• کنترل فهرست مراقبت: سیستم از روى تصویرچهره تعیین می کند که آیا فرد مورد نظر در فهرست وجوددارد یا خیر و اگر وجود دارد هویت او را مشخص می کند.
شکل 2 این سه عملکرد را نمایش می دهد. دشوارى کار و دقت سیستم در حالت هاى تشخیص هویت و فهرست مراقبت به اندازه پایگاه داده یا فهرست مراقبت بستگى دارد.

چرا تشخیص چهره دشوار است
شرایط ثبت تصویر نظیر وضعیت چهره نسبت به دوربین، نورپردازى، حالت هاى چهره و تعداد پیکسل ها در ناحیه چهره و همچنین روند طبیعى پیر شدن انسان مى تواند تغییرات زیادى را بر تصویر چهره انسان تحمیل کند. تغییرات دیگرى هم ممکن است از طریق تغییر قیافه،پوشش هایى نظیر کلاه یا عینک آفتابى و موى صورت به وجود آید. همچنین روند پیرى در برخى افراد باعث افزایش یا کاهش وزن مى شود که خود بعد جدیدى بر تنوع و حالت هاى مختلف چهره انسان می افزاید.[20]

روشهای شناسایی چهره بر اساس داده ی مورد استفاده برای شناسایی به روشهای بر مبنای تصاویر دوبعدی، تصاویر سه بعدی و روش ترکیبی، که از هر دو نوع داده استفاده می کند، دسته بندی می‏‏‏‏‎شوند .این روشها بر اساس الگوریتم مورد استفاده برای شناسایی به روشهای بر مبنای ظاهر و روشهای بر مبنای مدل دسته بندی می شوند.
تصاویر دوبعدی که حاوی اطلاعات شدت روشنایی چهره می باشند به عنوان اولین نوع داده هایی هستند که برای شناسایی چهره مورد استفاده قرار گرفته اند. در استفاده از این نوع داده ها برای شناسایی دو مسئله ی اساسی وجود دارد. نکته ی اول این است که این نوع داده ها با استفاده از نور بازگشتی از چهره جمع آوری می شوند، لذا به نور محیط و جهت نور تابیده شده به چهره وابستگی زیادی دارند. به این مسئله تغییر شدت روشنایی یا Illumination Variant می گویند. مسئله ی دوم تغییر زاویه ی چهره است. چهره ی انسان وقتی تحت زوایای مختلف تصویر برداری شود، بدلیل اینکه چهره انسان حالت سه بعدی دارد، به تصاویر متفاوتی منجر خواهد شد. به این مسئله تغییر زاویه ی چهره یا Pose Variation می گویند.
تصایر سه بعدی چهره حاوی اطلاعات عمق چهره می باشند. لذا نوع داده ها مستقل از شدت روشنایی و چرخش چهره می باشد. استفاده از این نوع داده ها به عنوان جایگزینی برای داده های دوبعدی چهره پیشنهاد شده است. برای استخراج این نوع داده روشهای متفاوتی وجود دارد که معروفترین آن استفاده از میزان خمش نور تابیده شده به صورت است. به الگوی تابیده شده بر روی صورت Structure Light با Strip Pattern می گویند. برخی از تصویر بردارهای لیزری نیز از این خاصیت استفاده می کنند با این تفاوت که از یک شعاع نور که به دور جسم حرکت می کند، استفاده می کنند.
در روشهای بر مبنای ظاهر از اطلاعات کلی چهره ویژگی استخراج می شود. ویژگی های استخراج شده رابطه ی مستقیمی با نقاط چهره ندارد، به این معنی که نمی توان ویژگی های استخراج شده را به طور جداگانه به چشم یا گوش یا بینی و ... مرتبط کرد. در این الگوریتمها ابتدا داده های تصویر را به صورت سطری یا ستونی پشت سر هم قرار می دهیم، سپس از روشهای آماری برای کاهش بعد و تفکیک پذیری داده ها استفاده می کنیم. برای مثال می توان به استفاده از روشهای المانهای اصلی، جداساز خطی، المانهای مستقل اشاره کرد.
در روشهای مدل مبنا از اطلاعات اجزا مختلف چهره استفاده می کنند. از این روشها می توان به روشهای Elastic Bunch Graph و روش Active Appearance Model نام برد.

شناسایی با استفاده از تصاویر سه بعدی چهره
اصلی ترین نکته در این دیدگاه قابلیت مقایسه‏ ی سطوح چهره با یکدیگر است. در ابتدا تصویر عمق چهره استخراج می شود، سپس پیش پردازشهای مورد نیاز از قبیل فیلتر میانه، میانگین برای حذف پرش و مسطح کردن سطح و حذف مو برای بهبود شناسایی استفاده می شود. در آخر از روشهای متفاوت برای بررسی شباهت بین سطوح استفاده می شود. این روش شناسایی این قابلیت را دارد که از زاویه ی چهره و شدت روشنایی محیط مستقل باشد.(برای مطالعه بیشتر مقاله هشتم بخش مراجع را مطالعه کنید)

بررسی انواع روشها و کارهای انجام شده در زمینه تشخیص چهره

روش المانهای اصلی Principal Component Analysis

این روش به عنوان تبدیل هتلینگ یا Karhunen-Loeve's نیز شناخته می شود. این روش بر این مبنا استوار است که داده های یک ماتریس MxN بعدی را می توان با حداکثر P بردار عمود بر هم نشان داد که P مینیمم M و N است. استفاده از این روش برای شناسایی چهره اولین بار توسط M. Turk, A. Pentland در سال 1991 پیشنهاد شد.(مقاله ترک و پنتلند در بخش پیوندهای آورده شده است)

روش جداساز خطی Linear Discriminant Analysis

در این روش از داده های هر کلاس برای جداسازی داده ها استفاده می شود. هدف در این جداساز استفاده از تعلق داده ها به هر کلاس است. به این صورت که داده های هر کلاس هرچه بیشتر به هم نزدیک و داده های بین کلاس ها هرچه بیشتر از هم جدا شوند. برای این کار دو ماتریس پراکندگی درون کلاسی Sw و بین کلاسی Sb تعریف می شود. هدف ماکزیمم کردن SW^-1 × SB است.(برای مطالعه بیشتر مقالات سوم و چهارم در بخش مراجع را مطالعه کنید )

روش المانهای مستقل Independent Component Analysis

در روش المانهای اصلی بردارهای انتقال الزاما باید بر هم عمود باشند در حالی که در عمل ممکن است که پراکندگی داده ها در بردارهای عمود برهم نباشد. روش المانهای مستقل به دنبال بهترین بردارهایی می گردد که به کمک آنها بتواند پراکندگی داده ها را مدل کند و با انتقال داده ها به این زیرفضا داده ها از هم مستقل شوند. Bartlett و دیگران برای شناسایی چهره با استفاده از ICA دو راه را پیشنهاد کرده اند. روش اول بردارهای تصاویر مستقل آماری و روش دوم نمایشfactorial code می‏باشد.(برای مطاله بیشتر مقاله پنجم از بخش مراجع را مطالعه کنید)

روش غیرخطی Kernel Methods

در روشهای PCA ، ICA و LDA فرض بر این است که در فضای P بعدی جدید داده ها به صورت خطی تفکیک پذیر هستند در حالی که در برخی حالات امکان جداکردن داده ها با یک یا چند صفحه وجود ندارد. مثال روشنی برای این حالت یای منطقی است که در فضای دو بعدی قابلیت جداشدن با یک خط را ندارد. در این حالت داده ها را ابتدا به یک فضای با ابعاد بالا منتقل می کنند سپس از روشهای آماری برای جداسازی داده ها استفاده می شود، به این امید که در این فضای جدید امکان تفکیک پذیری داده ها با صفحه فراهم شود.(برای مطاله بیشتر مقاله ششم بخش مراجع را مطالعه کنید.)

روش گراف الاستیکی Elastic Bunch Graph

این روش توسط Wiskottو همکاران پیشنهاد شده است و در آن از ویولت گابور برای استخراج ویژگی استفاده می شود. 40 ویولت گابور که شامل 5 فرکانس و 8 جهت می باشد، بر روی نقاط خاصی از چهره که شامل بینی، چشم، دهان و ... است، اعمال می شود. ضرایب استخراج شده از اعمال این ویولت بر روی تصویر به عنوان ویژگی مورد استفاده قرار می گیرد.(برای مطالعه بیشتر مقاله ی آقایWiskott را دربخش مراجع مطالعه کنید )

۲. کارهای مرتبط

تشخیص چهره به روش یکنواخت سازی برداری
این روش یک بلاک از نقاط تصویر را به یک مقدار عددی نگاشت میکند. اولین گام در پیاده سازی این روش ساخت یک آرایه دو بعدی بنام Cood Book می باشد. این آرایه در هر سطر خود یک بردار یکنواخت شده از بردارهای تصویر را نگهداری می کند. که به هر یک از این بردارها یک Cood Book می گویند. در این روش از مجموعه ای از تصاویر استفاده می شود. و هر تصویر به مجموعه ای از بلاکها تقسیم شده و تعدادی از آنها به صورت تصادفی در Cood Book قرار داده خواهند شد. حال بردارهای تصاویر آزمون با مقادیر بردارهای Cood Book مقایسه شده و نزدیکترین کلمه کد معادل بدست می آید.[19]
تشخیص چهره با HMM یک بعدی
به هر فرد در پایگاه داده یک مدل HMM اختصاص می یابد. و مجموعه ای از تصاویر هر فرد برای آموزش مدل HMM آن فرد استفاده می شود. بردارهای مشاهده با پویش بلوکهای تصویر آن ازبالا به پائین (با هم پوشانی 75 %) استخراج شده و سپس بردارهای مشاهده از 39 ضریب DCT این بلوکها تشکیل می شوند.و با محاسبه ماکزیمم احتمال توسط الگوریتم ویتربی، مسیر بهینه برای بردارهای مشاهده پیدا شده و در نهایت پارامترهای مدل توسط الگوریتم Baum Welch‌ تخمین زده می شوند. در مرحله شناسایی، احتمال رویداد صف مشاهدات بوسیله مدل HMM هر صورت، توسط الگوریتم ویتربی محاسبه می شود. سپس مدلی با بالاترین احتمال انتخاب شده و بدین ترتیب هویت صورت ناشناس مشخص می گردد.[10]

یک راه تشخیص چهره ترکیب هر دو روش PCA و فیلتر گابور است.بدین صورت که پس از اعمال فیلتر گابور روی هر تصویر موجود در پایگاه تصاویر تعدادی تصویر حاصل از فیلتر گابور بدست می آید. میانگین تصاویر حاصل از فیلتر گابور بعنوان یک تصویر جدید در نظر گرفته می شود سپس از مولفه های اصلی بدست آمده از اعمال PCA بر روی تصاویر میانگین برای تشخیص چهره استفاده می شود.[18]
ترکیب SVM و ICA
در این مقاله دو روش SVM و ICA با هم ترکیب شده اند. SVM یک رده بند با قابلیت بالا در کارهای مختلف بخصوص در کار تشخیص اشیا می باشد.ICA یک تکنیک استخراج ویژگی می باشد که تعمیمی از PCA است. در این مقاله برای نشان دادن عملکرد این ترکیب در مقایسه با سایر روشها آزمایشات روی دو پایگاه داده از تصاویر Yale Face و انتخاب زیر مجموعه از پایگاه AR استفاده شده است. Yale Face شامل 165 تصویر(از 11 نفر) با تغییر حالات چهره و شرایط نور مختلف است و AR هم شامل 300 تصویر(از 12 نفر) با همان شرایط Yale Face‌می باشد.در اینجا دنباله ICA مناسب بر اساس نسبت کواریانس کلاسjام به مجموع کواریانس کلاسها چیده می شود(Sort میشود).همچنین چون از SVM دو کلاسه استفاده شده است پس برای جدا سازی N کلاس از هم N(N-1)/2 از این رده بند استفاده شده است.[12]

ترکیب eigenface با wavelet subbands مختلف
در این روش ترکیبی هر تصویر آموزشی به چندین زیر مجموعه برای استخراج مجموعه های eigenvector و بردارهای projection تجزیه می شود. در طی فرآیند تشخیص حاصلضرب داخلی بین بردارهای projection تصویر تست و تصویر آموزش داده شده محاسبه می شود. تصویر آموزشی با بیشترین مقدار فاصله بر اساس آستانه تعیین شده بعنوان نتیجه نهایی در نظر گرفته می شود. آزمایشات صورت گرفته بر روی پایگاه داده های ORL و Yale Face نشان می دهد که در مقایسه با روشهای eigenface به تنهایی و یا wavelet subband به تنهایی این روش ترکیبی 5% دقت بیشتری دارد ابته صرف نظر از سرعت تشخیص این روش ترکیبی.[16]

۳. آزمایش‌ها

تشخیص چهره با روش EigenFace

در این روش به دنبال راهی میگردیم تا به کمک آن داده ها را تا حد ممکن غیر وابسته کرده و برای این کار از بردارهای متعامد استفاده میکنیم که به این روش آنالیز المانهای اصلی³ گفته میشود. در این روش ابتدا ماتریس کواریانس ⁴داده ‏ها و پس از آن ماتریس بردارها و مقادیر ویژه محاسبه می‏شوند. ماتریس بردارهای ویژه همان بردارهای متعامدی هستند که زیرفضای ویژگی را تشکیل می‏دهند و با انتقال داده‏ها به این زیرفضا داده‏ها غیروابسته می‏شوند. برای انتقال داده‏ها به این زیرفضا ماتریس داده‏ها را در ماتریس بردارهای ویژه یا همان بردارهای زیرفضای جدید ضرب می‎کنیم. . بردارهای ویژه‏ای که در این روش برای انتقال داده‏ها مورد استفاده قرار می‏گیرند متعامد بوده و در جهت بیشترین پراکندگی داده‏ها قرار دارند و بیان تصاویر دراین فضای جدید بیان داده‏ها با مینیمم مربعات خطا می باشد.برای تصویر ورودی در این روش ابتدا تصویر با استفاده از ماتریس بردارهای ویژه یا بردارهای تشکیل دهنده‏ی زیرفضا، منتقل می‎شود. سپس در فضای کاهش بعد یافته با داده‏های موجود مقایسه شده و شبیه‎ترین تصویر به عنوان تصویر شناسایی شده انتخاب می‎شود. برای مقایسه از معیارفاصله منهتن ⁵استفاده می شود.
محاسبات ریاضی و مراحل انجام آنها
• تبدیل ماتریس تصاویر به بردار و کنار هم قرار دادن آنها برای تشکیل ماتریس داده‏ها
• محاسبه‏ی میانگین ماتریس بدست آمده و انتقال داده‏ها به مرکزیت صفر
• محاسبه‏ی ماتریس کوواریانس سپس بردارها و مقادیر ویژه‏ی آن
• انتقال ماتریس داده‏ها به زیرفضای جدید با استفاده از ماتریس بردارهای ویژه
با ورود تصویر جدید برای شناسایی
• تبدیل ماتریس تصویر به بردار و انتقال آنها به مرکز صفر
• انتقال بردار داده‏ها به زیر فضا با استفاده از ماتریس بردارهای ویژه
• بررسی شباهت بین بردار منتقل شده و بردارهای موجود و انتخاب شبیه‏ ترین بردار

داده های پروژه
در این پروژه از دادهای دو پایگاه داده استفاده شده است.
1) زیر مجموعه ایی از پاایگاه داده تصاویر Feret شامل 300 تصویراز 30 نفر و به ازای هر نفر 10 تصویراست ساخته شده است(برای تهیه این پایگاه داده می توانید به آزمایشگاه دکتر آنالویی مراجعه کنید)
2) پایگاه داده تصاویر ORL که شامل 400 تصویر مجزا از 40 نفر و به ازای هر نفر 10 تصویر در حالتهای مختلف است ساخته شده است.دانلود پایگاه داده تصاویر

میزان تشخیص

در این روش نرخ تشخیص برای مقادیر مختلفی از تعداد بردارهای ویژه محاسبه شده است.
نرخ تشخیص برای تست روی زیر مجموعه ایی از پایگاه داده تصاویر Feret بصورت زیر است.

نرخ تشخیص برای تست روی پایگاه داده تصاویر ORL بصورت زیر است.

همچنین خطا های صورت گرفته در فاز تست در حالت با در نظر گرفتن بیشترین تعداد بردارهای ویژه مربوط به تصاویر زیر است.(در تصاویری که بین آنها = گذاشته شده است تصویر سمت چپ به اشتباه تصویر سمت راست آن تشخیص داده شده است)
خطاهای مربوط به پایگاه داده تصاویر Feret بصورت زیر است.

خطا های مربوط به پایگاه داده تصاویر ORL به صورت زیر است.

۴. کارهای آینده

۵. مراجع

1- Stan, Z. Li, and K. Jain Anil. "Handbook of face recognition." (2005).
2- M. Turk, A. Pentland, Eigenfaces for Recognition, Journal of Cognitive Neurosicence, Vol. 3, No. 1, 1991, pp. 71-86لینک
3- K. Etemad, R. Chellappa, Discriminant Analysis for Recognition of Human Face Images, Journal of the Optical Society of America A, Vol. 14, No. 8, August 1997, pp. 1724-1733لینک
4- P.N. Belhumeur, J.P. Hespanha, D.J. Kriegman, Eigenfaces vs. Fisherfaces: Recognition using Class Specific Linear Projection, Proc. of the 4th European Conference on Computer Vision, ECCV'96, 15-18 April 1996, Cambridge, UK, pp. 45-58لینک
5- M.S. Bartlett, J.R. Movellan, T.J. Sejnowski, Face Recognition by Independent Component Analysis, IEEE Trans. on Neural Networks, Vol. 13, No. 6, November 2002, pp. 1450-1464لینک
6- F.R. Bach, M.I. Jordan, Kernel Independent Component Analysis, Journal of Machine Learning Research, Vol. 3, 2002, pp. 1-4لینک
7- L. Wiskott, J.-M. Fellous, N. Krueuger, C. von der Malsburg, Face Recognition by Elastic Bunch Graph Matching, Chapter 11 in Intelligent Biometric Techniques in Fingerprint and Face Recognition, eds. L.C. Jain et al., CRC Press, 1999, pp. 355-396لینک
8- A. Bronstein, M. Bronstein, and R. Kimmel, Expression-invariant 3D face recognition, Proc. Audio & Video-based Biometric Person Authentication (AVBPA), Lecture Notes in Comp. Science 2688, Springer, 2003, pp. 62-69لینک
9-Ankan Bansal,Abhishek Jindal,Navneet Garg,Face Recognition Using Support Vector Machines ,2005
10-مدل مخفی مارکوف یک بعدی در بررسی هویت بر اساس تصویر چهره : بهینه سازی مدل با بهبود الگوریتم و انتخاب هوشمند تصاویر آموزشی .محمدشهرام معین 1 نصرا... مقدم چرکری 1،2 شقایق نادری 1،2
11-M.P. Satone and Dr. G.K. Kharate** .Face Recognition Based on PCA on Wavelet Subband of Average-Half-Face
12-Nicolas Morizet, Frédéric Amiel, Insaf Dris Hamed, Thomas Ea .A Comparative Implementation of PCA Face Recognition Algorithm
13-O. D?eniz , M. Castrill?on, M. Hern?andez .Face recognition using independent component analysis and support vector machines
14-Vinayadatt V. Kohir* and U. B. Desai .Face Recognition Using A DCT-HMM Approach
15-Ara V. Nefian and Monson H. Hayes .HIDDEN MARKOV MODELS FOR FACE RECOGNITION
16-MA YaW and LI Shun-bao .Face recognition by combining eigenface method with differentwavelet subbands
17- rama chelapa ,pavan Sinha , pijonatan fillips . biometric security tecnology ،IEEE Computer 2011(مقدمه بر اساس این مقاله نوشته شده است)
18- تشخیص چهره با استفاده از PCA و فیلتر گابور.حمید رضا قجر,محسن سریانی,عباس کوچاری.
19-روشی جدید برای آشکارسازی چهره با استفاده از ماشین بردار پشتیبان.قاسم میرجلیلی، مجید روحی و محمد تقی صادقی
20-Face Recognition System .Mohammad Sadegh Ali Akberian

۶. پیودهای مفید

• Biometric System Laboratory

• Biometrics Research Group