استنباط آماري مدل رگرسيوني با خطاهاي خودبازگشتي به روش لاسو- قسمت 17

و

با یک ثابت

برای پیدا کردن جوابهای توابع تاوان بالا از روشهای زیادی میتوان استفاده کرد. به عنوان مثال می توان به برنامه‌نویسی درجه دوم[42](تیبشیرانی 1996)، الگوریتم پرتابی[43](فو[44]1998)، تقریب درجه دوم موضعی[45] (فن و لی 2001) و اخیرا روش رگرسیون حداقل زاویه[46] (افرون و همکاران[47] 2004)، اشاره کرد. وانگ و همکاران (2007) برای راحتی کار از روش تقریب درجه دوم موضعی که برای اولین بار فن و لی در سال 2001 معرفی کرد، استفاده نمودند. این روش در بسیاری از مقاله ‌ها از جمله فن و لی در سال 2001، فن و پنگ [48](2004) و کای و همکاران[49] (2005) مورد استفاده قرار گرفته است. مطالعات شبیه سازی نشان می‌دهد که این روش با سرعت و درجه دقت منطقی همگرا می‌شود.
تذکر 3-1 :جواب تقریب درجه دوم موضعی، یک جواب تنک را نتیجه نمیدهد. هرچند برآورد پارامتر کوچک تولید شده توسط این روش تا زمانی‌که بتوان یک آستانه به اندازه کافی کوچک برای تحمل دقت تعریف کرد، به صورت کاملا دلخواه می تواند به صفر نزدیک شود. برای توضیح بیشتر رگرسیون خطی معمولی را در نظر بگیرید. در این حالت تقریب درجه دوم موضعی برآورد یک گام جلوتر را با می‌نیمم کردن عبارت زیر تولید می‌کند :
جاییکه و . اگر یکی از ضرایب ( مثلا ) بسیار کوچک باشد (اما تنک نباشد)، آنگاه اثر ریج ناشی از یعنی میتواند بسیار بزرگ باشد. به عنوان نتیجه مقدار مجبور به کوچک‌تر بودن می‌باشد. زیرا این یک فرایند تکراری می‌باشد و تا زمانی‌که بتوان یک آستانه به اندازه کافی کوچک را برای دقت داشته باشیم، می‌توان مقدار را به دلخواه به سمت صفر نزدیک کرد. بنابراین قرار دادن یک مقدار آستانه به دلخواه کوچک برای اینکه برآوردهای کوچک را دقیقا به صفر انقباض ‌دهد، امکان پذیر خواهد بود. با این عمل میتوان جوابهای تنک را بدست آورد. در مطالعات شبیه‌سازی مقدار این آستانه را قرار می‌دهیم به‌طوریکه هر ضریبی که قدرمطلق آن کوچک‌تر از این مقدار باشد، به صفر منقبض میشود.
3-2-تحدب موضعی [50]
اگرچه بکارگیری فرایند تکراری معرفی شده آسان میباشد، اما نمیتوان با قاطعیت مطمئن شد که برآوردگر حاصل، به مینیمم کننده مطلق همگرا میشود که به این دلیل است که جمله کمترین توان دوم در تابع هدف یک تابع محدب نمیباشد. محدب نبودن این جمله انگیزه خوبی شد که وانگ و همکاران (2007) قضیه زیر را ارایه کنند.
این قضیه نشان می دهد که یک ناحیه موضعی ثابت، به اندازه کافی کوچک وجود دارد که دربرگیرنده پارامتر واقعی آن -یی است که با احتمال یک، محدب است.
قضیه 3-1 : یک مجموعه خنثی[51] مانند و یک مقدار ثابت به اندازه کافی کوچک مثل وجود دارد بطوریکه برای هر ، عدد صحیحی مثل وجود دارد که برای هر ، در محدب میباشد، جاییکه
یک گوی در برگیرنده مقدار واقعی میباشد.
قضیه (3-1) به این نکته اشاره می کند که با احتمال متمایل به یک ، حداکثر یک می نیمم کننده موضعی در گوی وجود دارد. با توجه به لم (2-1)، وجود دارد و در احتمال سازگار میباشد. بنابراین قضیه (3-1) و لم (2-1) باهم نتیجه میدهند که با احتمال متمایل به یک، مینیمم کننده موضعی یکتا در میباشد. در نتیجه با یافتن مینیمم کننده موضعی یکتا در بدست می آید.
تذکر 4-2 : قضیه (3-1) نه تنها برای لاسوی اصلاح شده، بلکه برای لاسوی سنتی نیز بکار میرود. به ویژه قضیه (3-1) به همراه قضیه (2-1) نتیجه میدهد که با پیدا کردن مینیمم کننده موضعی یکتا در ، را میتوان یافت. هرچند در عمل، نیازی به مشخص کردن نیست، چون اگر برآوردگر شروع سازگار باشد، آنگاه باید با احتمال متمایل یک، در داخل قرار گیرد. در نتیجه فرایند تکراری معرفی شده با احتمال متمایل یک، به مینیمم کننده موضعی (یعنی یا ) همگرا شود.
(برای اطلاعات بیشتر به فن و لی (2001) و (2002) مراجعه کنید)
3-3-برآوردگر شروع
برای بدست آوردن برآوردگر سازگار در فرایند تکراری، برآوردگر کمترین مربعات معمولی را بعنوان یک برآوردگر شروع ضریب رگرسیونی پیشنهاد می کنیم:
با استفاده از این حقیقت که از مستقل است(شرط الف)، می‌توان نشان داد که تحت شرایط نظم کلاسیک برآوردگر سازگار می‌باشد. حال باقی‌مانده‌های معمولی را از محاسبه کرده و با بکارگیری روش کمترین مربعات توسط برازش در مقابل ، می‌توان برآوردگر شروع زیر را برای ضریب خودبازگشتی بدست آورد :
به‌طوریکه و یک ماتریس که -امین سطر آن می‌باشد. می‌توان نشان داد که تحت شرایط نظم کلاسیک، برآوردگر سازگار می‌باشد.
3-4-پارامترهای تنظیم کننده
برای کامل کردن الگوریتم در فرایند تکراری، بعد از بدست آوردن برآوردگر شروع، به انتخاب پارامترهای تنظیم کننده نیازمند هستیم.
برآوردگر لاسو سنتی فقط شامل دو پارامتر تنظیم کننده می باشد. ازاین‌رو ما می‌توانیم مستقیما روش اعتبارسن
جی متقابل () را برای انتخاب پارامترهای تنظیم کننده بهینه بکار ببریم . بدلیل ساختار سری زمانی، نیمه اول داده‌ها را به منظور مدل آموزشی و باقیمانده دادهها را برای مدل آزمایشی به‌کار می‌بریم. اگرچه در رگرسیون خطی معمولی، شائو[52](1997) نشان داد که اگر مدل واقعی دارای بعد متناهی باشد، روش عملکرد بهتری نسبت به داراست. این انگیزه خوبی بود که از انتخاب کننده پارامتر تنظیم کننده نوع زو و همکاران(2004)[53] اقتباس کنیم :

حتما بخوانید :
بررسي رابطه سرمایه اجتماعی با شهروندی دموکراتیک- قسمت 16

(3-1)

بطوریکه
و تعداد ضرایب غیر صفر می‌باشد.
از آنجاییکه برای برآوردگر لاسو اصلاح شده، پارامتر تنظیم کننده وجود دارد که باید برآورد شوند، این موضوع کار چالش برانگیزی می‌باشد. بنابراین برآوردگرهای زیر را معرفی میکنیم :
,
(3-2)
جاییکه برآوردگر کمترین مربعات غیر تاوانیده با فرض در(2-20) می‌باشد.
به‌علاوه و ثابت‌های مثبتی می‌باشند که به وسیله داده ها برآورد می‌شوند . برتری عبارت (3-2) این است که این رابطه مسئله اصلی پارامتر تنظیم کننده –بعدی برای پیداکردن و را به یک مساله دو بعدی جهت پیدا کردن و تبدیل می‌کند، که می‌توان به راحتی با استفاده از روش‌های یا بدست آورد.