استنباط آماري مدل رگرسيوني با خطاهاي خودبازگشتي به روش لاسو- قسمت 16

لم2-1 نتیجه میدهدکه اگر پارامترهای تنظیم کننده مرتبط با متغیرهای رگرسیونی و خودبازگشتی معنیدار با سرعتی بیشتر از به صفر میل‌کنند، آنگاه یک مینیمم کننده موضعی از که دارای سازگاری با نرخ میباشد، وجود دارد.
در قضیه بعد نشان داده میشود که اگر پارامترهای تنظیم کننده مرتبط با متغیرهای رگرسیونی و خودبازگشتی بی معنی کندتر از به سمت صفر انقباض پیدا کنند، آنگاه ضرایب رگرسیونی و خودبازگشتی آنها با احتمال متمایل به یک، دقیقا صفر برآورد می‌شوند.
قضیه 2-2فرض کنید که و ، آنگاه :
و
اثبات :
اثبات این قضیه با توجه به این نکته بدست میآید که، مینیمم کننده موضعی باید در معادله زیر صدق کند:
(2-29)
وقتیکه، نشان دهنده امین سطر از و میباشد. با استفاده از قضیه حد مرکزی، اولین جمله معادله (2-29)، از مرتبه میباشد. بهعلاوه شرط موجود در قضیه 2-2 نتیجه میدهد که دومین جمله از مرتبه میباشد. چون ، هردو جمله توسط غالب شدهاند. بنابراین علامت معادله (2-29) توسط علامت مشخص شده است و در نتیجه داریم . به طور مشابه میتوان نشان داد که . در نتیجه اثبات قضیه کامل میشود.
قضیه 2-2 نشان می‌دهد که لاسو اصلاح شده می‌تواند یک جواب تنک برای ضرایب بی معنی رگرسیونی و خودبازگشتی، تولید کند. بعلاوه این قضیه، بههمراه لم 2-1 نشان میدهد که برآوردگرآ
با نرخ سازگاری ، زمانی‌که پارامترهای تنظیم کننده در شرایط مناسبی صدق کنند، در رابطه صدق میکند.
درپایان این بخش، توزیع مجانبی برآوردگر لاسو اصلاح شده را بدست می آوریم:
قضیه2-3 :فرض کنید که و . آنگاه تحت شرایط الف-د بخش2-6، مولفه از مینیمم کننده موضعی که از لم (2-1) بدست میآید، در رابطه زیر صدق می کند:
وقتیکه زیرماتریس از ماتریس مطابق با می‌باشد.
اثبات :
با برقرار بودن لم 2-1و قضیه 2-2 ، داریم که . بنابراین مینیمم کننده با احتمال متمایل به یک، همان است. این نتیجه میدهد که برآوردگر در معادله زیر صدق میکند:

حتما بخوانید :
استنباط آماري مدل رگرسيوني با خطاهاي خودبازگشتي به روش لاسو- قسمت 2

(2-30)

براساس لم 2-1 ، برآوردگری با نرخ سازگاری میباشد. بنابراین بسط سری تیلور معادله (2-30) این نتیجه را میدهد که :
جاییکه مشتق مرتبه اول از تابع تاوان زیر میباشد :
و برای به اندازه کافی بزرگ. بهعلاوه به آسانی نشان داده میشود که ، که در نتیجه :
که این اثبات را کامل میکند.
قضیه 2-3 نتیجه میدهد که اگر پارامترهای تنظیم کننده در شرایط و صدق‌کنند، آنگاه برآوردگرلاسو اصلاح شده حاصل به طور مجانبی، همانند برآوردگر کارا میباشد.
فصل سوم
الگوریتم دستیابی به برآوردگرهای لاسو در مدل رگرسیون خطی با خطای خود بازگشتی
مقدمه:
بعد از بررسی خواص حدی دو نوع برآوردگر لاسو معرفی شده در فصل قبل، طبیعی است که باید آنها را برای کاربردهای واقعی به کار ببریم. از اینرو الگوریتم زیر برای بدست آوردن مینیمم کننده موضعی برآوردگر های لاسو ارائه میشود. همچنین، روشی را جهت برآورد همزمان پارامتر تنظیم کننده، برای برآوردگر لاسو اصلاح شده ارائه میکنیم. (وانگ و همکاران 2007 )
3-1-فرایند تکراری
تابع هدف ، را درحالت خاص در برمی‌گیرد بنابراین در ادامه این بخش،مساله اصلی بهینه کردن است. چون معادله هم پارامترهای رگرسیونی و هم پارامترهای خودبازگشتی را شامل می‌شود، از این‌رو منطقی به نظر می‌رسد که با یک روش تکراری به بهینه سازی بپردازیم که این امر بوسیله مینیمم کردن دو تابع هدف نوع لاسو زیر بدست میآید :

با یک ثابت