استنباط آماري مدل رگرسيوني با خطاهاي خودبازگشتي به روش لاسو- قسمت 6

اثبات : نایت و فو (2000)
1-5-تعاریف
1-5-1- تُنُکی[11]
تعریف1-1: قانون آستانهقانونی است که به صورت خود به خود ضرایب کوچک برآورد شده را جهت کاهش پیچیدگی مدل، برابر صفر قرار میدهد.
تعریف1-2برآوردگری که در قانون آستانه صدق کند را برآوردگر تنک گویند.
(برای اطلاعات بیشتر به فن و لی ( 2001) مراجعه کنید)
1-5-2-برآوردگر پیشگو[12]
تعریف 1-3: فرض کنید مدل واقعی و مجموعه را بصورت زیر تعریف شده است.
بطوریکه . همچنین فرض کنید برآوردگر ضریب بدست آمده از روش باشد، آنگاه را یک برآوردگر پیشگو گوییم هرگاه:
الفاین برآوردگر قادر به شناسایی زیر مجموعه صحیحی از مدل باشد یا به عبارت دیگر مجموعه .
ببرآوردگر حاصل دارای نرخ برآوردیابی بهینه باشد. یعنی

(1-5)

ماتریس واریانس کواریانس زیر مجموعه صحیح مدل می باشد .
بر اساس مقاله وانگ و همکاران[13](2007)، برآوردگری را که بر اساس مدل واقعی بدست میآید را برآوردگر پیشگو میگوییم.
1-5-3-نماد لاندا
نماد لاندا در نظریههایی از جمله، علوم کامپیوتر و ریاضیات جهت توصیف رفتار مجانبی یک تابع به کار میرود. این نماد نشان میدهد که یک تابع با چه سرعتی رشد یا کاهش پیدا می کند. اولین بار دانشمند آلمانی ادماند لاندا[14](1909) این نماد را بکار برد. حرف به این دلیل مورد استفاده قرار میگیرد که اغلب سرعت رشد تابع را با نشان میدهیم.
فرض کنید و تابعهایی باشند که در زیر مجموعههایی از اعداد حقیقی تعریف شده باشند، در اینصورت
که عبارت بالا نشان میدهد که تابع نمیتواند سریعتر از رشد پیدا کند.
علاوه بر نماد بزرگ، نماد دیگری در ریاضیات به کار میرود که به نام نماد کوچک معروف میباشد.
فرض کنید که که این رابطه نشان میدهد که تابع با سرعت کمتر نسبت به رشد پیدا میکند، که در صورتیکه باشد، با رابطه زیر معادل است :
1-5-4-بهینه سازی محدب[15]
به مسئلهای بهینه سازی محدب میگویند که به کمک آن میتوان مقدار مینیمم یک تابع محدب (یا ماکزیمم یک تابع مقعر ) را پیدا کرد. مهمترین مزیت این نوع مسائل بهینهسازی در این است که نقطه بهینه نسبی همان نقطه بهینه مطلق میباشند. هر الگوریتم بهینهسازی که نقطه بهینه نسبی را پیدا کند، نقطه بهینه مطلق را پیدا کرده است.
1-5-5-همگراییها و سازگاری
1-5-5-1-همگرایی در توزیع
فرض کنید دنباله‏ی ، یک دنباله از توابع توزیع باشد، همچنین فرض کنید تابعي مانند (یک تابع توزیع) وجود داشته باشد، بطوریکه برای هر ( نقاط پیوستگی تابع می‌باشد) داشته باشیم:
آنگاه می‏گوییم دنباله‏ی در توزیع به سمت میل می‏کند.(فضاهاي احتمال هر كدام از اعضاي دنباله و تابع توزيع حدي مي‌توانند كاملاً متفاوت باشند)
اگر برای هر ، متغیر تصادفی دارای تابع توزیع باشد و تابع توزیع مربوط به متغیر تصادفی باشد، آنگاه می‏گوییم دنباله‏ی متغیرهای تصادفی در توزیع به سمت متغیر تصادفی میل می‏کند و با نماد نشان می‏دهیم.
1-5-5-2-همگرایی در احتمال
فرض کنید یک متغیر تصادفی و دنباله‏ای از متغیرهای تصادفی تعريف شده روي يك فضاي احتمال باشند. گوئیم دنباله‏ی در احتمال به همگراست، هرگاه برای هر داشته باشیم:
این همگرایی را با نماد نشان می‏دهیم. به عبارتی دیگر
فرض كنيد دنباله‌اي از متغيرهاي تصادفي باشد. مي‌گوييم (oكوچك مرتبه‌ي يك در احتمال) اگر و تنها اگر هنگاميكه . همچنين مي‌گوييم ( بزرگ مرتبه‌ي يك در احتمال) اگر و تنها اگر دنباله‌ي در احتمال كراندار باشد، یعنی .
برخی از ویژگیهای همگرایی در احتمال به صورت زیر است :
الف: در احتمال به متغیر تصادفی همگرا میباشد و مینویسیم ، اگر و تنها اگر
ب: اگر و تنها اگر
ج: اگر و تنها اگر