Software Engineering Issue in Machine Learning Deployment

AI/ML model တစ်ခုကို Deploy လုပ်တဲ့အခါ ဖြစ်​ပေါ်လာတဲ့ Software Engineering Issue ​တွေ အ​ကြောင်း​ဆက်​ပြောပါမယ်ခင်ဗျာ

1. Real-Time or Batch: ကိုယ့် model က Real-Time သွားမယ်ဆို low-latency နဲ့ response time မြန်​အောင်လုပ်ရမယ် ဥပမာ စကား​ပြောလိုက်တာနဲ့ စာတန်းထိုး​ပေးတာ Speech Recognition တို့လိုမျိုးမှာ ​နှေး​​နေရင်အဆင်မ​ပြေပါဘူး Real-Time မလိုပဲ Data ​တွေအများကြီးကို process လုပ်ရတဲ့ system ​တွေမှာ data ​တွေကို Batch ​လေး​တွေ ခွဲပြီး process လုပ်ကြတယ် Latency များ​ပေမယ့် Data များတဲ့ system​ ​တွေအတွက် အသုံးကျပါတယ် ဥပမာ - Recommendation System

2. Deployment Location: Cloud(Complex models အတွက်) or Edge(local device အတွက်) or Web Browser ​​ပေါ်မှာလား ကိုယ်လုပ်မယ့် model အ​ပေါ်မူတည်ပြီး ​ရွေးချယ်ရပါတယ်

3. Compute & Memory Constraints: ကိုယ် deploy လုပ်မယ့် ​နေရာမှာ high CPU/GPU ​တွေ မရှိတတ်တာ​​ကြောင့် Optimizaton ​တွေလုပ်ရတတ်ပါတယ်

တခြား​​သော Security ပိုင်း​တွေ Maintenance ပိုင်း​တွေ​မှာလည်း Software Engineering ရဲ့ Challenges ​တွေ ရှိတတ်ပါတယ် AI/ML model တစ်ခုကို deploy လုပ်တဲ့​နေရာမှာ ​တွေ့ကြုံရမယ့် challenges များဖြစ်ပါတယ်ခင်ဗျာ

Reference က​တော့ Andrew Ng ရဲ့ course ပါ Machine Learning in Production