در حال حاضر توی دنیا کتابخونه‌ها و فریمورک‌های اختصاصی خیلی قدرتمندی برای کار کردن با تصاویر پزشکی ساخته شده که فرایند آموزش و تست کردن مدل‌ها رو تا حد زیادی واسه توسعه‌دهنده‌ها ساده میکنه. اینجا من یه مختصری راجع‌به این کتابخونه‌ها نوشتم.

Nvidia’s Clara Medical#

مجموعه مدل‌های قدرتمند Clara Medical توسعه داده شده توسط Nvidia برای تسک‌های مختلفی مانند Generate کردن تصاویر CT و MRI و همینطور دیگر تسک‌های این حوزه مانند Segment کردن تصاویر ۳ بعدی پزشکی. همینطور مدل‌های مختلفی مانند NV-Reason-CXR با معماری VLM برای تحلیل و بررسی تصاویر ۳ بعدی در این مجموعه توسط Nvidia پیاده سازی شده که در نوع خودش بینظیره.

MONAI#

فریمورک MONAI (Medical Open Network for Artificial Intelligence) که با همکاری Nvidia توسعه داده‌شده یکی از قدرتمندترین ابزارهای این حوزه هستش. در اصل بر پایه PyTorch توسعه داده شده و موقع کار کاملا حس اینکه دارید یک پروژه نیتیو با پایتورچ رو بهتون القا میکنه. utility های خیلی زیادی رو برای استفاده توی حوزه مدیکال در اختیارتون قرار میده. از مراحل لیبل زدن دیتا با استفاده از MONAI Label تا دیپلوی کردن پروژه‌ها با استفاده از MONAI Deploy. همچنین مدل‌های زیادی رو هم به عنوان Foundation Model در اختیار شما قرار میده که بتونین برای ریسرچ یا پروژه خودتون Fine-tune کنین. مثل MAISI که یه Synthetic Generator هست واسه تصاویر CT Scan. توی تسک‌های زیادی میتونین از امکاناتش استفاده کنین مثل Segmentation تصاویر ۲ بعدی و ۳ بعدی با استفاده از SwinUNETR که روی تصاویر سی تی اسکن pre-train شده.

TorchXRayVision#

یه کالکشن خیلی خوب از دیتاست‌ها و مدل‌های مربوط به Chest X-ray در اختیارتون قرار میده. اگه کارتون توی این حوزه‌ست به راحتی میتونین مدل‌های pre-trian شده خیلی قوی روی تسک‌های segmentation و classification و غیره رو اینجا پیدا کنین.

ANTsPyNet#

مجموعه خیلی قدرتمندی از مدل‌های pre-train و همینطور architectureهای محبوب جهت آموزش مدل‌های پردازش تصویر. معماری‌های خیلی قدرتمندی مانند U-Net، DenseNet و غیره رو برای تصاویر ۲ بعدی و ۳ بعدی و همینطور مجموعه زیادی از مدل‌های pre-trian روی دیتاست‌های مختلف مانند Brain و Lung در اختیارتون قرار میده.

PathML#

یه کتابخونه قدرتمند که به طور اختصاصی برای کار کردن با تصاویر Pathology ساخته شده. توی مراحل مختلفی مثل Data Augmentation و آموزش مدل و ساختن Pipeline‌های مختلف در این حوزه بهتون کمک میکنه.

FastPathology#

یه نرم‌افزار open source خیلی قدرتمند برای inference مدل‌های پاتولوژی. قابلیت‌های خیلی زیادی برای visualization خروجی مدل‌های classification و object detection و غیره برای تصاویر پاتولوژی.