به دلیل ابهامات ذاتی در تصاویر پزشکی مانند عکس‌های اشعه ایکس، رادیولوژیست‌ها اغلب از عباراتی مانند «ممکن است» یا «احتمالا» برای توصیف وجود یک بیماری خاص، مثل پنومونی، استفاده می‌کنند.
اما آیا واژه‌هایی که رادیولوژیست‌ها برای بیان میزان اطمینان خود به کار می‌برند، واقعا بازتاب دقیقی از میزان بروز آن بیماری در بیماران هستند؟ مطالعه‌ای جدید نشان داده است که زمانی که رادیولوژیست‌ها از عباراتی مانند «بسیار محتمل» استفاده می‌کنند، معمولا بیش از حد مطمئن هستند. برعکس، زمانی که از عباراتی مثل «احتمالا» بهره می‌گیرند، اعتماد به نفس کمتری نسبت به آنچه باید دارند.
یک تیم چندرشته‌ای از محققان MIT با همکاری پژوهشگران و پزشکان از بیمارستان‌های وابسته به دانشکده پزشکی هاروارد، چارچوبی طراحی کرده‌اند که با آن می‌توان میزان دقت رادیولوژیست‌ها را زمانی که از زبان طبیعی برای بیان اطمینان خود استفاده می‌کنند، اندازه‌گیری کرد.
این روش می‌تواند پیشنهادهای مشخصی به رادیولوژیست‌ها ارائه کند تا از عباراتی دقیق‌تر استفاده کنند و گزارش‌های بالینی‌شان قابل اعتمادتر باشد. همچنین این روش روی مدل‌های زبانی هوش مصنوعی هم قابل اجرا است تا کلماتی که برای بیان اطمینان استفاده می‌کنند، بهتر با میزان صحت پیش‌بینی‌های آن‌ها هماهنگ شود.
این چارچوب کمک می‌کند تا اطلاعات حیاتی در پزشکی با دقت بیشتری مطرح شود و تصمیم‌گیری پزشکان در مورد درمان بهبود یابد. به گفته پیکی وانگ، دانشجوی دکتری MIT و نویسنده اصلی این پژوهش: «واژه‌هایی که رادیولوژیست‌ها انتخاب می‌کنند بسیار مهم هستند؛ این واژه‌ها روی تصمیم‌گیری‌های حیاتی پزشکان در مورد بیماران تاثیرگذار است و بهبود دقت در گزارش‌ها در نهایت به نفع بیماران خواهد بود.»
تحلیل عدم قطعیت در واژه‌ها
برای مثال، اگر یک رادیولوژیست در گزارش خود از عبارت «احتمال پنومونی وجود دارد» استفاده کند، پزشک ممکن است درخواست سی‌تی اسکن دهد. اما اگر بنویسد که «به‌نظر می‌رسد پنومونی وجود دارد»، ممکن است فوراً درمان با آنتی‌بیوتیک آغاز شود.
وانگ می‌گوید اندازه‌گیری دقت عباراتی مانند «احتمالا» یا «ممکن است»، کاری پیچیده است. روش‌های متداول معمولا بر اساس نمره اطمینان مدل‌های هوش مصنوعی کار می‌کنند؛ مثلا یک اپلیکیشن هواشناسی می‌گوید احتمال باران ۸۳ درصد است و اگر واقعا در ۸۳ درصد از موارد مشابه باران ببارد، مدل دقیق کالیبره شده است.
اما وقتی انسان‌ها از زبان طبیعی استفاده می‌کنند، گفتن «احتمالا» لزوما به معنای درصدی عددی مثل ۷۵ درصد نیست. اینجاست که پژوهشگران تصمیم گرفتند واژه‌ها را نه بر حسب یک عدد، بلکه به صورت یک توزیع احتمالی در نظر بگیرند؛ نوعی مدل آماری که دامنه‌ای از اعداد ممکن و میزان احتمال وقوع آن‌ها را نشان می‌دهد.
ارزیابی و بهبود دقت گزارش‌ها
محققان با استفاده از داده‌های پیشین و بررسی نظرات رادیولوژیست‌ها، برای عباراتی مانند «خیلی محتمل» تا «هم‌راستا با بیماری»، توزیع‌های احتمالی تهیه کردند. برای مثال، عبارت «هم‌راستا با بیماری» برای بسیاری از رادیولوژیست‌ها به معنای احتمال بسیار بالای وجود بیماری است؛ در حالی که «ممکن است نشان‌دهنده باشد» نشان‌دهنده عدم قطعیت بیشتر است.
آن‌ها با تدوین الگویی مشابه روش‌های ارزیابی مدل‌های هوش مصنوعی، اما با در نظر گرفتن توزیع‌های احتمالی، عباراتی را پیشنهاد دادند که اگر جایگزین برخی واژگان شوند، دقت بالاتری به دنبال خواهند داشت. برای مثال، اگر رادیولوژیستی به جای «بیماری دیده می‌شود» از «احتمالا حضور دارد» استفاده کند، دقت گزارش‌ها بیشتر خواهد بود.
با تحلیل داده‌ها، پژوهشگران متوجه شدند رادیولوژیست‌ها در مورد بیماری‌های شایع مانند آتلتازی، معمولا کمتر از حد لازم اطمینان دارند، اما در مورد موارد مبهم‌تر مانند عفونت، اعتماد به نفس بالایی دارند.
آن‌ها همین تکنیک را برای ارزیابی مدل‌های زبانی هوش مصنوعی نیز به کار بردند و دریافتند که این روش دقت بیشتری نسبت به روش‌های سنتی ارائه می‌دهد. بسیاری از مدل‌ها از واژه‌هایی مانند «قطعا» استفاده می‌کنند ولی خود اطمینان بالا باعث می‌شود کاربران بدون ارزیابی صحت اطلاعات، آن را قبول کنند.
در آینده، این تیم تحقیقاتی قصد دارد همکاری با پزشکان را ادامه داده و دامنه مطالعه را به سی‌تی اسکن‌های شکمی نیز گسترش دهد. همچنین آن‌ها بررسی خواهند کرد که آیا رادیولوژیست‌ها نسبت به پیشنهادها برای بهبود بیان اطمینان پذیرا هستند یا خیر.
به گفته دکتر آتول شیناگار، استاد رادیولوژی در دانشکده پزشکی هاروارد که در این پژوهش نقشی نداشته: «بیان میزان اطمینان در گزارش‌های رادیولوژی اهمیت بالایی دارد و در تصمیم‌گیری‌های پزشکی نقش اساسی بازی می‌کند. این مطالعه رویکرد نوآورانه‌ای در تحلیل و بهبود نحوه بیان اطمینان رادیولوژیست‌ها ارائه داده که می‌تواند دقت و شفافیت ارتباطات پزشکی را افزایش دهد و در نهایت کیفیت درمان بیماران را بهبود بخشد.»
منبع خبر: مطالعه تحقیقاتی در arXiv
