بینش‌های صنعت

ماشین خواندن: هوش مصنوعی در هوشمندی چندوجهی اسناد

تیم ژرف ای‌آی

•۳ خرداد ۱۴۰۵•به‌روزرسانی ۸ مرداد ۱۴۰۵•۱۰ دقیقه مطالعه

ماشین خواندن: هوش مصنوعی در هوشمندی چندوجهی اسناد

سند کسب‌وکار فقط متنی نیست که OCR بازیابی می‌کند. معنا ممکن است به جای عنوان، تیک یک کادر، امضای کنار تاریخ، جمع زیر ستون درست، مهری روی فیلد یا اصلاح دست‌نویس در حاشیه وابسته باشد. صفحه شاید چرخیده، تکراری، عکاسی‌شده، دوزبانه یا مجموعه‌ای از چند نوع سند باشد.

هوشمندی چندوجهی سند، تصویر صفحه، متن شناسایی‌شده، هندسه، ساختار و زبان را برای پاسخ یا ساخت رکورد ترکیب می‌کند. این کار دریافت نامرتب را سریع می‌سازد، اما روانی با وفاداری یکی نیست. پاسخ قانع‌کننده بدون مدرک صفحه در فاکتور، قرارداد، مجوز، پرونده پزشکی یا فرم قانون‌مند خطرناک است. طراحی تولید باید منبع را نگه دارد، عدم‌قطعیت را نشان دهد و ابهام اثرگذار را به فرد واجد صلاحیت بسپارد.

پیش از انتخاب مدل، رکورد کسب‌وکار را تعریف کنید

از تصمیم پایین‌دست شروع کنید. دریافت فاکتور شاید هویت فروشنده، شماره، ارز، ردیف، مالیات، جمع، تطبیق سفارش خرید و کشف تکرار بخواهد. بازبینی قرارداد شاید متن بند، محل، نسخه حاکم، ارتباط اصلاحیه و وضعیت بازبین را نیاز داشته باشد. schema، قاعده اعتبارسنجی و سامانه مرجع این دو یکسان نیست. «همه‌چیز را استخراج کن» نیاز محصول قابل‌آزمون نیست.

برای هر فیلد، نوع، مقدار مجاز، اجباری بودن، نرمال‌سازی، مدرک صفحه و رفتار هنگام فقدان یا تعارض را مشخص کنید. واقعیت کپی‌شده را از طبقه‌بندی استنباطی و خلاصه تولیدشده جدا نگه دارید. تاریخ چاپ‌شده در صفحه دوم با تاریخ اثرگذاری استنباط‌شده توسط مدل برابر نیست. این تمایز باید در API، صفحه بازبینی، رد ممیزی و export حفظ شود.

صفحه را به‌عنوان لایه شواهد نگه دارید

فایل اصلی یا نسخه مشتق حفاظت‌شده، شناسه پایدار سند، ترتیب صفحه، hash فایل و فراداده دریافت را حفظ کنید. برای هر مقدار استخراج‌شده، شماره صفحه، ناحیه یا span متن، روش استخراج و تاریخ تبدیل را ثبت کنید. بازبین باید بتواند از مقدار پایگاه داده به ناحیه دقیق منبع برود و برگردد.

این پایه اتوماسیون مبتنی بر شواهد است و بازپردازش را پاسخ‌گو می‌کند. با تغییر مدل یا موتور OCR، خروجی قدیم، خروجی تازه، نسخه‌ها و مقایسه را نگه دارید؛ رکورد را بی‌صدا بازنویسی نکنید. ذخیره و نمایش باید حریم خصوصی، محرمانگی، legal hold و دوره نگهداری را رعایت کند. حفظ مدرک به معنای نگهداری همیشگی تمام خروجی‌های میانی نیست.

دریافت، شناسایی، ساختار و استدلال را جدا کنید

وقتی خط لوله مرحله صریح دارد، عیب‌یابی آسان‌تر می‌شود. دریافت، نوع فایل، بدافزار، رمزگذاری، تعداد صفحه، چرخش، وضوح و کامل‌بودن را بررسی می‌کند. شناسایی، متن و مختصات می‌سازد. تحلیل ساختار، ترتیب خواندن، جدول، بخش، رابطه کلید و مقدار، علامت و عنصر تکراری صفحه را پیدا می‌کند. استدلال، شواهد را به schema کسب‌وکار می‌برد و قاعده میان‌فیلدی را اجرا می‌کند.

هر مرحله باید سیگنال کیفیت و کد شکست بدهد. جمع گم‌شده به‌علت عکس بریده، خطای استدلال مدل زبانی نیست. ردیف الصاق‌شده به ستون غلط نیز با افزایش اطمینان OCR حل نمی‌شود. خروجی میانی لازم را انتخابی نگه دارید تا محل نقص و درمان درست روشن شود: دریافت دوباره، اصلاح چرخش، اجرای مجدد شناسایی، تغییر منطق جدول یا درخواست از بازبین.

با DocVQA وظیفه پژوهشی را بشناسید

مقاله اصلی DocVQA در WACV 2021، تعداد ۵۰ هزار پرسش روی بیش از ۱۲ هزار تصویر سند معرفی کرد. این کار به تثبیت پرسش‌وپاسخ بصری سند کمک کرد؛ مسئله‌ای که در آن چیدمان و ساختار مهم‌اند و صفحه صرفاً یک متن عادی نیست.

صفحه مجموعه‌داده DocVQA گردآوری و قالب پاسخ را شرح می‌دهد. این منبع پژوهشی ارزشمند است، اما نماینده تمام رکوردهای کسب‌وکار نیست. توزیع سند، نویسندگان سؤال، قرارداد پاسخ، کیفیت تصویر و معیار، دامنه نتیجه را محدود می‌کنند. عملکرد خوب در پاسخ کوتاه، توانایی تطبیق چندصفحه‌ای، بازسازی جدول، دست‌خط، فیلد چندزبانه، زنجیره اصلاحیه یا ارجاع دقیق مدرک را ثابت نمی‌کند.

مجموعه ارزیابی محلی و نماینده بسازید

با مجوز و حذف هویت مناسب، سند را از کانال و دوره واقعی استفاده نمونه‌برداری کنید. اسکنر، دوربین تلفن، PDF دیجیتال، اثر فکس، کجی، کنتراست کم، دست‌خط، مهر، علامت هم‌پوشان، خط‌های ترکیبی، چیدمان راست‌به‌چپ، جدول بلند، صفحه خالی، پیوست و تکرار را پوشش دهید. سندی که باید رد یا برای عکس بهتر بازگردانده شود نیز لازم است.

از annotator آموزش‌دیده بخواهید مقدار و ناحیه مدرک را ثبت و اختلاف را داوری کند. مجموعه پنهان نگه دارید و روی آن تنظیم نکنید. دقت فیلد، درستی مقدار نرمال، ارتباط سلول جدول، صحت ارجاع صفحه، کشف فقدان، استخراج کاذب، طبقه سند و بار بازبینی را بسنجید. نتیجه را بر فروشنده، قالب، زبان، نوع دریافت و طبقه ریسک تفکیک کنید؛ میانگین بالا می‌تواند گروه کوچک اما مهم را پنهان کند.

اطمینان را سیگنال مسیریابی بدانید

اعتماد مدل احتمال کالیبره‌شده نیست مگر اینکه روی داده مربوط ثابت شود. کیفیت تصویر، توافق OCR، اعتبار schema، حساب میان‌فیلدی، آشنایی قالب، پشتیبانی بازیابی و الگوی خطای تاریخی را ترکیب کنید. آستانه را روی نمونه پنهان کالیبره و پس از تغییر توزیع یا مدل بازبینی نمایید.

مسیریابی باید پیامد را هم ببیند. آرشیو جست‌وجویی کم‌ارزش شاید کلیدواژه تقریبی را بپذیرد. حساب بانکی، دوز دارو، شناسه مالیاتی، تعهد حقوقی یا مبلغ پرداخت حتی با اطمینان بالای مدل، شواهد سخت‌تر و بازبینی انسان می‌خواهد. به بازبین بگویید چرا مورد ارسال شده و ناحیه دقیق را برجسته کنید؛ مجبورش نکنید همه صفحه‌ها را برای یافتن ابهام سامانه دوباره بخواند.

ساختار را با قواعد قطعی اعتبارسنجی کنید

سند کسب‌وکار قواعدی دارد که نباید از مدل خواست آن‌ها را «حس کند». جمع ردیف‌ها باید با قاعده گردکردن مستند به جمع کل برسد. تاریخ‌ها توالی منطقی داشته باشند. ارز و مبلغ در سرصفحه و جمع سازگار باشند. شناسه با قالب و داده مرجع تطبیق کند. تعداد صفحه، ارجاع پیوست و الزام امضا نیز صریح کنترل می‌شوند.

این قواعد را پس از استخراج اجرا و نتیجه را جدا از ادعای مدل ثبت کنید. معادله ناموفق نمی‌گوید کدام فیلد غلط است، اما قابل‌اتکا نشان می‌دهد رکورد نباید دست‌نخورده عبور کند. پایش کیفیت را به کیفیت و مشاهده‌پذیری داده هوش مصنوعی وصل کنید تا تغییر قالب فروشنده، نقص تازه اسکن، افزایش مقدار تهی و تغییر الگوی اصلاح انسانی دیده شود.

جدول را بدون تخت‌کردن معنا حفظ کنید

جدول شبکه‌ای از رابطه ردیف، ستون، عنوان، گروه و ادامه است. متن ساده OCR می‌تواند تعداد را از قیمت واحد جدا کند، ستون‌های کنار هم را ادغام نماید، عنوان تکراری را داده بداند یا ادامه جدول در صفحه بعد را گم کند. پیش از تبدیل به schema کسب‌وکار، سلول را با مختصات، اندیس ردیف و ستون، پیوند عنوان، span و ارجاع صفحه ذخیره کنید.

سلول ادغام‌شده، عنوان تودرتو، عدد منفی، شرح چندخطی، جمع تکراری، جدول راست‌به‌چپ و وقفه صفحه را بیازمایید. در بازبینی، grid بازسازی‌شده را کنار تصویر منبع نشان دهید. برای ثبت مالی یا موجودی، هم هر ردیف و هم جمع سند را پیش از عمل پایین‌دست تطبیق دهید. جدول ظاهراً باورپذیر نباید بی‌صدا سند حسابداری بسازد.

سند چندزبانه و راست‌به‌چپ را از ابتدا طراحی کنید

تشخیص زبان باید در سطح صفحه، ناحیه و فیلد باشد؛ یک فاکتور می‌تواند فارسی، عربی، انگلیسی، شناسه لاتین و رقم فارسی و لاتین را مخلوط کند. رشته اصلی را کنار شکل نرمال نگه دارید. رقم، جداکننده، تاریخ، ارز و تفاوت نویسه را فقط با قاعده صریح locale نرمال کنید و نمایش منبع لازم برای مدرک را از بین نبرید.

ترتیب خواندن و نگاشت مختصات در چیدمان راست‌به‌چپ باید آزموده شود. برچسب شاید سمت راست مقدار باشد، درحالی‌که عدد چپ‌به‌راست است. جست‌وجو، highlight، پیمایش صفحه‌کلید و export باید جهت قابل‌استفاده را نگه دارند. ارزیابی را از خط و فونت واقعی تولید بسازید، نه قالب انگلیسی ترجمه‌شده. ادعای چندزبانه بدون شواهد تفکیکی، بازاریابی است نه اطمینان.

خروجی دسترس‌پذیر را نیاز محصول کنید

هوش مصنوعی سند می‌تواند با متن و ساختار قابل‌جست‌وجو دسترس‌پذیری را بهتر کند یا با بازسازی بصری بدون tag آن را بدتر سازد. صفحه W3C درباره خانواده اسناد WCAG 2 میان استاندارد فنی پایدار و هنجاری WCAG و مطالب پشتیبان اطلاع‌رسان تفاوت می‌گذارد. انطباق به معیارهای موفقیت مربوط وابسته است، نه به ادعای «استفاده از WCAG» توسط ابزار.

مجموعه تکنیک‌های PDF نمونه‌هایی درباره متن جایگزین، bookmark، ترتیب خواندن، نشانه‌گذاری جدول، متن OCR، عنوان و زبان سند دارد. W3C در درباره تکنیک‌های WCAG نیز صریح می‌گوید تکنیک‌ها نمونه اطلاع‌رسان‌اند، نه روش اجباری یا آزمون کامل انطباق. از آن‌ها برای اجرا راهنما بگیرید و سپس خروجی واقعی را با متخصص دسترس‌پذیری، فناوری کمکی و الزام هنجاری مربوط بیازمایید.

بازبینی انسان را روی مرز درست بگذارید

بازبینی زمانی مؤثر است که رابط، مقدار پیشنهادی، صفحه و ناحیه، متن اطراف، شکست اعتبارسنجی و اثر پایین‌دست را نشان دهد. بازبین باید بتواند مقدار را اصلاح، سند را ناخوانا علامت‌گذاری، اسکن تازه درخواست یا تفسیر را تشدید کند. دلیل اصلاح را ساختاریافته ثبت کنید تا پایش ممکن شود، بدون اینکه هر کلیک خودکار به داده آموزشی تبدیل گردد.

برای گذار اثرگذار از طراحی تأیید انسانی استفاده کنید. استخراج و طبقه‌بندی پیش‌نویس شاید خودکار شود، اما آزادسازی پرداخت، پذیرش قرارداد، اقدام درمانی، تعیین حق یا ثبت قانون‌مند باید کنترل حرفه‌ای و حقوقی سازمان را طی کند. سامانه در جمع‌آوری شواهد کمک می‌کند؛ جای حسابدار، وکیل، پزشک، متخصص دسترس‌پذیری یا تصمیم‌گیرنده مجاز را نمی‌گیرد.

مسیر دریافت و پردازش را امن کنید

فایل آپلودشده را خصمانه بدانید. نوع را مستقل از پسوند اعتبارسنجی، بدافزار را اسکن، parser را ایزوله و اندازه و پیچیدگی را محدود کنید. از archive bomb و سند معیوب حفاظت کنید. render یا تبدیل را در sandbox انجام دهید. پیوند یا دستور جاسازی‌شده را خودکار دنبال نکنید. متن سند شاید تزریق پرامپتی داشته باشد که مدل را به افشای داده یا استفاده از ابزار هدایت کند.

بازیابی و دسترسی مدل را بر اساس مستأجر و پرونده محدود کنید. فایل و متن مشتق را رمزگذاری، داده حساس ارسالی به سرویس بیرونی را کم و قاعده محل داده و حذف را تعریف کنید. از نشت میان‌سندی در cache و نمایه برداری جلوگیری کنید. دسترسی به صفحه اصلی و export را لاگ کنید. پیش از انتخاب ارائه‌دهنده، استفاده قراردادی از ورودی، نگهداری، پردازشگر فرعی، تعهد حادثه و فرایند حذف یا legal hold را بررسی نمایید.

استخراج نسخه‌دار را اداره کنید، نه جایگزینی خاموش

مؤلفه دریافت، موتور OCR، مدل چیدمان، مدل استدلال، پرامپت، schema، قاعده اعتبارسنجی و آستانه هر نتیجه را ثبت کنید. استقرار پیش از ترافیک روی مجموعه رگرسیون ثابت اجرا شود. پردازش canary داشته باشید و تغییر هر فیلد را با نسخه قبلی مقایسه کنید. بهبود زیاد یک خانواده سند می‌تواند کنار پسرفت خانواده دیگر رخ دهد.

اگر نسخه تازه داده تاریخی را تغییر می‌دهد، صریحاً میان دست‌نخورده‌ماندن رکورد قبلی، بازپردازش در نسخه جدید یا ارتقای مقدار اصلاح‌شده پس از بازبینی انتخاب کنید. فقط چون مدل تازه جواب دیگری داده، رکورد مالی یا حقوقی تأییدشده را بازنویسی نکنید. تغییر کیفیت ورودی، توزیع فیلد، نرخ استثنا، اصلاح بازبین، تأخیر و هزینه را پایش کنید و مالکی داشته باشید که خط لوله را متوقف کند.

توالی استقرار تولید

با یک نوع سند، یک کانال ورود و schema کوچک شروع کنید. مجموعه ارزیابی داوری‌شده و قواعد قطعی اعتبارسنجی بسازید. ابتدا پیشنهاد متصل به مدرک را در صف بازبینی قرار دهید. اصلاح را برحسب فیلد و زیرگروه سند بسنجید، نه فقط درصد سند پردازش‌شده. اگر تصویر بد عامل غالب خطاست، راهنمای capture را بهبود دهید.

سپس فقط فیلد کم‌پیامدی را خودکار بپذیرید که آستانه کالیبره و همه کنترل ساختاری را گذرانده است. فیلد اثرگذار و قالب ناآشنا در بازبینی بماند. نوع سند را یکی‌یکی با ارزیابی و معیار rollback خودش اضافه کنید. موفقیت یعنی دقیقه معتبر کمتر برای هر رکورد درست، هزینه استثنای پایین‌تر و بازیابی سریع‌تر مدرک قابل‌اعتماد؛ نه تعداد صفحه‌ای که مدل ادعا می‌کند خوانده است.

یادداشت منابع

منابع در ۳۰ ژوئیه ۲۰۲۶ بازبینی شدند. DocVQA مجموعه‌داده و مقاله اصلی پژوهش سال ۲۰۲۱ است؛ اندازه و تعریف کار آن، همان مجموعه را شرح می‌دهد و عملکرد تولید امروز را نشان نمی‌دهد. WCAG 2 استاندارد فنی پایدار است، اما اسناد پشتیبان و تکنیک‌های W3C اطلاع‌رسان‌اند و دوره‌ای به‌روز می‌شوند. اجرای یک تکنیک PDF به‌تنهایی دسترس‌پذیری یا انطباق حقوقی را تضمین نمی‌کند.

منابع اصلی و معتبر: