Publikim në Top AI Konferencë: Metodë Inovative për Identifikimin dhe Segmentimin e Defekteve në Industri

Autorë: Nadeem Nazer (University of Magdeburg, Magdeburg), Hongkuan Zhou (Bosch Center for Artificial Intelligence, Stuttgart), Prof. Ass. Dr. Lavdim Halilaj (Bosch Center for Artificial Intelligence, Stuttgart), Ylli Sadikaj (University of Vienna, Vienna), Prof. Dr. Steffen Staab (University of Stuttgart, Stuttgart)

Kemi kënaqësinë të njoftojmë se një punim i ri shkencor, “Defect-aware Hybrid Prompt Optimization via Progressive Tuning for Zero-Shot Multi-type Anomaly Detection and Segmentation’’, i realizuar së bashku nga anëtarët tanë, është pranuar për t'u prezantuar në një nga konferencat e njohura të fushës së Artificial Intelligence (AI) me fokus në Computer Vision, The 19th European Conference on Computer Vision (ECCV) 2026, e cila këtë vit mbahet në Malmö, Suedi. Ky sukses i rëndësishëm vjen nga kontributi dhe puna e palodhur e dy anëtarëve të institutit Inspire, Prof. Halilaj dhe PhD(c) Sadikaj. Bashkëpunimi është vazhdimësi e publikimit shkencor MultiADS, që lindi gjatë kohës kur PhD(c) Sadikaj po zhvillonte një periudhë sabatike (sabbatical), nën mbikëqyrjen e Prof. Halilaj, në Qendrën për Inteligjencë Artificiale të Bosch (Bosch Center for AI) në Stuttgart, Gjermani. Poashtu, publikimi më i ri është udhëhequr nga Prof. Halilaj, ndërsa bashkëautorët e tjerë të këtij bashkëpunimi janë Msc. Nadeem Nazer, PhD(c) Hongkuan Zhou dhe Prof. Steffen Staab. Ky punim prezanton një zgjidhje inovative, e cila synon të përmirësojë procesin e inspektimit vizual dhe zbulimit të anomalive në mjediset industriale.

Sfidat e inspektimit vizual në industri

Inspektimi vizual është një proces i rëndësishëm në industri për të siguruar që produktet nuk kanë dëmtime përpara se të dalin në treg. Modelet aktuale të bazuara në vizion dhe konstrukte gjuhësore (si CLIP) arrijnë të dallojnë nëse një imazh ka apo nuk ka anomali në përgjithësi, por shpeshëherë hasin vështirësi në dy pika:

1. Mungesa e specifikimit: Ato nuk arrijnë të klasifikojnë llojin e saktë të defektit (p.sh. nëse bëhet fjalë për një vrimë, prerje apo gërvishtje).
2. Ndryshimi i domenit (Domain Shift): Kur ndryshon mjedisi i prodhimit, këto modele zakonisht kërkojnë ri-trajnime ose përshtatje që bartin kosto të konsiderueshme.

Zgjidhja e propozuar: Si funksionon DAPO?

Për të adresuar këto kufizime, autorët propozojnë metodën "Defect-Aware Prompt Optimization" (DAPO). Kjo metodë përdor një mekanizëm promptesh hibride që kombinon:

1. Përshkrimet tekstuale të definuara nga njeriu mbi llojet e defekteve (si "bent" ose "scratch").
2. Vektorët e mësuar nga makina (learnable token embeddings) që ndahen mes kategorive të ndryshme.

Kjo strukturë mundëson që modeli të dallojë dhe të lokalizojë defekte të reja pa pasur nevojë për trajnime paraprake mbi defektet specifike (zero-shot), duke zëvendësuar thjesht përshkrimin tekstual në promptin e përbashkët.

Rezultatet e eksperimenteve

Metoda DAPO është testuar në pesë benchmarke publike industriale (MPDD, VisA, MVTec-AD, MAD, dhe Real-IAD) si dhe në një dataset të brendshëm të industrisë së gjysmëpërçuesve. Sipas rezultateve të prezantuara në punim:

1. Modeli shënon një përmirësim mesatar prej 3.6% në metrikat AUROC dhe precizionin mesatar në nivel imazhi nën kushtet e ndryshimit të domenit.
2. Lokalizimi i llojeve të reja të anomalive në skenarët zero-shot shënon një përmirësim mesatar prej 5.2% në metrikat AUROC dhe F1 krahasuar me modelet bazë.

Ndikimi praktik në industri

Aftësia e DAPO për të identifikuar jo vetëm praninë e një defekti, por edhe llojin specifik të tij, u mundëson operatorëve industrialë të gjurmojnë shkaqet që dërgojnë tek dëmtimet dhe të ndërmarrin masa parandaluese në linjat e prodhimit.

Shiko këtu punimin e plotë: https://arxiv.org/pdf/2512.09446