Neuro-Symbolic AI: Përtej "Shqisave" - Si po i jepet Logjika Inteligjencës Artificiale

Neuro-Symbolic AI: Përtej "Shqisave" - Si po i jepet Logjika Inteligjencës Artificiale

Autor: Prof. Ass. Dr. Lavdim Halilaj

DeepMind njoftoi në Janar të 2024 se sistemi i tij AlphaGeometry kishte zgjidhur probleme gjeometrie në nivel të medaljes së artë të Olimpiadës Ndërkombëtare të Matematikës (IMO). Arkitektura që qëndronte pas këtij suksesi nuk ishte një “single giant neural network”, në fakt ishte një kombinimi i një language model që gjeneron ide "intuitive" dhe një algoritmi që bazohet në deduksionin simbolik që i verifikon ato hap pas hapi. Nga pikëpamja e DeepMind kjo përngjasonte me idenë e Daniel Kahneman-it të "Thinking Fast and Slow" [10], që representon një sistem të shpejtë i cili është në gjendje të detektoj mostra apo karakteristika të përsëritshme nga të dhënat e mbledhura, i kombinuar me një sistem të ngadaltë nervor që është më rigoroz dhe logjik.

Kjo arkitekturë hibride ka një emër: Neuro-Symbolic AI (NeSy), që pavarësisht se tingëllon si zhargon inxhinierik, rrënjët e saj shkojnë thellë në një nga debatet më të vjetra të filozofisë së mendjes.

Debati filozofik: racionalizmi kundër empirizmit

Që nga Platoni e Kanti, fusha e filozofisë ka luftuar me pyetjen nëse njohja lind nga rregulla abstrakte, simbolike (racionalizmi) apo nga përvoja e ndjeshme, e grumbulluar (empirizmi). Në shekullin e 20-të, ky debat u riformulua brenda shkencave kognitive dhe AI-së si kundërshtia mes simbolizmit (AI klasike, e bazuar në logjikë dhe rregulla apo "Good Old-Fashioned AI") dhe konekcionizmit (rrjeta neurale, që mësojnë tipare nga të dhënat, pa rregulla eksplicite në mënyrë paraprake).

Kritika filozofike më e njohur e konekcionizmit vjen nga Jerry Fodor dhe Zenon Pylyshyn [9], të cilët në vitet 1980 argumentuan se rrjetat neurale nuk mund të shpjegojnë të menduarit sistematik të qenieve njerëzore, p.sh. faktin që nëse dikush mendon se "Neuroni është pjesë e trurit", automatikisht mund të konkludoj lidhjen e anasjelltë se "Truri përmban neurone", sepse mendimi njerëzor ka strukturë kompozicionale, të ngjashme me gjuhën. Në anën tjetër, sipas Fodor dhe Pylyshyn, rrjetat neurale, mësojnë asocime statistikore pa një strukturë të tillë simbolike të brendshme.

Kjo lidhet ngushtë me atë që në filozofinë e mendjes njihet si hipoteza e sistemit simbolik fizik, e formuluar nga Allen Newell dhe Herbert Simon në vitet 1970 [11]: që paraqet idenë se inteligjenca qoftë njerëzore apo artificiale kërkon domosdoshmërisht manipulim simbolesh sipas rregullave formale. Kjo hipotezë ishte themeli filozofik i të ashtuquajturës AI-së klasike ("Good Old-Fashioned AI"), e cila supozonte se mendja funksionon si një lloj llogaritjeje mbi struktura simbolike diskrete, jo si një rrjet analog vlerash të vazhdueshme.

Një sfidë tjetër filozofike, po aq e rëndësishme, është “symbol grounding problem”, i formuluar nga Stevan Harnad në 1990 [12], që analizon dukurinë se si mund të kenë kuptim simbolet e një sistemi formal, nëse ato nuk janë të lidhura me botën reale? Një sistem thjesht simbolik mund të manipulojë fjalën "mollë" sipas rregullave logjike pa e "ditur" kurrë se çfarë është një mollë, pa e parë, prekur apo shijuar. Rrjetat neurale, meqë mësojnë drejtpërdrejt nga të dhëna e observuara (fotografi, zë, video, apo sensorë), ofrojnë pikërisht atë "ankorim" perceptiv që sistemet simbolike nuk kanë qasje, ndërsa në anën tjetër sistemet simbolike ofrojnë strukturën dhe rigorozitetin që rrjetat neurale u mungon. Kjo përmbushje reciproke është, në thelb, arsyeja filozofike pse Neuro-Symbolic AI tërheq kaq shumë interes, e cila nuk është thjesht një zgjidhje inxhinierike, por një përpjekje për të kapërcyer dy probleme klasike të filozofisë së të menduarit.

Debati mori edhe një përmasë linguistike falë Noam Chomsky-t [13], i cili në vitet 1950–60 argumentoi kundër behaviorizmit të Burrhus Frederic Skinner duke thënë se gjuha njerëzore nuk mund të mësohet vetëm nga stimujt e pranuar (siç sugjeronte empirizmi në mënyrë rigoroze), sepse fëmijët prodhojnë fjali që s'i kanë dëgjuar kurrë, çka kërkon një "gramatikë universale" të brendshme, pra struktura simbolike të lindura. Ky argument, i njohur si "varfëria e stimulit", u bë më vonë një prej shtyllave të kritikës që linguisti dhe psikologu kognitiv Gary Marcus [14] i ka bërë vazhdimisht modeleve të rrjetave neurale (neural networks), duke argumentuar se ato mësojnë korrelacione sipërfaqësore në vend të rregullave kompozicionale të vërteta, dhe se kjo është pikërisht arsyeja pse na duhen komponent simbolik të definuar në mënyrë eksplicite.

Ky debat filozofik nuk është zgjidhur ende plotësisht, por gjenerata aktuale e hulumtuesve shkëncor po e trajton pak a shumë si një pyetje inxhinierike: në vend që të zgjedhin një përspektivë të caktuar, po ndërtojnë sisteme që përfshijnë të dyja artitekturat njëkohësisht. Siç e vënë në pah nga një vlerësim sistematik i fushës, Neuro-Symbolic AI ka lindur pikërisht nga integrimi i AI-së simbolike me atë subsimbolike, në atë që disa autorë e quajnë "Third Wave of AI" [16].

Si bashkohen intuita e AI-së me logjikën?

Nuk ekziston vetëm "një lloj" Neuro-Symbolic AI. Referenca teknike më e cituar në fushë është taksonomia me gjashtë kategori e propozuar nga hulumtuesi Henry Kautz në fjalimin e tij në Annual AAAI Conference on Artificial Intelligence (AAAI) 2020, "The Third AI Summer" [15], e cila në thelb është një hartë që klasifikon sistemet sipas shkallës së integrimit (coupling) mes komponenteve të rrjetave neurale dhe atyre simbolike:

  1. Kategoria 1 - Symbolic-Neuro-Symbolic: hyrja dhe dalja janë simbolike (p.sh. fjalë, tekst), por përpunimi i brendshëm bëhet nga një rrjetë neural standarde, kjo është praktikisht "standardi" i sotëm i language models, si ChatGPT apo Claude.
  2. Kategoria 2 - Symbolic[Neuro]: një sistem kryesisht simbolik që përdor një metodë të bazuar në rrjeta neurale për të kryer një detyrë specifike si njohja e mostrave (p.sh. një rrjetë neurale për të klasifikuar objekte në një imazh).
  3. Kategoria 3 - Neuro:Symbolic: rrjeta neural dhe komponenti simbolik funksionojnë si module të veçanta, të lidhura në një pipeline, njëri përpunon përceptimin, tjetri fokusohet në rregullat logjike.
  4. Kategoria 4 - Neuro:Symbolic→Neuro: njohuria simbolike (p.sh. rregulla logjike ose një knowledge graph) përdoret si input shtesë për të trajnuar ose udhëhequr një rrjetë neurale.
  5. Kategoria 5 — Neuro_Symbolic: njohuria simbolike integrohet drejtpërdrejt brenda arkitekturës së rrjetave neurale, si kufizim gjatë trajnimit (p.sh. "loss functions" që detyrojnë respektimin e rregullave logjike).
  6. Kategoria 6 — Neuro[Symbolic]: forma më komplekse e integrimit, ku vetë moduli i arsyetimit simbolik "përfshihet" brenda arkitekturës së rrjetave neurale, duke lejuar gjenerim të kombinuar brenda tyre.

AlphaGeometry, për shembull, konsiderohet një shembull pothuajse klasik i modelit "Sistem 1/Sistem 2" (më e përafërt me Kategorinë 6): moduli simbolik i deduksionit vepron si "Sistemi 2", i ngadaltë por 100% deterministik, ndërsa language model vepron si "Sistemi 1", i shpejtë dhe intuitiv, duke sugjeruar cilat forma gjeometrike shtesë ia vlen të provohen kur motori simbolik ngec. Shumica e sistemeve më të përdorura sot në praktikë grupohen tek Kategoritë 2 dhe 3, sepse ofrojnë avantazhe inxhinierike konkrete: kufij të qartë mes komponentëve, inspektim të pavarur të secilit modul, dhe një “graceful degradation” kur pjesa e rrjetave neurale dështon, sistemi simbolik mund të marrë kontrollin me rregulla të paradefinuara. Kategoria 5 është fokusi aktual i hulumtimeve shkencore, ndërsa Kategoria 6, është kryesisht në nivelin teorik.

Kjo taksonomi shpjegon edhe një kufizim tjetër teknik, të lidhur ngushtë me arkitekturën Transformers që qëndron pas “large language models”: pasi një Transformer përpunon të gjitha pozicionet e hyrjes njëkohësisht përmes mekanizmit “self-attention”, ku numri i "hapave" sekuencialë që mund të kryejë është i kufizuar nga numri i shtresave të rrjetit neural. Studime kanë treguar se saktësia e language models në detyra kompozicionale apo matematikore degradon në mënyrë eksponenciale me rritjen e numrit të hapave të nevojshëm. Pikërisht ky është boshllëku që synon ta mbushë shtresa simbolike, e cila mund të kryejë kërkim dhe verifikim të pakufizuar me rregulla logjike.

Në fushën specifike të computer vision, një punim gjithëpërfshirës mbi transferimin vizual të njohurive përmes Knowledge Graphs nga Monka, Halilaj dhe Rettinger [2] vënë në dukje se modelet e computer vision të bazuara në deep learning performojnë mirë vetëm kur shpërndarja e të dhënave të trajnimit dhe testimit përputhet, gjëgjësisht ndryshime relativisht të vogla në kushtet reale mund të çojnë në gabime të paparashikueshme. Autorët propozojnë një taksonomi si në Figurën 1, e cila ilustron katër kategori se si një knowledge graph mund të kombinohet me një pipeline të deep learning: 1) si "recensues" (reviewer), që validon rezultatet e një modeli tashmë të trajnuar; 2) si "nxënës" (trainee), ku vetë grafi mëson të përshtatet sipas të dhënave vizuale; 3) si "trajnues" (trainer), ku grafi udhëheq drejtpërdrejt trajnimin e rrjetit nervor; dhe 4) si "bashkëpunëtor i barabartë" (peer), ku njohuria vizuale dhe ajo simbolike mësohen njëkohësisht dhe ndikojnë njëra-tjetrën. Sipas autorëve, kjo lloj njohurie ndihmëse (auxiliary knowledge) e zbut varësinë e plotë të modelit nga shpërndarja e të dhënave, duke prodhuar sisteme më të përgjithësueshme dhe më të qëndrueshme përballë ndryshimeve të domenit.

Figura 1. Kategoritë kryesore se si një knowledge graph mund të kombinohet me një pipeline të deep learning: si "recensues" (reviewer); si "nxënës" (trainee); si "trajnues" (trainer); dhe si "bashkëpunëtor i barabartë" (peer).


Nga filozofia te inxhinieria: pse na duhen arkitektura hibride

Deep Neural Networks, të cilat janë bazë e ChatGPT-së, Gemini-t dhe modeleve te tjera, janë jashtëzakonisht efikase në njohjen e mostrave apo tipareve (pattern recognition), gjeneralizimin nga shembuj dhe përpunimin e të dhënave të papërpunuara si teksti, zëri apo imazhet. Por ato mbeten të dobëta në arsyetim rigoroz, shpjegueshmëri dhe garanci logjike, shpesh "halucinojnë" fakte ose bëjnë gabime elementare llogaritëse.

Sistemet simbolike, nga ana tjetër, janë të sakta, të shpjegueshme dhe të bazuara në rregulla formale, por janë të brishta përballë të dhënave divergjente ose situatave të reja. Ideja qendrore e Neuro-Symbolic AI është se kombinimi i arkitekturave mund të prodhojë sisteme që janë njëkohësisht fleksibile dhe të besueshme. Një studim gjithëpërfshirës [2] pëmbledhë avantazhet e rregullave logjike dhe interpretueshmërisë simbolike dhe fleksibilitetin e rrjetave neurale, që mund të rezultojnë si katalizator i mundshëm për gjeneratën e ardhshme të AI-së.

Aplikime konkrete

Matematikë dhe interpretim formal. Shembulli më i njohur mbetet çifti AlphaGeometry–AlphaProof i DeepMind-it. AlphaGeometry kombinon një neural language model me një modul deduksioni simbolik, të cilët punojnë së bashku për të gjetur prova për teorema komplekse gjeometrike [6], ndërsa AlphaProof përdor reinforcement learning të kombinuar me gjuhë formale për probleme matematikore më të gjera (DeepMind, 2024) [7][8]. Në Olimpiadën Ndërkombëtare të Matematikës (IMO) 2024, të dy sistemet së bashku arritën nivel medaljeje argjendi, ndërsa versione të mëvonshme kanë vazhduar të zgjidhin probleme të hapura matematikore.

Ngasje autonome — perceptim, trajectory prediction dhe scene understanding. Një prej fusha të kërkimit në këtë drejtim vjen nga Lavdim Halilaj dhe grupi i tij hulumtues në Bosch Research, Stuttgart, të cilët prej vitesh po eksplorojnë përdorimin e prior knowledge, të koduara si knowledge graphs, për të tejkaluar kufizimet e modeleve të bazuara vetëm në observime, në të gjitha fazat e ngasjes autonome siq prezantohen në Figuren 2. Në punimin [17] autorët vënë në dukje se qasjet klasike të visual object recognition mbështeten tërësisht te të dhënat dhe humbasin saktësi kur kemi të bëjmë me ndryshime lokacioni, p.sh. një model i trajnuar për të njohur shenjat e trafikut në Gjermani performon dobët në një vend me standarde të ndryshme shenjash. Metoda e propozuar nga autorët përdor contrastive learning të bazuar në knowledge graphs për të transferuar njohuri mes lokacioneve pa pasur nevojë për sasi të mëdha të dhënash të reja. Në të njëjtën linjë të object recognition, punimi Seeing and Knowing in the Wild [29] shtrin këtë ide te njohja e entiteteve vizuale "open-domain", duke përdorur contrastive learning të udhëhequr nga knowledge graphs në shkallë të gjerë.

Në fushën e trajectory prediction, Halilaj dhe bashkautorët kanë propozuar SemanticFormer [18], një qasje hibride që arsyeton mbi një graf semantik të skenës së trafikut duke përdorur "meta-paths" si informacion i nivelit të lartë, në vend që të mbështetet vetëm tek tiparet gjeometrike të rrugës. Një ide e zgjeruar është prezantuar te DiffSemanticFussion [19], ku ndërveprimet sociale mes pjesëmarrësve në trafik modelohen përmes graph transformers heterogjenë, dhe mbështetet në nuScenes Knowledge Graph [21]. Vijim i kësaj linje pune është edhe FM4SU [20] illustruar në Figurën 3, e cila është një metodologji për trajnimin e një symbolic foundation model për scene understanding në ngasje autonome, që përfaqëson skenën e trafikut si knowledge graph duke përfshirë jo vetëm objektet e vëzhguara nga sensorët, por edhe njohuri domeni si topologjia e rrugës, rregullat e trafikut dhe ndërveprimet komplekse mes pjesëmarrësve në trafik, pikërisht ai lloj konteksti që rrjetat neurale priren ta injorojnë. Gjithashtu punimi CoSI [22] adreson kuptimin e situatave komplekse të ngasjes duke përdorur po ashtu një qasje të bazuar në knowledge graphs.

Computergenerierter Alternativtext:
Sense 
LiDar Radar, Camera, 
GPS, 
External Knowledge 
Traffic Rules 
Common Sense 
knowledge 
Real driving data 
Context: date, 
time, weather, .. 
Map data 
Knowledge 
Construction 
Goal 2: Knowledge 
Construction 
Knowledge Graph 
Goal 3: Knowledge 
Infrastructure 
KG tools 
Perceive 
Goal 1: Knowledge- 
based Perception 
KG enhanced object 
detection: Road signs, 
vehicles, lanes, 
Using 
- Knowledge-infused 
deep learning 
- Transfer learning 
Understand 
Goal 4: K-based Scene 
Understanding 
KG enhanced scene 
understanding and 
behaviour prediction 
Using 
- KG-based scene model 
- Knowledge-infused 
learning 
- KG-based behaviour 
model 
- Causal inference 
- Common sense 
Plan & Act 
Goal 5: Knowledge- 
based Planning 
KG based planning and 
decision making 
Using 
- Semantic reasoning 
- Traffic rules 
- Common sense 
- KG-based decision 
model 
- Causal inference

Figura 2. Etapat kryesore në nivelin më të lartë abstrakt në fushën e autonomous driving.

Figura 3. Reprezentimi i skenarëve të autonomous driving përmes Knowledge Graphs dhe përdorimi i tyre si vlera hyrëse për Large Language Models në procesin e parashikimit të elementeve në driving scene.

Points-of-Interest recommendations. Përtej perceptimit dhe arsyetimit mbi skenën e trafikut, Halilaj dhe bashkautorët kanë adresuar edhe një problem më të orientuar nga përdoruesi: si t'i rekomandohen shoferit vende (restorante, stacione karikimi, pika interesi) që përputhen jo vetëm me preferencat e tij afatgjata, por edhe me kontekstin e menjëhershëm, gjendjen aktuale, nivelin e urisë, orën e ditës apo motin. Punimi Towards a Knowledge Graph-based Approach for Context-aware Points-of-Interest Recommendations [23] propozon një sistem rekomandimesh të ndërgjegjshëm ndaj kontekstit (Context-aware Recommender System, CARS) që kombinon burime heterogjene informacioni brenda një knowledge graph-u të vetëm, në vend që të mbështetet vetëm te modelet klasike statistikore të filtrimit kolaborativ të illustruar në Figurën 4. Një punim tjetër i lidhur, Embedding Taxonomical, Situational or Sequential Knowledge Graph Context for Recommendation Tasks [24], shkon edhe më tej duke propozuar një encoder neural me feedback loop që transformon embeddings globale të knowledge graph-ut në përfaqësime të personalizuara sipas situatës konkrete dhe historisë sekuenciale të një entiteti, pra, edhe rekomandimi bëhet një detyrë neuro-simbolike, ku struktura e njohurive (taksonomike, situative, sekuenciale) udhëheq atë çka rrjeta neurale mëson të nxjerrë nga të dhënat. Kërkime të tjera [3] kanë përdorur integrimin neuro-simbolik për të tejkaluar kufizimet e classic recommendation systems, duke shtuar arsyetim të bazuar në rregulla në knowledge graphs përmbi parashikimet statistikore të rrjetave neurale.

Figura 4. Rekomandimet e pikave të interesit për ngasësitë e veturave duke përdorur Knowledge Graphs.

Causal discovery dhe root cause analysis. Në një drejtim tjetër kërkimi, në industri prodhuese, Halilaj dhe ekipi i tij te Bosch po zhvillojnë metoda neuro-simbolike për root cause analysis (RCA), identifikimin e parametrit ose komponentës që ka shkaktuar një sjellje anormale në një sistem kompleks. Punimi ORCA: An End-to-End Interactive Copilot for Optimized Root Cause Analysis [25] propozon një "kopilot" të bazuar në agjentë që udhëheq ekspertët e fushës përgjatë një rrjedhe pune të plotë causal analysis, nga zbulimi i një strukture kauzale deri te përllogaritja e efektit dhe gjenerimi i shpjegimeve të lexueshme nga njeriu. Në të njëjtën linjë, punimi StableRCA [26] ilustruar në Figurën 5, propozon një zgjidhje që lokalizon the root cause at mechanism level pa pasur nevojë të zbulimin e global causal graph, një kufizim ky i rëndësishëm praktik, pasi full causal graphs shpesh janë të pamundura të vlerësohen saktë në sisteme reale në industri. Grupi ka ndërtuar edhe CausalMan [27], një simulator i bazuar në modelimin fizik të ekuacioneve dhe funksioneve në një linje reale prodhimi, që synon të mbushë një zbrazëti të rëndësishme në fushë: mungesën e real causal models me procese të njohura gjenerimi të dhënash, të nevojshme për të krahasuar në mënyrë të drejtë metodat e ndryshme të causal discovery.

Së bashku, këto punime, nga perceptimi te trajectory prediction, nga scene understanding te recommendation systems dhe root cause analysis, ilustrojnë një fushë të përbashkët në kërkimin e Halilaj-t: prior knowledge, qoftë si knowledge graph, rregull domeni, apo assumed causal structure, nuk është thjesht një shtesë "e mirë për ta pasur" së bashku me rrjetat neurale, por shpesh është pikërisht ajo çka i mundëson një sistemi të përgjithësojë përtej distribuimit të të dhënave mbi të cilat është trajnuar, dhe t'i shpjegojë vendimet e tij në terma të kuptueshëm për ekspertët e fushës.

Figura 5. StableRCA. : a) Metodat tradicionale të bazuara në Graf, dhe b) StableRCA mekanizmi i bazuar në të gjithë popullatën.

Robotikë dhe agjentë autonomë. Në robotikë, ku vendimet kanë pasoja fizike të drejtpërdrejta, kombinimi i neural perception me planifikim simbolik të veprimeve po konsiderohet një rrugë drejt sistemesh më të besueshme dhe të shpjegueshme në krahasim me qasjen e bazuar vetëm në deep learning. Figura 6 paraqet një shembull konkret nga një patent i Robert Bosch GmbH, me Halilaj si autor kryesor [30], i cili përshkruan një metodë neuro-simbolike për gjenerimin automatik të behaviour trees, që përfshinë strukturat hierarkike që përcaktojnë veprimet e një roboti në situata të ndryshme. Në vend që një ekspert t'i ndërtojë manualisht këto struktura, gjë që patenta e përshkruan si të ngadaltë, të varur nga ekspertiza dhe të ndjeshme ndaj gabimit njerëzor, metoda kombinon një large language model që nxjerr nga një prompt në gjuhë natyrale (p.sh. "vozit më me kujdes kur ka shumë njerëz përreth") një graf termash dhe marrëdhëniesh me një behaviour tree knowledge graph që përmban njohuri të mëparshme domeni. Duke krahasuar embeddings e këtij grafi prompti me embeddings e sjelljeve ekzistuese në një hapësirë latente, sistemi zgjedh strukturën më të ngjashme dhe e përshtat sipas kërkesës së re duke lejuar robotin të "kuptojë" komanda njerëzore pa pasur nevojë të riprogramohet nga e para për çdo skenar të ri.

Figura 6. Tranformimi e një prompti në gjuhën naturale në një strukturë konsistente që modelin lëvizjen e robotit.


Shëndetësi. Në mjekësi, ku vendimet kërkojnë jo vetëm saktësi statistikore por edhe justifikim të kuptueshëm për mjekët, sistemet neuro-simbolike po eksplorohen për diagnostikim të asistuar. Në këtë fushë poashtu rrjetat neurale identifikojnë modele në imazhe mjekësore ose të dhëna klinike, ndërsa shtresa simbolike zbaton rregulla klinike dhe kufizimet mjekësore, duke rritur transparencën e vendimit.

Sfidat që mbeten

Përkundër entuziazmit, fusha e Neuro-Symbolic AI është ende në fillet e saj të para. Një rishikim sistematik i literaturës 2020–2024 [1] vëren se shumica e kërkimeve janë përqendruar te mësimi dhe inferenca (rreth 63% e punimeve), rregullat logjike dhe arsyetimi (35%) dhe përfaqësimi i njohurive (44%), ndërsa fusha të tjera thelbësore si shpjegueshmëria, besueshmëria [3][5] dhe veçanërisht meta-kognicioni (aftësia e një sistemi për të "ditur se çfarë di"), mbeten shumë më pak të eksploruara, me meta-kognicionin dhe Cybersecurity[4] të përfaqësuar në vetëm rreth 5% të studimeve. Kjo sugjeron se, ndërkohë që sistemet hibride po bëhen gjithnjë e më të fuqishme praktikisht, kuptimi ynë teorik i tyre, përfshirë atë filozofik, mbi natyrën e vetë arsyetimit hibrid, ka ende rrugë për të bërë.


Burime dhe referenca

[1] Colelough, B. C., Regli, W. Neuro-Symbolic AI in 2024: A Systematic Review. arXiv:2501.05435

[2] Towards Data- and Knowledge-Driven AI: A Survey on Neuro-Symbolic Computing. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2025

[3] Acharya, K., Song, H. A Comprehensive Review of Neuro-symbolic AI for Robustness, Uncertainty Quantification, and Intervenability. Arabian Journal for Science and Engineering, 2025/2026

[4] Neuro-Symbolic AI for Cybersecurity: State of the Art, Challenges, and Opportunities. arXiv:2509.06921

[5] Neuro-Symbolic AI: Explainability, Challenges, and Future Trends. arXiv:2411.04383

[6] Google DeepMind. AlphaGeometry: An Olympiad-level AI system for geometry. 2024, deepmind.google

[7] Google DeepMind. AI achieves silver-medal standard solving International Mathematical Olympiad problems. 2024, deepmind.google

[8] Olympiad-level formal mathematical reasoning with reinforcement learning. Nature, 2025

[9] Fodor, J. A., Pylyshyn, Z. W. Connectionism and Cognitive Architecture: A Critical Analysis. Cognition, 1988

[10] Kahneman, D. Thinking, Fast and Slow. 2011

[11] Newell, A., Simon, H. A. Computer Science as Empirical Inquiry: Symbols and Search. Communications of the ACM, 1976

[12] Harnad, S. The Symbol Grounding Problem. Physica D, 1990

[13] Chomsky, N. A Review of B. F. Skinner's Verbal Behavior. Language, 1959

[14] Marcus, G. The Next Decade in AI: Four Steps Towards Robust Artificial Intelligence. arXiv:2002.06177, 2020

[15] Kautz, H. The Third AI Summer. AAAI-20, 2020

[16] Garcez, A. d'Avila, Lamb, L. C. Neurosymbolic AI: The 3rd Wave. Artificial Intelligence Review, 2023

[17] Monka, S., Halilaj, L., Schmid, S., Rettinger, A. Learning Visual Models Using a Knowledge Graph as a Trainer, in: The Semantic Web – ISWC 2021, Lecture Notes in Computer Science, vol. 12922, Springer, pp. 357–373

[18] Sun, Z., Wang, Z., Halilaj, L., Luettin, J. SemanticFormer: Holistic and Semantic Traffic Scene Representation for Trajectory Prediction using Knowledge Graphs. IEEE Robotics and Automation Letters, 2024

[19] Zhigang Sun, Yiru Wang, Anqing Jiang, Shuo Wang, Yu Gao, Yuwen Heng, Shouyi Zhang, An He, Hao Jiang, Jinhao Chai, Zichong Gu, Wang Jijun, Shichen Tang, Lavdim Halilaj, Juergen Luettin, Hao Sun. DiffSemanticFusion: Semantic Raster BEV Fusion for Autonomous Driving via Online HD Map Diffusion. The IEEE Robotics and Automation Letters

[20] Zhou, H., Schmid, S., Li, Y., Halilaj, L., Yao, X., Cao, W. Predicting the Road Ahead: A Knowledge Graph Based Foundation Model for Scene Understanding in Autonomous Driving. ESWC, 2025 / arXiv:2503.18730

[21] Mlodzian, L., Sun, Z., Berkemeyer, H., Monka, S., Wang, Z., Dietze, S., Halilaj, L., Luettin, J. nuScenes Knowledge Graph: A Comprehensive Semantic Representation of Traffic Scenes for Trajectory Prediction. IEEE/CVF International Conference on Computer Vision (ICCV) Workshops, 2023, pp. 42–52

[22] Halilaj, L., Dindorkar, I., Luettin, J., Rothermel, S. A Knowledge Graph-Based Approach for Situation Comprehension in Driving Scenarios (CoSI). Extended Semantic Web Conference (ESWC), Lecture Notes in Computer Science, vol. 12731, Springer, 2021, pp. 699–716

[23] Halilaj, L., Luettin, J., Rothermel, S., Arumugam, S. K., Dindorkar, I. Towards a Knowledge Graph-based Approach for Context-aware Points-of-Interest Recommendations. Proceedings of the 36th Annual ACM Symposium on Applied Computing (SAC), 2021

[24] Werner, S., Rettinger, A., Halilaj, L., Luettin, J. Embedding Taxonomical, Situational or Sequential Knowledge Graph Context for Recommendation Tasks. International Conference on Semantic Systems (SEMANTiCS), Studies on the Semantic Web, vol. 53, IOS Press, 2021, pp. 213–226

[25] Nguyen Xuan, P., Tagliapietra, N., Halilaj, L., Kersting, K., Luettin, J. ORCA: An End-to-End Interactive Copilot for Optimized Root Cause Analysis. 2nd Causal Neuro-symbolic Artificial Intelligence (Causal NeSy)

[26] Lin, X., Tagliapietra, N., Li, K., Halilaj, L., Luettin, J. StableRCA: Robust Graph-Agnostic Mechanism-Level Root Cause Analysis. arXiv:2606.05636, 2026

[27] Tagliapietra, N., Luettin, J., Halilaj, L., Willig, M., Pychynski, T., Kersting, K. CausalMan: A Physics-Based Simulator for Large-Scale Causality. arXiv:2502.12707, 2025

[28] Zhou, H., Halilaj, L., Monka, S., Schmid, S., Zhu, Y., Wu, J., Nazer, N., Staab, S. Seeing and Knowing in the Wild: Open-domain Visual Entity Recognition with Large-scale Knowledge Graphs via Contrastive Learning. AAAI Conference on Artificial Intelligence, 2026, pp. 13638–13646

[29] Sebastian Monka, Lavdim Halilaj, Achim Rettinger. A Survey on Visual Transfer Learning using Knowledge Graphs. Semantic Web Journal (2022)

[30] Method for generating a behaviour tree for controlling a robot device. Lavdim Halilaj, Anees Ul Mehdi, Niels Van Duijkeren, Stefan Schmid, Juergen Luettin, Ralph Lange. Patent Application US20250242491A1. United States

Etiketa: inteligjence artificiale

Komente (0)

Nuk ka komente ende.

Lini një koment

Komenti juaj do të shfaqet pas miratimit nga administratori.