భ్రాంతి

నిర్వచనం

AIలో, భ్రాంతులు అంటే ఒక మోడల్ స్పష్టంగా కానీ వాస్తవంగా తప్పుగా లేదా అర్ధంలేని అవుట్‌పుట్‌లను ఉత్పత్తి చేసే సందర్భాలను సూచిస్తుంది. ఇది ముఖ్యంగా పెద్ద భాషా నమూనాలు మరియు జనరేటివ్ AIలలో సర్వసాధారణం.

పర్పస్

భ్రాంతులను అధ్యయనం చేయడం వలన మోడల్ విశ్వసనీయత మరియు భద్రత మెరుగుపడుతుంది. ఇది డెవలపర్‌లు సరికాని అవుట్‌పుట్‌లను గుర్తించడానికి మరియు తగ్గించడానికి రక్షణ చర్యలను రూపొందించడానికి అనుమతిస్తుంది.

ప్రాముఖ్యత

• పరిష్కరించకపోతే AI పై నమ్మకం తగ్గుతుంది.
• ఆరోగ్య సంరక్షణ లేదా చట్టం వంటి సున్నితమైన అనువర్తనాల్లో హాని కలిగించవచ్చు.
• ప్రస్తుత ఉత్పాదక నమూనాల పరిమితులను హైలైట్ చేస్తుంది.
• వాస్తవ గ్రౌండింగ్ మరియు తిరిగి పొందే పద్ధతుల్లో పరిశోధనను నడిపిస్తుంది.

అది ఎలా పని చేస్తుంది

1. మోడల్ ఒక ప్రాంప్ట్ లేదా ప్రశ్నను అందుకుంటుంది.
2. వాస్తవ ధృవీకరణ ఆధారంగా కాకుండా, నేర్చుకున్న నమూనాల ఆధారంగా అవుట్‌పుట్‌ను ఉత్పత్తి చేస్తుంది.
3. నమ్మదగినదిగా అనిపించవచ్చు కానీ తప్పుడు ఫలితాలను ఇవ్వవచ్చు.
4. గుర్తింపు మరియు దిద్దుబాటు పద్ధతులు వర్తించబడతాయి (ఉదా. RAG).

ఉదాహరణలు (వాస్తవ ప్రపంచం)

• ప్రాంప్ట్ చేయబడినప్పుడు ChatGPT అప్పుడప్పుడు తప్పుడు వాస్తవాలను ఉత్పత్తి చేస్తుంది.
• గూగుల్ బార్డ్ యొక్క ప్రారంభ డెమో వాస్తవ తప్పులను చూపించింది.
• AI- రూపొందించిన వైద్య సలహా కొన్నిసార్లు తప్పులను కలిగి ఉంటుంది.

సూచనలు / తదుపరి పఠనం

• “పెద్ద భాషా నమూనాలలో భ్రాంతులు తగ్గించడం” — arXiv ప్రిప్రింట్.
• NIST AI రిస్క్ మేనేజ్‌మెంట్ ఫ్రేమ్‌వర్క్.
• మిచెల్ మరియు ఇతరులు. “మోడల్ రిపోర్టింగ్ కోసం మోడల్ కార్డులు.” ACM FAccT.
• AI భ్రాంతుల కారణాలు