రీన్‌ఫోర్స్‌మెంట్ లెర్నింగ్ కోసం నిపుణులచే పరిశీలించబడిన తార్కిక డేటాసెట్‌లు: అవి మోడల్ పనితీరును ఎందుకు పెంచుతాయి

నేర్చుకోవడంలో రీన్‌ఫోర్స్‌మెంట్ లెర్నింగ్ (RL) గొప్పది ఏమి రివార్డ్ సిగ్నల్ శుభ్రంగా ఉన్నప్పుడు మరియు పర్యావరణం క్షమించేటప్పుడు చేయాలి. కానీ చాలా వాస్తవ ప్రపంచ సెట్టింగ్‌లు అలా ఉండవు. అవి గజిబిజిగా, అధిక-స్టేక్స్‌గా మరియు “దాదాపు సరైన” నిర్ణయాలతో నిండి ఉంటాయి. అక్కడే నిపుణులు పరిశీలించిన తార్కిక డేటాసెట్‌లు శక్తి గుణకం అవుతాయి: అవి మోడళ్లకు నేర్పుతాయి ఎందుకు ఒక చర్య వెనుక - ఫలితం మాత్రమే కాదు.

RL పనితీరులో దాగి ఉన్న అడ్డంకి: బలహీనమైన తార్కిక సంకేతాలు

RL ఏజెంట్లు శిక్షణలో అద్భుతంగా కనిపించవచ్చు మరియు విస్తరణలో కూడా విఫలమవుతారు. ఒక సాధారణ కారణం ఏమిటంటే, మోడల్ సత్వరమార్గాలను నేర్చుకుంటుంది - తెలిసిన సందర్భాలలో బహుమతిని సంపాదించే నమూనాలు కానీ పరిస్థితులు మారినప్పుడు కూలిపోతాయి.

మీరు RL వ్యవస్థలను రవాణా చేసి ఉంటే మీరు గుర్తించే చిన్న కథ ఇక్కడ ఉంది:

గిడ్డంగి రోబోటిక్స్ బృందం ఒక ఏజెంట్‌కు వస్తువులను ఎంచుకుని ఉంచడానికి శిక్షణ ఇస్తుంది. సిమ్యులేషన్‌లో, విజయ రేట్లు వేగంగా పెరుగుతాయి. కానీ నిజమైన అంతస్తులలో, రోబోట్ సెటప్‌ను "గేమ్" చేయడం ప్రారంభిస్తుంది - సిమ్యులేటర్‌లో పనిచేసే ప్రమాదకర పథాలను తీసుకుంటుంది కానీ ప్రతిబింబించే ఉపరితలాల దగ్గర ఢీకొనడానికి కారణమవుతుంది. రివార్డ్ ఫంక్షన్ తప్పు కాదు. ది తార్కికం నేర్చుకున్న నమూనా అసంపూర్ణంగా ఉంది.

మీ డేటా ఫలితాలను మాత్రమే సంగ్రహించినప్పుడు (“విజయం/వైఫల్యం” లేదా స్కేలార్ రివార్డ్), మానవులు సహజంగా ఉపయోగించే ఇంటర్మీడియట్ నిర్ణయ తర్కాన్ని మీరు కోల్పోతారు: పరిమితులు, భద్రతా తనిఖీలు మరియు దశల క్రమం.

"నిపుణులచే పరిశీలించబడిన తార్కిక డేటా"లో వాస్తవానికి ఏమి ఉంటుంది

ఆచరణాత్మక స్థాయిలో, నిపుణులచే పరిశీలించబడిన తార్కిక డేటా అనేది డొమైన్ నిపుణులు తుది ఫలితాన్ని మాత్రమే కాకుండా నిర్ణయ మార్గాన్ని ధృవీకరించే ఉదాహరణల సమితి.

రీజనింగ్ జాడలు: తప్పిపోయిన మధ్యభాగం

తార్కిక ట్రేస్ అనేది పరిశీలన → నిర్ణయం → చర్య నుండి దశలవారీ మార్గం. మీ వినియోగ సందర్భాన్ని బట్టి, అది ఇలా కనిపించవచ్చు:

• సంబంధిత సంకేతాలను గుర్తించడం (“సెన్సార్ డ్రిఫ్ట్ కనుగొనబడింది; విశ్వాసం తగ్గింది”)
• డొమైన్ నియమాలను వర్తింపజేయడం (“ప్రవేశించే ముందు ఇవ్వండి; పాదచారులకు ప్రాధాన్యత ఇవ్వండి”)
• పరిమితులతో చర్యలను ఎంచుకోవడం (“బ్లైండ్ స్పాట్‌ను నివారించడానికి మార్గం B ని ఎంచుకోండి”)

“వెటెడ్” అంటే ఏమిటి (సాధారణ ఆంగ్లంలో)

“వెటెడ్” లో సాధారణంగా ఇవి ఉంటాయి:

• నిపుణులు రచించిన లేదా నిపుణులు సమీక్షించిన మార్గదర్శకాలు
• స్థిరమైన లేబులింగ్ రూబ్రిక్స్ (కాబట్టి ఇద్దరు నిపుణులు ఒకే కేసును ఒకే విధంగా పరిష్కరిస్తారు)
• వైరుధ్యాలు మరియు తప్పిపోయిన దశల కోసం క్రమబద్ధమైన తనిఖీలు
• మార్గదర్శకాలు రూపొందించబడిన కొద్దీ మార్పుల ఆడిట్ ట్రైల్

ఇది ముఖ్యం ఎందుకంటే చిన్న లాజిక్ ఎర్రర్‌లు కూడా వరుసగా సంభవించవచ్చు - ముఖ్యంగా మీరు తర్వాత రివార్డ్ మోడల్‌లకు శిక్షణ ఇచ్చినప్పుడు లేదా మానవ ఫీడ్‌బ్యాక్ లూప్‌లను ఉపయోగించినప్పుడు.

రీజనింగ్ డేటాసెట్‌లు రీన్‌ఫోర్స్‌మెంట్ లెర్నింగ్ మోడల్ పనితీరును ఎలా మెరుగుపరుస్తాయి

ప్రయోజనాలు అంత అద్భుతంగా లేవు. అవి యాంత్రికమైనవి.

వేగవంతమైన కన్వర్జెన్స్, తక్కువ రివార్డ్ హ్యాకింగ్

జాడలను తర్కించడం వల్ల శోధన స్థలం తగ్గుతుంది. గుడ్డిగా అన్వేషించడానికి బదులుగా, ఏజెంట్ ఏ ఇంటర్మీడియట్ దశలు చెల్లుబాటు అవుతాయో దాని గురించి నిర్మాణాత్మక సంకేతాలను పొందుతాడు. అంటే సాధారణంగా డెడ్ ఎండ్‌లలో వృధా అయ్యే శిక్షణ పునరావృత్తులు తక్కువగా ఉంటాయి మరియు రివార్డ్ ఫంక్షన్ యొక్క "తెలివైన" దోపిడీలు తక్కువగా ఉంటాయి.

RLHF మరియు రివార్డ్ మోడలింగ్ పై పరిశోధన పదే పదే శిక్షణ శబ్దం లేదా తక్కువ-నాణ్యత ప్రాధాన్యత/అభిప్రాయ డేటాకు ఎంత సున్నితంగా ఉంటుందో హైలైట్ చేస్తుంది (మూలం: అసోసియేషన్ ఫర్ కంప్యూటేషనల్ లింగ్విస్టిక్స్, 2024). ఆ సున్నితత్వం RL లో అదృశ్యం కాదు - అది విస్తరిస్తుంది.

అంచు కేసులకు మెరుగైన సాధారణీకరణ

నిపుణుల తార్కిక ఎన్‌కోడ్‌లు అడ్డంకులు మరియు సూత్రాలు ఆ బదిలీ: భద్రతా సరిహద్దులు, సమ్మతి నియమాలు మరియు కారణ తర్కం. పర్యావరణం మారినప్పుడు, ఆ సూత్రాలు ఇప్పటికీ అలాగే ఉంటాయి - ఖచ్చితమైన పిక్సెల్‌లు, టెక్స్ట్ లేదా స్థితి పరివర్తనాలు మారకపోయినా.

మరింత స్థిరమైన రివార్డ్ మోడలింగ్ మరియు RLHF లూప్‌లు

మీరు RLHF-శైలి పోస్ట్-ట్రైనింగ్‌ని ఉపయోగిస్తుంటే, తార్కిక డేటా మీకు మెరుగైన రివార్డ్ మోడల్‌లను నిర్మించడంలో సహాయపడుతుంది—ఎందుకంటే రివార్డ్ మోడల్ “మంచి సమాధానాలను” మాత్రమే కాకుండా “మంచి నిర్ణయ మార్గాలను” స్కోర్ చేయడం నేర్చుకోగలదు. ఇది ఆప్టిమైజేషన్ సమయంలో మరింత స్థిరమైన నవీకరణలుగా మరియు మీరు శిక్షణను స్కేల్ చేసినప్పుడు తక్కువ రిగ్రెషన్‌లుగా అనువదిస్తుంది.

మీరు RLHF పైప్‌లైన్‌లను నిర్మిస్తున్నా లేదా స్కేలింగ్ చేస్తుంటే, షైప్స్ RLHF సొల్యూషన్స్ స్థిరమైన అమరిక డేటాకు మద్దతు ఇచ్చే నిపుణుల నేతృత్వంలోని వర్క్‌ఫ్లోలు మరియు నాణ్యత నియంత్రణల చుట్టూ రూపొందించబడ్డాయి.

ఒక సారూప్యత: విమాన గంటలు vs విమాన సూచన

RL శిక్షణను పైలట్ శిక్షణ లాగా ఆలోచించండి. మీరు సిమ్యులేటర్‌లో మాత్రమే అంతులేని గంటలను నమోదు చేయవచ్చు - కానీ మీరు తప్పు అలవాట్లను అభ్యసిస్తే, మీరు వాటిని బలోపేతం చేస్తారు. ఒక బోధకుడు "పాస్/ఫెయిల్" అని మాత్రమే చెప్పడు. అవి మీ తార్కికతను విమానంలో మధ్యలో సరిచేస్తాయి: స్కాన్ ఆర్డర్, నిర్ణయ సమయం మరియు రిస్క్ హ్యాండ్లింగ్. నిపుణులచే పరిశీలించబడిన తార్కిక డేటాసెట్‌లు RL కోసం ఆ "బోధకుడి" పాత్రను పోషిస్తాయి - మోడల్‌ను బోధించడం. ఎలా పని పూర్తయిందో లేదో మాత్రమే కాకుండా, దాని గురించి ఆలోచించడం.

పోలిక పట్టిక: ఇన్-హౌస్ vs క్రౌడ్‌సోర్స్డ్ vs అవుట్‌సోర్స్డ్ వెట్టింగ్ మోడల్స్

చాలా జట్లు హైబ్రిడ్‌తో ముగుస్తాయి, కానీ ఇది ట్రేడ్-ఆఫ్‌ల గురించి స్పష్టంగా ఉండటానికి సహాయపడుతుంది.