टोकनाइजेशन प्रश्नोत्तरी

अपनी समझ का परीक्षण करें कि पाठ को टोकन में कैसे विभाजित किया जाता है और यह लागत, संदर्भ सीमा और मॉडल व्यवहार को क्यों प्रभावित करता है।