उपशीर्षक और बंद कैप्शनिंग में एआई

It matters because it makes video understandable for deaf and hard-of-hearing viewers and across languages, at a fraction of manual cost.

एआई कैप्शनिंग कई मॉडलों को एक साथ जोड़ती है। सबसे पहले, स्वचालित वाक् पहचान (एएसआर) ऑडियो को शब्दों में बदल देती है। फिर संरेखण मॉडल सटीक प्रारंभ और समाप्ति टाइमस्टैम्प संलग्न करते हैं ताकि प्रत्येक कैप्शन भाषण के साथ सिंक में दिखाई दे। उपशीर्षक के लिए, मशीनी अनुवाद प्रतिलेख को लक्ष्य भाषाओं में परिवर्तित करता है। सिस्टम फ़ॉर्मेटिंग को भी संभालता है: पाठ को पढ़ने योग्य पंक्तियों में तोड़ना, पढ़ने की गति को कैप करना (प्रति सेकंड वर्ण), और, वास्तविक बंद कैप्शन के लिए, गैर-वाक् संकेत जैसे [दरवाजा स्लैम] या [तालियां] डालना और स्पीकर को लेबल करना। YouTube इस तरह से अरबों वीडियो के लिए स्वचालित रूप से कैप्शन तैयार करता है, और प्रसारक समाचारों के वास्तविक समय में कैप्शनिंग के लिए लाइव ASR का उपयोग करते हैं। अंतर मायने रखता है: उपशीर्षक मानते हैं कि आप सुन सकते हैं और मुख्य रूप से संवाद का अनुवाद कर सकते हैं, जबकि बंद कैप्शन उन दर्शकों की सेवा करते हैं जो सुन नहीं सकते हैं और इसमें ध्वनि प्रभाव और स्पीकर आईडी शामिल हैं।