Apa yang berlaku
AWS berkata Amazon Bedrock kini menyokong inferens merentas Wilayah geografi India untuk OpenAI GPT-5.6 Terra dan Luna. Permintaan boleh dialihkan antara Wilayah Mumbai dan Hyderabad AWS berdasarkan kapasiti, sambil kekal dalam India. Kedua-dua model menerima input teks dan imej, menghasilkan output teks dan menawarkan tetingkap konteks 1 juta token.
AWS mengumumkan bahawa Amazon Bedrock menyokong OpenAI GPT-5.6 Terra dan Luna melalui profil inferens merentas Wilayah geografi India. Dua ID profil yang dikenal pasti dalam siaran ialah in.openai.gpt-5.6-terra dan in.openai.gpt-5.6-luna. Sumber itu berkata pelanggan boleh menggunakan model tersebut sama ada dari Rantau Asia Pasifik (Mumbai), ap-south-1, atau Rantau Asia Pasifik (Hyderabad), ap-south-2. Batuan dasar kemudian memilih destinasi Wilayah India mengikut kapasiti yang ada.
Pengumuman itu menerangkan inferens merentas Wilayah terutamanya sebagai mekanisme kapasiti. Daripada mengikat aplikasi dengan kapasiti satu Wilayah, profil tersebut membenarkan permintaan untuk menggunakan kumpulan pengiraan yang lebih luas merentas dua Wilayah India yang disenaraikan. AWS berkata ini bertujuan untuk membantu mengekalkan prestasi dan prestasi yang konsisten semasa puncak trafik. Sumber tidak memberikan data penanda aras, jaminan peringkat perkhidmatan, perbandingan kependaman atau penilaian bebas yang menunjukkan prestasi yang bertambah baik.
Model GPT-5.6 yang diterangkan dalam siaran menerima input teks dan imej dan mengembalikan teks. Setiap satu mempunyai tetingkap konteks 1 juta token, yang AWS katakan boleh menyokong dokumen panjang, pangkalan kod yang besar dan beban kerja yang menggabungkan teks dan imej dalam satu permintaan. Model boleh dipanggil melalui API Respons OpenAI, Pelengkapan Sembang yang serasi dengan OpenAI atau API Converse OpenAI Bedrock. AWS juga mendokumentasikan penggunaan melalui taman permainan konsol Bedrock dan mengatakan pelanggan SDK OpenAI sedia ada boleh dihalakan pada titik akhir Batuan Dasar.
Siaran termasuk butiran operasi untuk penempatan. Penggunaan pengebilan dan kuota dijejaki terhadap akaun di Wilayah sumber, manakala entri CloudWatch dan CloudTrail direkodkan di sana. AWS mengatakan bahawa profil India menggunakan titik akhir masa jalan batuan asas, di mana ciri Batuan Dasar seperti Guardrails, penghalaan segera pintar dan inferens merentas Wilayah tersedia. Beban kerja sedia ada menggunakan titik akhir mantel batuan dasar kekal disokong, tetapi pelanggan mesti menggunakan masa jalanan batuan dasar untuk menggunakan profil geografi India.
Butiran sumber: aws.amazon.com ↗
Mengapa ia penting
Perubahan itu menyasarkan organisasi yang memerlukan pemastautin data India di samping memerlukan akses kepada kapasiti awan terkumpul. Ia boleh memudahkan penggunaan untuk beban kerja yang melibatkan dokumen panjang, pangkalan kod yang besar, input teks dan imej bercampur, sistem dapatkan semula dan ejen AI. Sumber tidak menyediakan ukuran prestasi bebas, harga atau bukti penerimaan pelanggan.
Kepentingan praktikal tertumpu dalam residensi data dan pengurusan kapasiti. AWS mengatakan permintaan menggunakan profil geografi India dihalakan hanya antara Mumbai dan Hyderabad, jadi gesaan dan output yang dijana boleh bergerak antara kedua-dua Wilayah tersebut tetapi kekal dalam negara. Bagi organisasi yang dasar atau kewajipan sektornya memerlukan pemprosesan India, yang menawarkan pilihan penggunaan yang berbeza daripada profil inferens global yang mungkin menghantar permintaan ke Wilayah AWS komersial yang disokong di seluruh dunia.
Ciri ini mungkin berkaitan dengan perkhidmatan kewangan, penjagaan kesihatan dan organisasi sektor awam, yang AWS dikenal pasti secara jelas sebagai contoh pelanggan yang mempunyai keperluan pemprosesan data tempatan. Sumber itu tidak menetapkan bahawa mana-mana pengawal selia, pelanggan atau juruaudit bebas telah meluluskan pengaturan itu. Ia juga tidak menerangkan cara sesebuah organisasi harus menentukan sama ada keperluan undang-undang, kontrak atau keselamatannya sendiri dipenuhi oleh pemprosesan serantau sahaja.
Keupayaan model yang diterangkan oleh AWS boleh menjadikan profil berguna untuk aplikasi yang menghantar berulang kali tetingkap konteks yang besar, termasuk pengekstrakan dokumen, analisis kod, penjanaan ditambah perolehan dan beban kerja ejen. Caching segera disokong di bawah profil India, dan AWS mengatakan bacaan cache dibilkan pada diskaun 90 peratus berbanding dengan token input yang tidak dicache. Itu ialah tuntutan harga AWS dalam sumber, bukan anggaran yang disahkan secara bebas bagi jumlah penjimatan aplikasi; kos sebenar akan bergantung pada penggunaan, tingkah laku cache, volum keluaran dan perkhidmatan lain.
Pemantauan berpusat juga boleh mengurangkan kerja pentadbiran. AWS mengatakan kiraan invokasi, kiraan token, kependaman, pendikit dan ralat diterbitkan mengikut profil inferens, manakala CloudTrail merekodkan medan inferensRegion yang menunjukkan sama ada permintaan telah diproses di Mumbai atau Hyderabad. Ini boleh membantu pelanggan mengaudit penghalaan geografi tanpa mengaitkan log merentas Wilayah. Pengumuman itu tidak menyatakan sama ada kawalan ini memberikan keterlihatan lengkap ke dalam setiap pemprosesan hiliran atau fungsi sokongan di luar laluan inferens model.
Mekanisme Interaktif: Bagaimana Ia Berfungsi Sebenarnya
Terokai teknologi asas di sebalik pembangunan ini secara interaktif.
crm_get_transaction(id='4092').What is a common training objective for an autoregressive language model?
Apa yang perlu ditonton seterusnya
Organisasi perlu mengesahkan ketersediaan serantau, harga, kuota, kependaman, syarat pengekalan dan konfigurasi IAM sebelum penggunaan pengeluaran. Profil India sahaja berbeza daripada profil global Bedrock, yang boleh menghalakan permintaan GPT-5.6 ke AWS Wilayah di seluruh dunia. AWS juga mengatakan kandungan yang dibenderakan oleh pengelas pengesanan penyalahgunaan mungkin dikekalkan untuk pengesanan luar talian walaupun model pengekalan data sifar lalainya.
Isu pertama untuk mengesahkan ialah ketersediaan dan kapasiti sebenar. AWS mengarahkan pelanggan ke dokumentasi ketersediaan model serantau dan mengatakan penghalaan bergantung pada kapasiti, tetapi siaran itu tidak menerbitkan kuota, kependaman dijangka, sasaran masa beroperasi atau perbandingan dengan inferens Wilayah tunggal. Pasukan pengeluaran harus menguji beban kerja mereka sendiri, terutamanya permintaan multimodal yang besar dan lonjakan trafik, sebelum menganggap bahawa penghalaan merentas Wilayah akan memberikan tahap prestasi tertentu.
Pengendalian data memerlukan pembacaan yang teliti terhadap pengecualian. AWS menerangkan Amazon Batuan Dasar sebagai menggunakan model pengekalan data sifar secara lalai, bermakna input dan output tidak biasanya disimpan. Walau bagaimanapun, sumber mengatakan kandungan yang dibenderakan oleh pengelas pengesanan penyalahgunaan automatik untuk model tertentu, termasuk GPT-5.6, dikekalkan untuk pengesanan penyalahgunaan luar talian. Pengumuman itu tidak menyatakan tempoh pengekalan, kriteria pengelasan, proses pengendalian atau skop akses, jadi butiran tersebut kekal tidak diketahui penting untuk penggunaan sensitif.
Konfigurasi keselamatan dan akses mungkin menjadi kekangan penggunaan. AWS berkata peranan IAM mesti diberikan akses kepada profil inferens, model asas dalam Wilayah sumber dan model asas dalam setiap Wilayah destinasi. Organisasi yang menggunakan Dasar Kawalan Perkhidmatan mesti membenarkan kedua-dua ap-south-1 dan ap-south-2; menyekat sama ada boleh menyebabkan inferens merentas Wilayah gagal. Pasukan juga perlu menyemak sama ada pembekal identiti mereka, proses kelayakan, pendekatan kunci API dan kawalan rangkaian sedia ada menyokong konfigurasi yang didokumenkan.
Akhir sekali, pelanggan harus membezakan profil geografi India daripada profil global. AWS mengatakan profil global menyokong model GPT-5.6 termasuk Sol, Terra dan Luna tetapi mungkin mengarahkan permintaan ke seluruh dunia untuk kapasiti maksimum. Profil India ialah pilihan yang relevan untuk mengekalkan inferens dalam negara. Sumber tidak menyatakan sama ada semua ciri model, parameter, peringkat harga atau varian masa hadapan akan tersedia secara sama dalam kedua-dua mod penghalaan, menjadikan semakan dokumentasi yang berterusan diperlukan.