পরবর্তী আপপরবর্তী গাইড
DICOM এবং মেডিকেল ইমেজিং ডেটা ফরম্যাট
টেকনিক্যাল
প্রযুক্তিগত গাইড
Apache Parquet সারি গোষ্ঠীতে সংগঠিত কলামের অংশগুলিতে ডেটা সঞ্চয় করে, যা পাঠকরা কলামগুলির একটি উপসেট নির্বাচন করার সময় স্ক্যানকে দক্ষ করে তুলতে পারে এবং কম্প্রেশন, এনকোডিং বা পরিসংখ্যান ব্যবহার করতে পারে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
কর্মক্ষমতা ডেটা লেআউট, ক্যোয়ারী প্যাটার্ন, লেখক সেটিংস, এবং পাঠক সমর্থন উপর নির্ভর করে; কলামার স্টোরেজ প্রতিটি কাজের চাপের জন্য স্বয়ংক্রিয়ভাবে দ্রুত হয় না।
Parquet বিশ্লেষণাত্মক তথ্যের জন্য একটি খোলা কলাম-ভিত্তিক ফাইল বিন্যাস। একটি ফাইলে সারি গ্রুপ রয়েছে; প্রতিটি সারির গ্রুপে প্রতিটি ক্ষেত্রের জন্য একটি কলাম খণ্ড থাকে এবং কলামের অংশে পৃষ্ঠা থাকে। এই লেআউটটি একজন পাঠককে প্রতিটি সারির সমস্ত ক্ষেত্র অগত্যা না পড়েই নির্বাচিত কলামগুলি আনতে দেয়৷ ডেটা পৃষ্ঠাগুলি কলামের মানগুলির জন্য উপযুক্ত এনকোডিং এবং কম্প্রেশন ব্যবহার করতে পারে। মেটাডেটা কিছু ইঞ্জিনকে কাজ এড়াতেও সাহায্য করতে পারে। কলামের পরিসংখ্যান যেমন ন্যূনতম এবং সর্বোচ্চ মান, অভিধান এবং ঐচ্ছিক পৃষ্ঠা সূচী পাঠকদের এমন ডেটা এড়িয়ে যেতে দেয় যা ফিল্টারের সাথে মেলে না। এই অপ্টিমাইজেশানগুলির জন্য সামঞ্জস্যপূর্ণ পাঠক এবং দরকারী ডেটা সংস্থার প্রয়োজন৷ উদাহরণস্বরূপ, পৃষ্ঠা সূচীগুলি ঐচ্ছিক এবং সমস্ত সরঞ্জাম একইভাবে প্রতিটি বৈশিষ্ট্য ব্যবহার করে না। মেশিন-লার্নিং ওয়ার্কফ্লোগুলির জন্য, Parquet প্রশস্ত সারণী ডেটাসেটের জন্য উপযোগী হতে পারে যেখানে প্রশিক্ষণ বা বৈশিষ্ট্যের প্রশ্নগুলি কলামগুলির একটি উপসেট পড়ে। এটি টাইপ করা মান এবং নেস্টেড কাঠামো সমর্থন করে। CSV পরিদর্শন করা সহজ হতে পারে, কিন্তু এটি প্রায়ই টেক্সট পুনরাবৃত্তি করে এবং একই টাইপ করা মেটাডেটা নেই। কোন ফর্ম্যাট একা একটি সম্পূর্ণ টেবিল ক্যাটালগ, লেনদেন প্রোটোকল, বা প্রশিক্ষণ-ডেটাসেট সংস্করণ ইতিহাস সংজ্ঞায়িত করে না। কলামার ফর্ম্যাটগুলি ছোট র্যান্ডম সারি লুকআপ বা ঘন ঘন একক-সারি আপডেট দ্বারা প্রভাবিত কাজের চাপের জন্য কম উপযুক্ত হতে পারে। সারি-গ্রুপের আকার, পার্টিশন, কম্প্রেশন কোডেক, সাজানোর ক্রম, এবং স্কিমা বিবর্তন অনুশীলন কর্মক্ষমতা প্রভাবিত করে। বেঞ্চমার্ক প্রতিনিধি প্রকৃত ইঞ্জিন এবং স্টোরেজ সিস্টেমে পড়ে এবং লেখেন এবং প্রয়োজনে স্কিমা এবং ডেটাসেট মেটাডেটা আলাদাভাবে সংরক্ষণ করেন।
একটি প্রশিক্ষণের কাজ একটি প্রশস্ত Parquet টেবিল থেকে শুধুমাত্র সংখ্যাসূচক বৈশিষ্ট্য কলাম পড়ে।
একটি বিশ্লেষণাত্মক ক্যোয়ারী একটি নির্বাচনী টাইমস্ট্যাম্প ফিল্টার ব্যবহার করে যা অমিল সারি গোষ্ঠীগুলিকে এড়িয়ে যেতে পারে৷
বিতরণ করা প্রশিক্ষণের জন্য একটি লেআউট বেছে নেওয়ার আগে একটি দল সারি-গ্রুপের মাপ নির্ধারণ করে।
একটি অ্যাপ্লিকেশন একক-সারি আপডেটের জন্য একটি ডাটাবেস এবং ব্যাচ বিশ্লেষণের জন্য Parquet ব্যবহার করে।
Parquet বাস্তবায়ন পৃষ্ঠা সূচী, কম্প্রেশন কোডেক, এবং ইঞ্জিন জুড়ে আন্তঃকার্যযোগ্যতা প্রসারিত করতে পারে। আরও ভাল টুলিং একটি প্রশ্ন আসলে কলাম বা পৃষ্ঠাগুলি এড়িয়ে যায় কিনা তা প্রকাশ করতে পারে, টিউনিংকে আরও প্রমাণ-ভিত্তিক করে তোলে। ML পাইপলাইনগুলিকে এখনও ক্যাটালগ, স্কিমা গভর্নেন্স এবং ডেটাসেট সংস্করণের সাথে ফাইল ফর্ম্যাটগুলিকে যুক্ত করতে হবে। ভবিষ্যৎ সঞ্চয়স্থানের সিদ্ধান্তগুলি শুধুমাত্র ফর্ম্যাট জনপ্রিয়তার পরিবর্তে পরিমাপ করা কাজের চাপের ধরণগুলির উপর ভিত্তি করে হওয়া উচিত। অ্যাক্সিলারেটর এবং অবজেক্ট স্টোরগুলি বিকশিত হওয়ার সাথে সাথে, দলগুলিকে আবার সাধারণ প্রশ্নগুলির মানদণ্ড করা উচিত এবং বড় আপগ্রেড এবং স্থানান্তর করার আগে আন্তঃকার্যযোগ্যতা পর্যালোচনা করা উচিত।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
Apache Parquet সারি গোষ্ঠীতে সংগঠিত কলামের অংশগুলিতে ডেটা সঞ্চয় করে, যা পাঠকরা কলামগুলির একটি উপসেট নির্বাচন করার সময় স্ক্যানকে দক্ষ করে তুলতে পারে এবং কম্প্রেশন, এনকোডিং বা পরিসংখ্যান ব্যবহার করতে পারে। কর্মক্ষমতা ডেটা লেআউট, ক্যোয়ারী প্যাটার্ন, লেখক সেটিংস, এবং পাঠক সমর্থন উপর নির্ভর করে; কলামার স্টোরেজ প্রতিটি কাজের চাপের জন্য স্বয়ংক্রিয়ভাবে দ্রুত হয় না।
Parquet ডকুমেন্টেশন ফাইল, সারি গ্রুপ, কলাম খণ্ড, এবং পৃষ্ঠা বর্ণনা করে।
Parquet ধারণাগুলি সারি গোষ্ঠীর মধ্যে প্রতি কলামে একটি কলাম খণ্ড নির্দিষ্ট করে।
কলামার ফাইলগুলি বিশ্লেষণাত্মক অ্যাক্সেস প্যাটার্নের জন্য অপ্টিমাইজ করা হয়, প্রতিটি আপডেট কাজের চাপ নয়।
তারা কোন বৈশিষ্ট্যগুলি ব্যবহার করে এবং তারা কীভাবে সম্পাদন করে তা পাঠকদের মধ্যে পার্থক্য রয়েছে।
অর্ডার করা বা ক্লাস্টার করা ডেটা সর্বনিম্ন/সর্বোচ্চ মেটাডেটাকে আরও নির্বাচনী করে তুলতে পারে।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
DICOM এবং মেডিকেল ইমেজিং ডেটা ফরম্যাট
টেকনিক্যাল