Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Bài kiểm tra LLM tài chính và GPT của Bloomberg

Hiểu cách thiết lập nghiên cứu của BloombergGPT, so sánh các mô hình tài chính và mô hình chung, đồng thời đánh giá kết quả đầu ra tài chính dựa trên bằng chứng nguồn ngày tháng.

Đường dẫn hướng dẫn liên quanBloomberggpt và LLM tài chính
Câu hỏi 1 của 8

Bài báo BloombergGPT đã báo cáo gì về dữ liệu đào tạo trước của nó?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Bài báo BloombergGPT đã báo cáo gì về dữ liệu đào tạo trước của nó?
    • A mixture of financial and general-purpose text
    • Only private analyst recommendations
    • Only unlabeled stock-price time series
    • A corpus consisting entirely of SEC filings
  2. Điểm số cao trên một tiêu chuẩn tài chính thiết lập điều gì?
    • The model is safe for every trading decision
    • Performance on that benchmark under its test setup
    • That every financial fact is current
    • That a model will outperform on all languages
  3. Tại sao đánh giá việc trích xuất số tách biệt với tóm tắt trôi chảy?
    • Fluency guarantees arithmetic
    • Numbers do not appear in financial documents
    • A polished summary can still contain an incorrect figure or period
    • Numerical tests cannot use source documents
  4. Nên sử dụng hồ sơ được truy xuất như thế nào trong quy trình LLM tài chính?
    • Assume the model will calculate every figure correctly
    • Remove the filing date to simplify the prompt
    • Treat a citation as investment advice
    • Verify claims and calculations against the dated filing
  5. Bộ đánh giá nào hữu ích khi so sánh các mô hình tổng quát và chuyên ngành tài chính?
    • The same representative held-out examples for both models
    • Different questions chosen to favor each model
    • Only prompts used during training
    • A set containing only easy positive cases
  6. Why check a financial model for temporal leakage?
    • To make its output more persuasive
    • Future information in a test example can make results look unrealistically strong
    • To remove all source documents
    • It is required to increase model size
  7. What should a model do when asked about a figure in a filing?
    • Invent a likely number when retrieval fails
    • Hide the currency and period
    • Preserve units and reporting period and support the figure with the source
    • Use a recent figure from another company
  8. How should teams use BloombergGPT’s published benchmark findings?
    • As a guarantee for every financial task
    • As proof proprietary data always improve models
    • As a replacement for their own validation
    • As evidence limited to the benchmarks and methods reported