Kvíz spojený s průvodcem · Těžko úroveň
BloombergGPT a kvíz Financial LLMs
Pochopte nastavení výzkumu BloombergGPT, porovnejte finanční a obecné modely a vyhodnoťte finanční výstupy podle datovaných zdrojů.
Otázka 1 z 8
Co článek o BloombergGPT uvádí o jeho předtrénovacích datech?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co článek o BloombergGPT uvádí o jeho předtrénovacích datech?
- A mixture of financial and general-purpose text
- Only private analyst recommendations
- Only unlabeled stock-price time series
- A corpus consisting entirely of SEC filings
- Co dokazuje silné skóre na jednom finančním benchmarku?
- The model is safe for every trading decision
- Performance on that benchmark under its test setup
- That every financial fact is current
- That a model will outperform on all languages
- Proč hodnotit extrakci čísel odděleně od plynulých souhrnů?
- Fluency guarantees arithmetic
- Numbers do not appear in financial documents
- A polished summary can still contain an incorrect figure or period
- Numerical tests cannot use source documents
- Jak by mělo být získané podání použito ve workflow finančního LLM?
- Assume the model will calculate every figure correctly
- Remove the filing date to simplify the prompt
- Treat a citation as investment advice
- Verify claims and calculations against the dated filing
- Která sada hodnocení je užitečná při porovnávání obecných a specializovaných finančních modelů?
- The same representative held-out examples for both models
- Different questions chosen to favor each model
- Only prompts used during training
- A set containing only easy positive cases
- Why check a financial model for temporal leakage?
- To make its output more persuasive
- Future information in a test example can make results look unrealistically strong
- To remove all source documents
- It is required to increase model size
- What should a model do when asked about a figure in a filing?
- Invent a likely number when retrieval fails
- Hide the currency and period
- Preserve units and reporting period and support the figure with the source
- Use a recent figure from another company
- How should teams use BloombergGPT’s published benchmark findings?
- As a guarantee for every financial task
- As proof proprietary data always improve models
- As a replacement for their own validation
- As evidence limited to the benchmarks and methods reported