LLM Know What They Know

定义一个概念，$P(True)=\text{模型认为当前回答是正确的概率}$，通过 TODO 方式测量

团队让模型给出自己会这道题的概率。发现对于实际不会的题，模型给出概率偏低；对于实际会的题，模型给出概率偏高，这个趋势是能对上的。