The most appropriate value depends on the density of your data Perplexity： https://www.perplexity.ai 部分平台的使用方法可以看下面这个文章，如果采用硅基流动，注册时输入邀请码：QvHOEKsq，我们各自可以获得14元代金券： Loosely speaking, one could say that a larger / denser dataset requires a larger perplexity.
回答数 878，获得 150,156 次赞同编者按：当大模型已能“写对”内容，如何让文档也“好看、易读”成为办公智能体转型的新焦点。微软亚洲研究院携手香港中文大学、中国科学院大学提出了一个专注于评估文档“结构与样式”专业性的奖励模型 DocReward。该模型为智能体生成的文档提供了清晰、可.
Why is lower perplexity an indicator of better generalization.
②使用上述代码，如果正常的话，则会得到随着主题数k增加而减小的perplexity曲线。 但是我却得到了随主题数增加，一直递增的困惑度曲线图 (在有限的k值范围内)，甚至当我把k值设置到80，100，150时困惑度仍然没有减小，大概如下图。 I'm confused about how to calculate the perplexity of a holdout sample when doing latent dirichlet allocation (lda) The papers on the topic breeze over it, making me think i'm missing something ob. Perplexity可以粗略的理解为“对于一篇文章，我们的LDA模型有多 不确定 它是属于某个topic的”。 topic越多，Perplexity越小，但是越容易 overfitting。 我们利用Model Selection找到Perplexity又好，topic个数又少的topic数量。 可以画出Perplexity vs num of topics曲线，找到满足要求的.
Below i am using perplexity=50, max_iter=2000, early_exag_coeff=12, stop_lying_iter=1000) Here is what i get, on the left unlabeled, and on the right colored according to the ground truth
