在Python上基于Markov链生成伪随机文本的教程

 首先看一下来自wolfram的定义

    马尔可夫链是随机变量{X_t}的集合(t贯穿0,1,…),给定当前的状态,未来与过去条件独立。

Wikipedia的定义更清楚一点儿

    …马尔可夫链是具有马尔可夫性质的随机过程…[这意味着]状态改变是概率性的,未来的状态仅仅依赖当前的状态。

马尔可夫链具有多种用途,现在让我看一下如何用它生产看起来像模像样的胡言乱语。

立即学习“Python免费学习笔记(深入)”;

算法如下,

    找一个作为语料库的文本,语料库用于选择接下来的转换。     从文本中两个连续的单词开始,最后的两个单词构成当前状态。     生成下一个单词的过程就是马尔可夫转换。为了生成下一个单词,首先查看语料库,查找这两个单词之后跟着的单词。从它们中随机选择一个。     重复2,直到生成的文本达到需要的大小。

代码如下
 

import random class Markov(object):   def __init__(self, open_file):  self.cache = {}  self.open_file = open_file  self.words = self.file_to_words()  self.word_size = len(self.words)  self.database()      def file_to_words(self):  self.open_file.seek(0)  data = self.open_file.read()  words = data.split()  return words      def triples(self):  """ Generates triples from the given data string. So if our string were    "What a lovely day", we'd generate (What, a, lovely) and then    (a, lovely, day).  """     if len(self.words) 

为了看到一个示例结果,我们从古腾堡计划中拿了沃德豪斯的《My man jeeves》作为文本,示例结果如下。
 

In [1]: file_ = open('/home/shabda/jeeves.txt') In [2]: import markovgen In [3]: markov = markovgen.Markov(file_) In [4]: markov.generate_markov_text()Out[4]: 'Can you put a few years of your twin-brother Alfred,who was apt to rally round a bit. I should strongly advocatethe blue with milk'

登录后复制

[如果想执行这个例子,请下载jeeves.txt和markovgen.py
马尔可夫算法怎样呢?

    最后两个单词是当前状态。     接下来的单词仅仅依赖最后两个单词,也就是当前状态。     接下来的单词是从语料库的统计模型中随机选择的。

这是一个示例文本。

复制代码 代码如下:"The quick brown fox jumps over the brown fox who is slow jumps over the brown fox who is dead."

这个文本对应的语料库像这样,
 

{('The', 'quick'): ['brown'], ('brown', 'fox'): ['jumps', 'who', 'who'], ('fox', 'jumps'): ['over'], ('fox', 'who'): ['is', 'is'], ('is', 'slow'): ['jumps'], ('jumps', 'over'): ['the', 'the'], ('over', 'the'): ['brown', 'brown'], ('quick', 'brown'): ['fox'], ('slow', 'jumps'): ['over'], ('the', 'brown'): ['fox', 'fox'], ('who', 'is'): ['slow', 'dead.']}

登录后复制

现在如果我们从"brown fox"开始,接下来的单词可以是"jumps"或者"who"。如果我们选择"jumps",然后当前的状态就变成了"fox jumps",再接下的单词就是"over",之后依此类推。

提示

    我们选择的文本越大,每次转换的选择更多,生成的文本更好看。     状态可以设置为依赖一个单词、两个单词或者任意数量的单词。随着每个状态的单词数的增加,生成的文本更不随机。     不要去掉标点符号等。它们会使语料库更具代表性,随机文本更好看。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至253000106@qq.com举报,一经查实,本站将立刻删除。

发布者:PHP中文网,转转请注明出处:https://www.chuangxiangniao.com/p/2295239.html

(0)
上一篇 2025年2月28日 02:55:09
下一篇 2025年2月28日 02:55:22

AD推荐 黄金广告位招租... 更多推荐

相关推荐

发表回复

登录后才能评论