对Python中gensim库word2vec的使用

这篇文章主要介绍了关于对python中gensimword2vec的使用,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下

pip install gensim安装好库后,即可导入使用:

1、训练模型定义

from gensim.models import Word2Vec model = Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4)

登录后复制

参数解释:

立即学习“Python免费学习笔记(深入)”;

1.sg=1是skip-gram算法,对低频词敏感;默认sg=0为CBOW算法。

2.size是输出词向量的维数,值太小会导致词映射因为冲突而影响结果,值太大则会耗内存并使算法计算变慢,一般值取为100到200之间。

3.window是句子中当前词与目标词之间的最大距离,3表示在目标词前看3-b个词,后面看b个词(b在0-3之间随机)。

4.min_count是对词进行过滤,频率小于min-count的单词则会被忽视,默认值为5。

5.negative和sample可根据训练结果进行微调,sample表示更高频率的词被随机下采样到所设置的阈值,默认值为1e-3。

6.hs=1表示层级softmax将会被使用,默认hs=0且negative不为0,则负采样将会被选择使用。

7.workers控制训练的并行,此参数只有在安装了Cpython后才有效,否则只能使用单核。

详细参数说明可查看word2vec源代码。

2、训练后的模型保存与加载

model.save(fname) model = Word2Vec.load(fname)

登录后复制

3、模型使用(词语相似度计算等)

model.most_similar(positive=['woman', 'king'], negative=['man']) #输出[('queen', 0.50882536), ...]  model.doesnt_match("breakfast cereal dinner lunch".split()) #输出'cereal'  model.similarity('woman', 'man') #输出0.73723527  model['computer'] # raw numpy vector of a word #输出array([-0.00449447, -0.00310097, 0.02421786, ...], dtype=float32)

登录后复制

其它内容不再赘述,详细请参考gensim的word2vec的官方说明,里面讲的很详细。

以上就是对Python中gensim库word2vec的使用的详细内容,更多请关注【创想鸟】其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至253000106@qq.com举报,一经查实,本站将立刻删除。

发布者:PHP中文网,转转请注明出处:https://www.chuangxiangniao.com/p/2262432.html

(0)
上一篇 2025年2月27日 06:54:29
下一篇 2025年2月24日 21:15:28

AD推荐 黄金广告位招租... 更多推荐

相关推荐

  • 解决python大批量读写.doc文件的问题

    这篇文章主要介绍了关于解决python大批量读写.doc文件的问题,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下 前言: java语言读写.doc的出现乱码问题: 大家都知道当我们利用java语言读写.doc文件时,无论是利…

    编程技术 2025年2月27日
    200
  • Python 批量合并多个txt文件的实例讲解

    这篇文章主要介绍了关于python 批量合并多个txt文件的实例讲解,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下 实例如下所示: # -*- coding:utf-8 -*-  #os模块中包含很多操作文件和目录的函数 i…

    编程技术 2025年2月27日
    200
  • Python使用OpenCV进行标定

    这篇文章主要介绍了关于python使用opencv进行标定,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下 本文结合OpenCV官方样例,对官方样例中的代码进行修改,使其能够正常运行,并对自己采集的数据进行实验和讲解。 一、准…

    2025年2月27日
    200
  • Python 统计字数的思路详解

    这篇文章主要介绍了python 统计字数的思路详解,文中还给大家提供了不借助第三方模块的解决方法,感兴趣的朋友一起看看吧  问题描述: 用 Python 实现函数 count_words(),该函数输入字符串 s 和数字 n,返回 s 中 …

    编程技术 2025年2月27日
    200
  • 编程中常用的语言有哪些种类

    编程语言种类包括:编译型语言:提高执行速度(例:C、Java)解释型语言:逐行执行,速度较慢(例:Python、JavaScript)面向对象语言:强调数据封装、继承(例:C++、Python)面向过程语言:强调程序流程(例:C、Fortr…

    2025年2月27日
    200
  • Python 使用PIL numpy 实现拼接图片

    这篇文章主要介绍了关于python 使用pil numpy 实现拼接图片,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下 python纵向合并任意多个图片,files是要拼接的文件list # -*- coding:utf-8…

    编程技术 2025年2月27日
    200
  • 编程语言入门哪个比较实用

    最适用的入门编程语言:Python:简单好用,适用于数据科学、Web 开发和自动化。Java:稳定可靠,适用于企业软件和移动应用程序开发。C++:高性能、适用于操作系统和游戏开发。JavaScript:易于使用,适用于Web 应用程序和移动…

    2025年2月27日
    200
  • 对Python 网络设备巡检脚本的实例讲解

    这篇文章主要介绍了关于对python 网络设备巡检脚本的实例讲解,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下 1、基本信息 我公司之前采用的是人工巡检,但奈何有大量网络设备,往往巡检需要花掉一上午(还是手速快的话),浪费时…

    2025年2月27日
    200
  • 计算机编程语言有几种

    截至 2023 年 3 月,已知存在超过 700 种编程语言。它们可根据特性和用途进行分类,如面向过程、面向对象和函数式语言等。目前最流行的语言包括 Python、C、Java、C++ 和 C# 等。选择编程语言取决于项目需求、开发人员技能…

    2025年2月27日
    200
  • Python基于win32ui模块创建弹出式菜单

    这篇文章主要介绍了python基于win32ui模块创建弹出式菜单,结合实例形式分析了python使用win32ui模块创建弹出式菜单的具体步骤与相关操作技巧,并附带说明了win32ui模块的安装命令,需要的朋友可以参考下 本文实例讲述了P…

    编程技术 2025年2月27日
    200

发表回复

登录后才能评论