前提
自然言語処理について勉強しています。
Wikipediaのdumpデータから本文を抜き出して処理をしようと思ってます。
実行時に使っているパッケージが利用できなくて困ってます．
ソースコードとエラー
python
#import mecab #mecabでエラーが出たので一旦コメント化しているimport gensim from gensim.models.doc2vec import Doc2Vec def opens(): model= Doc2Vec.load("/content/drive/MyDrive/jawiki.doc2vec.dbow300d.model") return model def cntS(t, d, theta): s = 0 for x in d: if model.similarity(t, x) >= theta: s += 1 return s #model = Doc2Vec.load("jawiki.doc2vec.dbow300d.model")text = "湖山池 湖山池 は 鳥取 県 鳥取 市 に ある 湖 で ある なお 池 と 付く 湖沼 の 中 で は 日本 の 広 さ で も ある 姉妹 湖 として 島根 県 の 神西湖 が ある 湖山池 は 、 鳥取 で は 中海 の に 大きい 湖沼 で 古代 に 日本海 から し た 場所 が 砂丘 の 発達 や 堆積 により 海 と さ れ て でき た 海 跡 湖 で も ある 。 大小 の 小島 が 浮かぶ の 島 の 青島 に は から 架橋 さ れ て おり の 木 が 植え られ た 道路 で 徒歩 や 自転車 により する こと が でき キャンプ も 数 本 の が 、 川 によって 日本海 と 結ば れ て おり 鳥取 市 郊外 の 地 の と なっ て いる 地区 で は 的 に も 珍しい 石 漁 が に 行わ れ 石 の に 潜む を 棒 で つつい て する で 、 県 の 文化財 に さ れ て いる の 自治 や NPO が に 努め て い て 、 間 中 に は 石 祭 も 行わ れる 。 姉妹 湖 の 神西湖 シジミ も よく 穫 れる 。 広大 な を 有し て い た 長者 が 、 日没 まで に 田植え が 終わら なかっ た 扇子 で を 招き 返し て 田植え を 終え た が 、 一夜 明ける と 田 は 池 に 変わっ て い た という 長者 の 伝説 が 知ら れ て いる 似 た よう な 話 が 岐阜 市 の が 池 に 伝わっ て いる 古く から 開け た 地域 で あり 青島 周辺 に は 縄文 時代 から 弥生 時代 にかけて の 遺跡 が また 時代 に は 東側 の 湖畔 に 守護 所 で ある 天神山 城 が 置か れ 西側 の 湖畔 に 突き出 た 半島 に は 国人 領主 の 吉岡 氏 の 居城 だっ た が 築か れ た は JR 山陰本線 駅 駅 1995 年 7 月 27 日 鳥取 駅 が 加わっ た また 、 鳥取 駅 駅 の 間 で は 南 に 池 の 美しい 風景 が 見える ちなみに の 海 は 松林 で ある 。 2013 年 3 月 、 アザラシ が 発見 さ れ た 。 2012 年 3 月 に が と なっ た 川 を通じて 日本海 から 入っ て き た と 考え られる 2 2014 年 10 月 19 日 約 30 年 に 船 の を 3 画像 青島 石 が ま 歌川 脚注 脚注 の 国土 地理 院 2018 年 10 月 1 日 平成 30 年 都道府県 面積 調 湖沼 面積 2019 年 2 月 3 日 閲覧 日本 の 池 、 水門 鳥取 初 の 化 47 2012 年 3 月 12 は 濃度 の 上昇 に 伴い 環境 が 変化 し た 存在 し ない 類 が し から し て い た 類 が 絶滅 し つつ ある ニュース 山陰放送 山陰放送 2014 年 10 月 20 日 閲覧 関連 に は 湖山池 に 関連 する カテゴリ が あり ます 日本 の 湖沼 天神山 城 石 漁 東郷池 鳥取 県 中部 に ある 湖 で は も 池 と 呼ぶ " m = MeCab.Tagger("-Ochasen") f=open('simw_d2v_2.txt',"w")nouns = [line.split()[0] for line in m.parse(text).splitlines() if "名詞" in line.split()[-1]] #ここをへんこうするfor str in nouns: str.split()fx=opens()#モデル読み込み #str内に格納済み#print(nouns)#中身の確認a=0l_size=len(nouns) #ここで重複単語の除外print("重複単語除外")nouns2 = []for x in nouns: if not x in nouns2: nouns2.append(x) l_size2=len(nouns2)print(nouns2)print(l_size2,"単語")listn=[[None]*l_size2 for i in range(l_size2)]
eroor
Traceback (most recent call last): File "deftest.py", line 2, in <module> import gensim #mecabでも同様のエラー ImportError: No module named gensim ”””＃以下省略
実現したいこと
mecabとgensimを読み込んで利用できるようにしたいです．
やったこと
- mecab,gensimの入れ直し（既にあると返される．）
補足情報（FW/ツールのバージョンなど）
MacBookπ路（2017）macos:11.6
editor:Code
usage: /System/Library/Frameworks/Python.framework/Versions/2.7/Resources/Python.app/Contents/MacOS/Python [option] ... [-c cmd | -m mod | file | -] [arg] ...
Try `python -h' for more information.
piplist
Package Version
certifi 2022.9.24
charset-normalizer 2.1.1
gensim 4.2.0
idna 3.4
mecab 0.996.3
mecab-python3 1.0.5
numpy 1.23.5
pandas 1.5.2
pip 22.3.1
plac 1.3.5
protobuf 4.21.9
python-dateutil 2.8.2
pytz 2022.6
requests 2.28.1
scipy 1.9.3
setuptools 65.4.1
six 1.16.0
smart-open 6.2.0
tqdm 4.64.1
unidic 1.1.0
urllib3 1.26.13
wasabi 0.10.1
wheel 0.37.1
0 コメント