Doc2Vecを使った自然言語処理の環境を整える

自然言語処理に手を出してみようとDoc2Vecを使えるような環境を作った際のメモ.

実際にDoc2Vec を入れる際には以下のブログを参考にさせて頂きました.

deepage.net

つまずいた点

自分の環境はMacで, 実際にgensim を入れる際に以下のようなエラーが起きてしまった.

Installing collected packages: six, numpy, scipy, requests
  Found existing installation: six 1.4.1
    DEPRECATION: Uninstalling a distutils installed project (six) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project.
    Uninstalling six-1.4.1:
Exception:
Traceback (most recent call last):
  File "/Library/Python/2.7/site-packages/pip/basecommand.py", line 215, in main
    status = self.run(options, args)
  File "/Library/Python/2.7/site-packages/pip/commands/install.py", line 342, in run
    prefix=options.prefix_path,
  File "/Library/Python/2.7/site-packages/pip/req/req_set.py", line 778, in install
    requirement.uninstall(auto_confirm=True)
  File "/Library/Python/2.7/site-packages/pip/req/req_install.py", line 754, in uninstall
    paths_to_remove.remove(auto_confirm)
  File "/Library/Python/2.7/site-packages/pip/req/req_uninstall.py", line 115, in remove
    renames(path, new_path)
  File "/Library/Python/2.7/site-packages/pip/utils/__init__.py", line 267, in renames
    shutil.move(old, new)
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 302, in move
    copy2(src, real_dst)
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 131, in copy2
    copystat(src, dst)
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 103, in copystat
    os.chflags(dst, st.st_flags)
OSError: [Errno 1] Operation not permitted: '/tmp/pip-FH29Lr-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info'

エラーの内容を見るとどうやらsix 1.4.1 というものが上手くアンインストールできてないみたい.

調べていくsix がすでに入っているので一度アンインストールすれば良いみたいだったので以下のコマンドを入力する.

sudo pip install gensim --upgrade --ignore-installed six

これで一応successという表示がでたのでアンインストールされていると思いgensimをインストールすると同じようなエラーが発生......

Mac で標準で入っているものが悪さしているのかなあと思い, gensimのみanaconda経由でインストールしてみた.

shsm385.hatenablog.com

gensimのインストール

$ pip install --upgrade pip

# anaconda のアップデート
$ conda update anaconda
$ conda update conda

# インストール
$ conda install gensim

#インストールの確認
$ python
>> import gensim

これでエラーが出なければgensimのインストールは完了です.

あとは上記参考記事からtutorialを動かしていくだけ

MacのPythonをアンインストールして環境を構築し直す

自分のPCの中のPythonの環境がごちゃごちゃになっていたので, 一度整理したくなったのでアンインストールしてMacの標準の状態に戻して, 自然言語処理を少しかじるためにHomebrew + pyenv + Anaconda という環境を構築しました.

 

アンインストール

自分でpython3 をいれていたのと, Homebrew経由でpython をいれていたのでそれらを削除します.

$ brew uninstall python
$ brew uninstall pyenv

4. Macintosh で Python を使う — Python 2.7.13 ドキュメント

自分で入れたPython等については"/Library/Frameworks/Python.framework"に入っていて, ライブラリは"/Library/Python/"に関連コマンドは"/usr/local/bin/"内にあるらしいのでそれらの中のPython3を削除します.

このリンクにかかれている用に, AppleサードパーティのソフトウェアがPython2.7等を使っているので, バックアップをしっかりととって自己責任でいじりましょう.

 環境構築

Homebrew + pyenv + anacondaを構築していきます.

Homebrew

パッケージ管理ツール

pyenv

Pythonのバージョン管理ツール, 2.X , 3.Xへの切り替えが可能. 複数バージョンの切り替えが楽になります.

anaconda

Pythonや, 科学計算やデータ分析などのライブラリがセットで入っているパッケージ.

 

Homebrewのインストール

$ /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
$
brew update && brew upgrade

 pyenvのインストール

Homebrew経由でpyenvをインストールします. その後にpassを通します.

$ brew install pyenv
$ echo 'export PYENV_ROOT="${HOME}/.pyenv"' >> ~/.bash_profile $ echo 'export PATH="${PYENV_ROOT}/bin:$PATH"' >> ~/.bash_profile $ echo 'eval "$(pyenv init -)"' >> ~/.bash_profile $ exec $SHELL -l

 anacondaのインストール

インストールできるバージョンを確認してanacondaをインストールします.

$ pyenv install --list

# python 3.X系
$ pyenv install anaconda3-4.4.0
$ pyenv global anaconda3-4.4.0

# pytohn 2.X系
$ pyenv install anaconda3-4.4.0
$ pyenv global anaconda3-4.4.0

# バージョンの確認
$ python --version

# これらの表示がでれば成功
Python 3.6.1 :: Anaconda 4.4.0 (x86_64)
Python 2.7.11 :: Anaconda 4.0.0 (x86_64)