Doc2Vecを使った自然言語処理の環境を整える

自然言語処理に手を出してみようとDoc2Vecを使えるような環境を作った際のメモ.

実際にDoc2Vec を入れる際には以下のブログを参考にさせて頂きました.

deepage.net

つまずいた点

自分の環境はMacで, 実際にgensim を入れる際に以下のようなエラーが起きてしまった.

Installing collected packages: six, numpy, scipy, requests
  Found existing installation: six 1.4.1
    DEPRECATION: Uninstalling a distutils installed project (six) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project.
    Uninstalling six-1.4.1:
Exception:
Traceback (most recent call last):
  File "/Library/Python/2.7/site-packages/pip/basecommand.py", line 215, in main
    status = self.run(options, args)
  File "/Library/Python/2.7/site-packages/pip/commands/install.py", line 342, in run
    prefix=options.prefix_path,
  File "/Library/Python/2.7/site-packages/pip/req/req_set.py", line 778, in install
    requirement.uninstall(auto_confirm=True)
  File "/Library/Python/2.7/site-packages/pip/req/req_install.py", line 754, in uninstall
    paths_to_remove.remove(auto_confirm)
  File "/Library/Python/2.7/site-packages/pip/req/req_uninstall.py", line 115, in remove
    renames(path, new_path)
  File "/Library/Python/2.7/site-packages/pip/utils/__init__.py", line 267, in renames
    shutil.move(old, new)
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 302, in move
    copy2(src, real_dst)
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 131, in copy2
    copystat(src, dst)
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 103, in copystat
    os.chflags(dst, st.st_flags)
OSError: [Errno 1] Operation not permitted: '/tmp/pip-FH29Lr-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info'

エラーの内容を見るとどうやらsix 1.4.1 というものが上手くアンインストールできてないみたい.

調べていくsix がすでに入っているので一度アンインストールすれば良いみたいだったので以下のコマンドを入力する.

sudo pip install gensim --upgrade --ignore-installed six

これで一応successという表示がでたのでアンインストールされていると思いgensimをインストールすると同じようなエラーが発生......

Mac で標準で入っているものが悪さしているのかなあと思い, gensimのみanaconda経由でインストールしてみた.

shsm385.hatenablog.com

gensimのインストール

$ pip install --upgrade pip

# anaconda のアップデート
$ conda update anaconda
$ conda update conda

# インストール
$ conda install gensim

#インストールの確認
$ python
>> import gensim

これでエラーが出なければgensimのインストールは完了です.

あとは上記参考記事からtutorialを動かしていくだけ

Macに入っている各種Pythonをアンインストールして環境を構築し直す

自分のPCの中のPythonの環境がごちゃごちゃになっていたので, 一度整理したくなったのでアンインストールしてMacの標準の状態に戻して, 自然言語処理を少しかじるためにHomebrew + pyenv + Anaconda という環境を構築しました.

 

アンインストール

自分でpython3 をいれていたのと, Homebrew経由でpython をいれていたのでそれらを削除します.

$ brew uninstall python
$ brew uninstall pyenv

4. Macintosh で Python を使う — Python 2.7.13 ドキュメント

自分で入れたPython等については"/Library/Frameworks/Python.framework"に入っていて, ライブラリは"/Library/Python/"に関連コマンドは"/usr/local/bin/"内にあるらしいのでそれらの中のPython3を削除します.

このリンクにかかれている用に, AppleサードパーティのソフトウェアがPython2.7等を使っているので, バックアップをしっかりととって自己責任でいじりましょう.

 環境構築

Homebrew + pyenv + anacondaを構築していきます.

Homebrew

パッケージ管理ツール

pyenv

Pythonのバージョン管理ツール, 2.X , 3.Xへの切り替えが可能. 複数バージョンの切り替えが楽になります.

anaconda

Pythonや, 科学計算やデータ分析などのライブラリがセットで入っているパッケージ.

 

Homebrewのインストール

$ /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
$
brew update && brew upgrade

 pyenvのインストール

Homebrew経由でpyenvをインストールします. その後にpassを通します.

$ brew install pyenv
$ echo 'export PYENV_ROOT="${HOME}/.pyenv"' >> ~/.bash_profile $ echo 'export PATH="${PYENV_ROOT}/bin:$PATH"' >> ~/.bash_profile $ echo 'eval "$(pyenv init -)"' >> ~/.bash_profile $ exec $SHELL -l

 anacondaのインストール

インストールできるバージョンを確認してanacondaをインストールします.

$ pyenv install --list

# python 3.X系
$ pyenv install anaconda3-4.4.0
$ pyenv global anaconda3-4.4.0

# pytohn 2.X系
$ pyenv install anaconda3-4.4.0
$ pyenv global anaconda3-4.4.0

# バージョンの確認
$ python --version

# これらの表示がでれば成功
Python 3.6.1 :: Anaconda 4.4.0 (x86_64)
Python 2.7.11 :: Anaconda 4.0.0 (x86_64)

 

Raspberry Pi 3にVPNサーバを立てる(L2TP/IPsec)

Raspberry Pi 3 にSoftEtherを使ってVPNサーバを立ててみました.

 

環境

サーバー側

クライアント側

 

1.SoftEtherのインストールと設定

ほとんどやり方をまとめて頂いているブログさんがあったので基本的に下の通りにやったらできます.

myenigma.hatenablog.com

SoftEtherのページはこちらです.

SoftEther VPN プロジェクト - SoftEther VPN プロジェクト

 

設定のコマンドメモ

バックグラウンドで走らせるために /etc/init.d/vpnserver に書き込みます.

また, 再起動しても VPNサーバが起動するように設定します.

 

2.アカウント作成

手元にWindowsがないため, CUIで設定していきます.

ターミナルを起動して以下のように作成.

3.L2TP/IPsecの対応

L2TP/IPsecに対応するように設定を行います.

以下, コマンド.

接続のためには幾つかのUDPポートを開ける必要があるみたいなので開けます.

  • UDP4500
  • UDP500

4.VPNで接続

MacVPN接続するためには最初に設定が必要なので以下のページの通りに設定します.

Mac OS X からの接続方法 - SoftEther VPN プロジェクト

これで接続できるようになったはずです.

 

Raspberry Pi 3 のssh接続と初期設定

Raspberry Pi 3 の設定を手元で行う際のメモです.

初期設定

sudo raspi-config コマンドで設定画面を表示して 1 Change User Password でパスワードの再設定を行う.

設定していないと初期パスワードは raspberry になっている.

f:id:shsm385:20170814010724p:plain

次に, 4 Localisation Option の中で Timezone を Asia の中の Tokyo に変更.

Local を jp utf-8 等に変更する.

設定を終えたら一度 reboot する.

上手く設定できていたら日本語化までされるはず.

次にRaspberry Piファームウェア等の update を行う.

その後に root のパスワードの設定を行う.

Raspberry Pi update設定

ついでに自分は設定し易い用に vim もいれておきました.

SSH接続

sudo raspi-config  の中の 5 Interfacing Options を選択.

P2 SSH という欄を選択して Enableにします.

これによって sshサーバが立ち上がります.

他のPCからsshコマンド

ssh ホスト名@IPアドレス

を打つことでログインができます.

IPアドレスRaspberry Pi側で ifconfigコマンドを打つことで調べられます.

IPアドレスの固定

ssh接続はできるようになりましたが, DHCPによってIPアドレスが決まっているのでIPアドレスが変わる可能性があるため, IPアドレスを固定します.

Raspberry Piでは /etc/dhcpcd.conf に設定を書き込むことでIPを固定できます.

IP固定(Raspberry Pi)

注意事項

 もしも無線でつながっているRaspberry Pi の固定IPを設定したい場合にはインターフェースを eth0ではなく wlan0 に設定しましょう.

セキュリティ

Port 番号が 22番のままだと攻撃されやすいのでポート番号を変更します.

ポート番号の設定

 

 

 

 

 

 

 

 

 

 

Raspberry Pi 3 に BSKBB24BKをつなげる

Raspberry Pi3 には Bluetooth機能が付いているので手元に余っていた キーボードBSKBB24BK をつなげる際に少しひかかったので設定をメモ.

自分のは繋げた際に UK 配列になっていたみたい.

 

設定

ターミナル上で sudo raspi-config で設定画面を表示.

f:id:shsm385:20170814010917p:plain

4 Localisation Option を選択.

すると行くるか設定の選択がでるので, 13 Chabge Keybord Layout を選択.

f:id:shsm385:20170814011044p:plain

すると設定するキーボードを選択できるようになるので,

標準 105 キー 国際 PC (Generic 105-Key(Intel) PC) を選択.

f:id:shsm385:20170814010904p:plain

その後に選択肢が出てくるので,  Others を選択してその後に US を選択する.

その後に Alt 等の設定が聞かれますがそこはご自由に.

設定が完了したら reboot することで設定が反映されます.

 日本語入力の設定

キーボードの設定は終わってもそのままでは日本語入力ができないので, できるようにしましょう.

ターミナルから sudo apt-get install ibus-anthyAnthy を取ってきましょう.

インストール終了後に設定の中に iBus の設定という項目があるので, そこで日本語入力切り替えの設定ができます.

デフォルトでは space で切り替えになっています.

 

 

Amazonハンズオンセミナーに参加してみた

先日京都大学で行われたAmazonハンズオンセミナーに参加してみた。

参加前

AWSさんにはイベントで話を聞いてみて、カスタマーサポートの職のほうに興味を持ったところ、内定者の方からセミナーとかあるよーと聞いたために、参加してみた。(京都ということで近かったし)

流れ

・企業説明

AWSを用いたWebアプリケーションを作ってみる

・懇親会

企業説明

AWSがどれくらい使われているとか、どんな部門があるかとかの説明を受けた。

今回AWSさんが募集するのは、カスタマーサポート的な部門とソリューションアーキテクトという部門らしい。

ソリューションアーキテクトは話を聞いているとITコンサルに近いかたちに感じた。

(ソリューションアーキテクトは今年から新卒の募集始めたらしい。)

詳しくは下のHPとか見てもらえるとよく分かると思う。

aws.amazon.com

AWS体験

一通りの説明が終わった後に、実際にAWSを用いて簡単なWebアプリケーションをつくる体験を行っていった。

電球の明るさを切り替えられるアプリ

f:id:shsm385:20170201160033p:plain

Server less のワークショップの一種としてあるみたいなので、興味がある人は是非やってみてください。

以下のURLが完成品。

AWS Serverless Workshop - Master Light Bulb

自分は英語の発音が悪くてなかなか切り替わってくれなかった。

懇親会

東京からサポートエンジニアの方もきてくれていたので、その方々と話をした。

僕は友人と参加していたので、2人でAWSに聞いたり、就活について聞いたりした。

感想

AWSいいっすねえ〜〜〜〜!

今回参加してみて、AWSを触れられてよかったです。

元々学部生のサポート的なアルバイトとかを好きでやっていたりしたので、内容にもすごく興味がもてたし、AWSのサービスだけで、ここまでサーバサイドが楽に管理できるなら、Webアプリケーションも作りやすいし管理しやすいとおもいました。

EC2のサービスは前回使ったことがありましたが、それ以外の部分に触れられてとても良かったです。

第5回 git challenge に参加してきた

株式会社mixiさんが開催しているイベントgit challengeに参加してきました。

                                    f:id:shsm385:20170131012009j:plain

git challengeとは?

Gitを使う上で起こりうる問題を競技形式で解いていくという楽しい技術イベント。

詳しくは下のサイトとか見てください。

alpha.mixi.co.jp

申し込み

git って普段研究のプログラムとか開発で使っているけど、もっと勉強したいなと思っていたところに、逆求人を通じて mixi のかたから紹介していただき、応募しました。抽選とのことでしたが無事に通っていたので、過去の参加者のブログを読んだり、を読んだりして勉強してました。(わりと役に立ちました。)

当日

午前

当日の朝、mixiさんのビルを間違えたり、道に迷ったりとさんざんフラフラしながら遅刻ギリギリについてしまった。今後参加する人は自分みたいにならないようにちゃんとビルの名前は確認しましょう(笑)

午前中は git についての説明や簡単なチュートリアルをおこなって頂きました。

お昼

節分ということで巻きずしを頂きました。

f:id:shsm385:20170131002553j:plain

チームのメンターとしてついてくれた社員さんとご飯を一緒にさせていただき、mixiグループのお話とか楽しく聞かせていただきました。同じ関西出身の方がついてくださったので、話しやすかったです。

午後

チームにわかれて競技を行いました。競技が終わったあとには懇親会がありました。

競技

2人1チームです。

自分はTeam-alphaということで同じ関西地区出身の odan 君と組みました。競プロ勢の方でした。僕自身もちょっとかじっていたりいたので共通の話題で盛り上がったりしていました。

問題の内容は書くと怒られちゃうので雰囲気だけ書いとくと下の感じになります。

  • git の基本的なコマンドは知っとかないとだめ
  • 普段あんまり馴染みのないコマンドとか機能とか使った
  • git のデータ構造とか .git の中身まで知っとくといいかも

難易度は、簡単な ★✕1 からはじまって ★✕2 など難しい問題難易度が ★✕6 までありました。自分たちのチームは ★✕1 の問題を交互に挑戦していく方針で解いていきました。

互いに問題の読み間違いとか、詰まったりする部分があって、結構時間を食ってしまう部分がありましたが、そこはチーム作業ということで、詰まっているときに互いの担当している問題を取り替えてみると一瞬でとけるということが結構ありました。チームって素晴らしい!!

結果的に僕達のチームは4位でしたので入賞は逃してしまいましたが、とても勉強になって楽しかったです。

競技あとは問題の解説ということで、基本的な問題の方針とかを説明していただきました。解説を聞きながら、なるほどと思ったりもう少しで解けたと悔しくなったりしました。

懇親会

f:id:shsm385:20170131010003j:plain

社員の方や参加者の方と問題等について話しました。お酒もでます。プレモルでした。(ビールがでるのは最高だよなあ。)内定者の方も来てくださっていたので、就活の相談とかも気軽にできて良かったです。参加者の方々も近況を聞くと結構就活とか結構進んでたりしたので、自分もしっかりしようと思いました。

感想

今回のイベントに参加することで、Git について勉強になったし、なにより楽しかったです。競技型だと得ることが多いですね。

自分たちは競技中にチームとしての連携をうまくできたなと感じていました。チームの大切さも体験できて良かったです。(最下位からの一転攻勢)

助けてくれたり、アドバイスをくれた相方の odan 君にはマジで感謝!!

あとは、治安の悪い git の怖さも思い知りました。今後は git の治安をよくしていきます。(切実)

最後に、運営に関わってくださったみなさまありがとうございました。また、参加者の皆様お疲れ様でした。