Numba 0.16.0 へのアップデート (Mavericks)

MacBook Pro Retina, Mid 2012 の Numba を 0.16.0 にアップデートする．

• Mountain Lion から Mavericks にアップデート (現在 10.9.5)．

LLVM と llvmlite をまずインストールする必要がある．

LLVM

最新版 version 3.5.1 を入れる．

$ brew info llvm
llvm: stable 3.5.1 (bottled), HEAD
...

RTTI とやらを設定しなくてもそのままでうまくいく．

$ brew install llvm

llvmlite

そのまま pip install するとエラーが出る．
LLVM_CONFIG_PATH をちゃんと設定しないといけない．

$ export LLVM_CONFIG=/usr/local/opt/llvm/bin/llvm-config
$ pip install llvmlite

Successfully installed llvmlite と出た．

enum34 というのが必要：

$ pip install enum34

$ python -m llvmlite.tests

OK．

Numba

$ pip install numba -U

問題なく Successfully installed numba と出た．

パフォーマンス：
The Need for Speed – quant-econ より

from numba import jit
import numpy as np

def qm(x0, n):
    x = np.empty(n+1)
    x[0] = x0
    for t in range(n):
        x[t+1] = 4 * x[t] * (1 - x[t])
    return x

qm_numba = jit(qm)

%timeit qm(0.1, int(1e6))
1 loops, best of 3: 805 ms per loop

%timeit qm_numba(0.1, int(1e6))
100 loops, best of 3: 3.85 ms per loop

追記：Numba 0.17.0 へのアップデート

Numba 0.17.0 が出ていたのでアップデートする．

$ pip install numba -U

問題なく Successfully installed numba と出た．

import numba とすると

ImportError: please install the 'funcsigs' package ('pip install funcsigs')

とエラーが出る．

言われるとおり

$ pip install funcsigs

これで問題なく import できるようになった．

Julia のインストール (Mavericks) 2

Julia v0.3.2 を MacBook Pro Retina, Mid 2012 にインストールする．

• Mavericks 10.9.5
• Homebrew でいろいろ管理している

github.com/staticfloat/homebrew-julia にあるとおりにインストールする：

$ brew update
$ brew tap staticfloat/julia
$ brew install julia

問題なくインストールされた．

$ which julia
/usr/local/bin/julia
$ julia --version
julia version 0.3.2

テストもやっておく：

$ brew test -v julia

SUCCESS と出た．

とりあえず IJulia と PyPlot をインストールしておく：

julia> Pkg.add("IJulia")

julia> Pkg.add("PyPlot")

IPython Notebook 上で動かすことができる：

$ ipython notebook --profile=julia

問題なく動いた．

Julia のインストール (Mavericks) 1

Julia v0.3.2 を MacBook Air, 11-inch, Mid 2013 にインストールする．

• Mavericks 10.9.5
• Anaconda 2.1.0 がインストールされている

julialang.org/downloads から .dmg ファイルをダウンロードしてきて，展開して「アプリケーション」フォルダにコピーするだけ． 起動すると，ターミナルで

$ exec '/Applications/Julia-0.3.2.app/Contents/Resources/julia/bin/julia'

が実行されて起動する． とりあえず IJulia と PyPlot をインストールしておく：

julia> Pkg.add("IJulia")

julia> Pkg.add("PyPlot")

IPython Notebook 上で動かすことができる：

$ ipython notebook --profile=julia

問題なく動いた．

Python パッケージ群のアップデート：pip-tools

pip-tools を使って一気にアップデートする．

$ pip install pip-tools

一括アップデートするなら：

$ pip-review --auto

$ pip-review
Everything up-to-date

ただ，なぜか setuptools が「最新バージョンではない」と認識されない：

$ pip list -o
setuptools (Current: 5.5.1 Latest: 6.0.2)

これだけ個別にアップデート：

$ pip install setuptools -U

また，llvmpy (0.12.7-5-gc0ae9c2) をインストールしたあとに pip-review でアップデートしようとすると，”0.12.7-5-gc0ae9c2″ が「最新バージョンでない」と認識されてしまうので，インタラクティブにアップデート：

$ pip-review --interactive

...

llvmpy==0.12.7 is available (you have 0.12.7-5-gc0ae9c2)
Upgrade now? [Y]es, [N]o, [A]ll, [Q]uit n

...

IPython Notebook でエラー (Snow Leopard)

Snow Leopard で，tornado を 4.0.2 にアップデートすると，以前と同様 IPython Notebook で “WebSocket connection failed” というエラーが出る．

tornado のバージョンを 3.2.2 に落とす：

$ pip install tornado==3.2.2

これでちゃんと python とつながるようになった．

Numba のインストール (Mavericks, Snow Leopard)

Numba を MacBook Pro Retina, Mid 2012 にインストールする．

• Mountain Lion から Mavericks にアップデート (現在 10.9.5)．

$ gcc --version
Configured with: --prefix=/Applications/Xcode.app/Contents/Developer/usr --with-gxx-include-dir=/usr/include/c++/4.2.1
Apple LLVM version 6.0 (clang-600.0.51) (based on LLVM 3.5svn)
Target: x86_64-apple-darwin13.4.0
Thread model: posix

LLVM と llvmpy をまずインストールする必要がある．

LLVM

最新版では llvmpy が動かないそうなので，version 3.3 を入れる．

$ brew search llvm
llvm
homebrew/versions/llvm-gcc28  homebrew/versions/llvm32     homebrew/versions/llvm34
homebrew/versions/llvm31      homebrew/versions/llvm33     homebrew/versions/llvm35

環境変数 REQUIRES_RTTI を設定して，--rtti オプションをつけてインストールする．

$ export REQUIRES_RTTI=1
$ brew install homebrew/versions/llvm33 --rtti

gmp4, isl011, cloog018 とともに問題なくインストールされた．

参考にしたページ：

• Installing numba on osx
• Building and running llvm-py on Mac OS X

llvmpy

そのまま pip install するとエラーが出る．
LLVM_CONFIG_PATH をちゃんと設定しないといけない．

$ export LLVM_CONFIG_PATH=/usr/local/opt/llvm33/lib/llvm-3.3/bin/llvm-config
$ pip install git+https://github.com/llvmpy/llvmpy

Warning が出たが Successfully installed llvmpy と出た．

$ python -c "import llvm; llvm.test()"

OK．

Numba

$ pip install numba

Warning が出たが Successfully installed numba と出た．

パフォーマンス：
The Need for Speed – quant-econ より

from numba import jit
import numpy as np

def qm(x0, n):
    x = np.empty(n+1)
    x[0] = x0
    for t in range(n):
        x[t+1] = 4 * x[t] * (1 - x[t])
    return x

qm_numba = jit(qm)

%timeit qm(0.1, int(1e6))
1 loops, best of 3: 2.83 s per loop

%timeit qm_numba(0.1, int(1e6))
100 loops, best of 3: 5.61 ms per loop

約500倍速くなった．

Snow Leopard

Snow Leopard へのインストールも全く同じ方法でうまくいく．

• Snow Leopard 10.6.8．

$ gcc --version
i686-apple-darwin10-gcc-4.2.1 (GCC) 4.2.1 (Apple Inc. build 5666) (dot 3)
Copyright (C) 2007 Free Software Foundation, Inc.
This is free software; see the source for copying conditions. There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

パフォーマンス：

%timeit qm(0.1, int(1e6))
1 loops, best of 3: 817 ms per loop

%timeit qm_numba(0.1, int(1e6))
100 loops, best of 3: 6.58 ms per loop

約120倍速くなった．

Python パッケージ群のアップデート (Snow Leopard)

Mac Pro Quad-Core (MacPro4,1) の Python パッケージ群をアップデートする．

• Snow Leopard 10.6.8．

Outdated なパッケージたち：

$ pip list -o
setuptools (Current: 5.4.2 Latest: 5.5.1)
Cython (Current: 0.20.1 Latest: 0.20.2)
ipython (Current: 1.2.0 Latest: 2.2.0)
Jinja2 (Current: 2.7.2 Latest: 2.7.3)
MarkupSafe (Current: 0.18 Latest: 0.23)
nose (Current: 1.3.0 Latest: 1.3.3)
numpy (Current: 1.8.0 Latest: 1.8.2)
pandas (Current: 0.13.1 Latest: 0.14.1)
pyparsing (Current: 2.0.1 Latest: 2.0.2)
pytz (Current: 2013.9 Latest: 2014.4)
pyzmq (Current: 14.0.1 Latest: 14.3.1)
scipy (Current: 0.13.3 Latest: 0.14.0)
six (Current: 1.5.2 Latest: 1.7.3)
tornado (Current: 3.2 Latest: 4.0)

まず

$ pip --version
pip 1.5.6 from /usr/local/Cellar/python/2.7.8/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/pip-1.5.6-py2.7.egg (python 2.7)
$ pip install pip -U
Requirement already up-to-date: pip in /usr/local/lib/python2.7/site-packages/pip-1.5.6-py2.7.egg
Cleaning up...

一気にアップデートする方法もあるようだが，少ないので手動で一つずつアップデートすることに．

$ pip install numpy -U

Warning が出たが Successfully installed numpy と出た．

$ pip install scipy -U

Warning が大量に出たが Successfully installed scipy と出た．

$ pip install pyzmq -U

Warning が出たが Successfully installed pyzmq と出た．

$ pip install jinja2 -U

Warning が出たが Successfully installed jinja2 markupsafe と出た．

$ pip install ipython -U

あっさり Successfully installed ipython gnureadline と出た．

$ pip install pandas -U

Warning がたくさん出たが Successfully installed pandas pytz six と出た．

$ pip install cython -U

Warning が出たが Successfully installed cython と出た．

$ pip install nose -U

問題なし．

$ pip install pyparsing -U

問題なし．

$ pip install tornado -U

問題なし．

$ pip install setuptools -U

問題なし

Python を 2.7.8 にアップデートしたので，Matplotlib は最新版だが -I オプションをつけて再インストールする：

$ pip install matplotlib -I

すると

pip can't proceed with requirement 'numpy>=1.5 (from matplotlib)' due to a pre-existing build directory.
...
Please delete it and try again.

...

とエラーが出たので，言われるとおりディレクトリを消去して再度

$ pip install matplotlib -I

今度は問題なくSuccessfully installed matplotlib numpy python-dateutil tornado pyparsing nose six certifi backports.ssl-match-hostname と出た．

ついでに：

SymPy (0.7.5)

$ pip install sympy

mpmath (0.19)

$ pip install mpmath

両者とも問題なくインストールされた．

 IPython Notebook でエラー

IPython Notebook を立ち上げると，”WebSocket connection failed” というウィンドウが出て python とつながらない．

アップデートした tornado (4.0) があやしそうなので，それまでのバージョンに落としてみる：

$ pip install tornado==3.2

これがビンゴで，python とつながるようになった．

パッケージたち：

$ pip list
backports.ssl-match-hostname (3.4.0.2)
certifi (14.05.14)
Cython (0.20.2)
gnureadline (6.3.3)
ipython (2.2.0)
Jinja2 (2.7.3)
MarkupSafe (0.23)
matplotlib (1.3.1)
mpmath (0.19)
nose (1.3.3)
numpy (1.8.2)
pandas (0.14.1)
pip (1.5.6)
Pygments (1.6)
pyparsing (2.0.2)
python-dateutil (2.2)
pytz (2014.4)
pyzmq (14.3.1)
scipy (0.14.0)
setuptools (5.5.1)
six (1.7.3)
sympy (0.7.5)
tornado (3.2)
wsgiref (0.1.2)

Homebrew upgrade (Snow Leopard)

Homebrew で Mac Pro Quad-Core (MacPro4,1) にインストールしたソフトウェア群を久しぶりにアップデートする．

• Snow Leopard 10.6.8．

まず

$ brew doctor

Warning がいくつか．

$ brew missing
r: pixman gettext libffi glib cairo

と出る．

$ brew update

で formula が大量にアップデートされた．
Outdated なものたち：

$ brew outdated
cmake (2.8.12.2 < 3.0.1)
git (1.8.5.2 < 2.0.4)
gmp (5.1.3 < 6.0.0a)
isl (0.12.1 < 0.12.2)
libmpc (1.0.1 < 1.0.2)
mpfr (3.1.2 < 3.1.2-p8)
pyqt (4.10.3 < 4.11.1)
pyside (1.2.1 < 1.2.2)
python (2.7.6 < 2.7.8)
qt (4.8.5 < 4.8.6)
r (3.0.2 < 3.1.1)
readline (6.2.4 < 6.3.6)
shiboken (1.2.1 < 1.2.2)
sip (4.15.4 < 4.16.1)
sqlite (3.8.3 < 3.8.5_1)
zeromq (4.0.3 < 4.0.4)

一気にアップデートする．

$ brew upgrade

1時間ちょっとかかってとくに問題なくアップデート終了．

$ which python
/usr/local/bin/python
$ python --version
Python 2.7.8

Python のインストール (Mavericks) 3

Python 環境 Anaconda 2.0.1 を MacBook Air, 11-inch, Mid 2013 にインストールする．

• Mavericks 10.9.4

もともと入っているのは 2.7.5．

$ which python
/usr/bin/python
$ python --version
Python 2.7.5

“Continuum Analytics” のダウンロードのページからインストーラをダウンロードしてインストールする．

マニュアルの Mac Install にあるように “自分専用にインストール” を選ぶ．

ホームディレクトリにインストールされる：

$ which python
/Users/oyama/anaconda/bin/python
$ python --version
Python 2.7.7 :: Anaconda 2.0.1 (x86_64)

(PATH を書き換えてくれる．)

パッケージ一覧：

$ pip list
argcomplete (0.6.7)
astropy (0.3.2)
atom (0.3.7)
backports.ssl-match-hostname (3.4.0.2)
beautifulsoup4 (4.3.1)
binstar (0.5.3)
bitarray (0.8.1)
blaze (0.5)
blz (0.6.2)
bokeh (0.4.4)
boto (2.28.0)
casuarius (1.1)
cdecimal (2.3)
chaco (4.4.1)
colorama (0.2.7)
conda (3.5.5)
conda-build (1.3.5)
configobj (5.0.5)
cubes (0.10.2)
Cython (0.20.1)
DataShape (0.2)
docutils (0.11)
enable (4.3.0)
enaml (0.9.1)
Flask (0.10.1)
future (0.12.1)
gevent (1.0.1)
gevent-websocket (0.9.3)
greenlet (0.4.2)
grin (1.2.1)
h5py (2.3.0)
ipython (2.1.0)
itsdangerous (0.24)
jdcal (1.0)
Jinja2 (2.7.2)
kiwisolver (0.1.2)
llvmpy (0.12.6)
lxml (3.3.5)
MarkupSafe (0.18)
matplotlib (1.3.1)
mock (1.0.1)
multipledispatch (0.4.3)
networkx (1.8.1)
nltk (2.0.4)
nose (1.3.3)
numba (0.13.2)
numexpr (2.3.1)
numpy (1.8.1)
openpyxl (1.8.5)
pandas (0.14.0)
patsy (0.2.1)
pep8 (1.5.6)
PIL (1.1.7)
pip (1.5.6)
ply (3.4)
psutil (2.1.1)
py (1.4.20)
PyAudio (0.2.7)
pycosat (0.6.1)
pycparser (2.10)
pycrypto (2.6.1)
pycurl (7.19.3.1)
pyface (4.4.0)
pyflakes (0.8.1)
Pygments (1.6)
pyparsing (2.0.1)
pytest (2.5.2)
python-dateutil (1.5)
pytz (2014.3)
PyYAML (3.11)
pyzmq (14.3.0)
redis (2.9.1)
requests (2.3.0)
rope (0.9.4)
runipy (0.1.0)
scikit-image (0.10.0)
scikit-learn (0.14.1)
scipy (0.14.0)
setuptools (3.6)
six (1.6.1)
Sphinx (1.2.2)
spyder (2.3.0rc)
SQLAlchemy (0.9.4)
statsmodels (0.5.0)
sympy (0.7.5)
tables (3.1.1)
tornado (3.2.1)
traits (4.4.0)
traitsui (4.4.0)
ujson (1.33)
Werkzeug (0.9.6)
wsgiref (0.1.2)
xlrd (0.9.3)
XlsxWriter (0.5.5)
xlwt (0.7.5)

Supported Packages

Python パッケージ群のアップデート (Mavericks) 1

MacBook Pro Retina, Mid 2012 の Python パッケージ群をアップデートする．

• Mountain Lion から Mavericks にアップデート (現在 10.9.4)．

Outdated なパッケージたち：

$ pip list -o
setuptools (Current: 5.3 Latest: 5.4.1)
Cython (Current: 0.20.1 Latest: 0.20.2)
ipython (Current: 1.2.0 Latest: 2.1.0)
Jinja2 (Current: 2.7.2 Latest: 2.7.3)
MarkupSafe (Current: 0.18 Latest: 0.23)
nose (Current: 1.3.0 Latest: 1.3.3)
numpy (Current: 1.8.0 Latest: 1.8.1)
pandas (Current: 0.13.1 Latest: 0.14.1)
pyparsing (Current: 2.0.1 Latest: 2.0.2)
pytz (Current: 2013.9 Latest: 2014.4)
pyzmq (Current: 14.0.1 Latest: 14.3.1)
scipy (Current: 0.13.3 Latest: 0.14.0)
six (Current: 1.5.2 Latest: 1.7.3)
tornado (Current: 3.2 Latest: 4.0)

まず

$ pip --version
pip 1.5.6 from /usr/local/Cellar/python/2.7.8/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/pip-1.5.6-py2.7.egg (python 2.7)
$ pip install --upgrade pip
Requirement already up-to-date: pip in /usr/local/lib/python2.7/site-packages/pip-1.5.6-py2.7.egg
Cleaning up...

一気にアップデートする方法もあるようだが，少ないので手動で一つずつアップデートすることに．

$ pip install numpy -U

問題なし．

$ pip install scipy -U

問題なし．

$ pip install pandas -U

Warning が大量に出たが Successfully installed pandas pytz six と出た．

Python を 2.7.8 にアップデートしたので，Matplotlib は最新版だが -I オプションをつけて再インストールする：

$ pip install matplotlib -I

問題なく Successfully installed matplotlib numpy nose python-dateutil tornado pyparsing six certifi backports.ssl-match-hostname と出た．

$ pip install ipython -U

あっさり Successfully installed ipython gnureadline と出た．
notebook も qtconsole も問題なく立ち上がった．

$ pip install cython -U

問題なし．

$ pip install setuptools -U

問題なし．

$ pip install Jinja2 -U

Warning が出たが Successfully installed Jinja2 markupsafe と出た．

$ pip install nose -U

問題なし．

$ pip install pyparsing -U

問題なし．

$ pip install tornado -U

問題なし．

なんとなく依存関係が心配になったので再度 Matplotlib を強制インストール (不要だったか)：

$ pip install matplotlib -I

問題なく Successfully installed matplotlib numpy nose python-dateutil tornado pyparsing six certifi backports.ssl-match-hostname と出た．

パッケージたち：

$ pip list
backports.ssl-match-hostname (3.4.0.2)
certifi (14.05.14)
Cython (0.20.2)
gnureadline (6.3.3)
ipython (2.1.0)
Jinja2 (2.7.3)
MarkupSafe (0.23)
matplotlib (1.3.1)
nose (1.3.3)
numpy (1.8.1)
pandas (0.14.1)
pip (1.5.6)
Pygments (1.6)
pyparsing (2.0.2)
python-dateutil (2.2)
pytz (2014.4)
pyzmq (14.3.1)
scipy (0.14.0)
setuptools (5.4.1)
six (1.7.3)
tornado (4.0)
wsgiref (0.1.2)

Homebrew upgrade (Mavericks)

Homebrew で MacBook Pro Retina, Mid 2012 にインストールしたソフトウェア群を久しぶりにアップデートする．

• Mountain Lion から Mavericks にアップデート (現在 10.9.4)．

まず

$ brew doctor

Warning がいくつか．

$ brew missing
octave: arpack
r: fontconfig pixman gettext libffi glib cairo

と出る．

$ brew update

で formula が大量にアップデートされた．
Outdated なものたち：

$ brew outdated
cmake (2.8.10.1, 2.8.12.2 < 3.0.0)
dotwrp (1.0 < 1.1)
fftw (3.3.2 < 3.3.4)
fltk (1.3.0 < 1.3.2_1)
freetype (2.4.10 < 2.5.3_1)
gd (2.0.36RC1 < 2.1.0_2)
git (1.8.0 < 2.0.1)
glpk (4.47 < 4.52)
gmp (5.0.5, 5.1.3 < 6.0.0a)
gnu-sed (4.2.1 < 4.2.2)
gnuplot (4.6.1 < 4.6.5)
graphicsmagick (1.3.17 < 1.3.19_1)
hdf5 (1.8.9 < 1.8.13)
isl (0.12.1 < 0.12.2)
libmpc (1.0.1 < 1.0.2)
libpng (1.5.13 < 1.6.12)
lua (5.1.4 < 5.1.5)
mpfr (3.1.1-p2 < 3.1.2-p8)
octave (3.6.3 < 3.8.1)
pcre (8.31, 8.34 < 8.35)
pyqt (4.10.3 < 4.10.4)
pyside (1.2.1 < 1.2.2)
python (2.7.6 < 2.7.8)
qt (4.8.5 < 4.8.6)
r (3.0.2 < 3.1.0)
readline (6.2.4 < 6.3.6)
shiboken (1.2.1 < 1.2.2)
sip (4.15.4 < 4.16.1)
sqlite (3.8.3 < 3.8.5)
suite-sparse (4.0.2 < 4.2.1)
swig (2.0.12 < 3.0.2)
tbb (4.1u1 < 4.2.4)
texinfo (4.13a < 5.2)
zeromq (4.0.3 < 4.0.4)

一気にアップデートする！

$ brew upgrade

30分くらいして，Octave を update するところで，veclibfort とやらのインストールに失敗：

==> Installing octave dependency: veclibfort
==> Using Homebrew-provided fortran compiler.
This may be changed by setting the FC environment variable.
==> Downloading https://github.com/mcg1969/vecLibFort/archive/0.3.0.tar.gz
######################################################################## 100.0%
==> make all
==> make check
gfortran -o tester -O tester.f90 vecLibFort.o -framework vecLib
make: gfortran: No such file or directory
make: *** [check] Error 1

...

Octave は アップデートされないまま．

$ brew outdated
octave (3.6.3 < 3.8.1)
$ brew missing
qrupdate: veclibfort

Python はアップデートされた．

$ python --version
Python 2.7.8

X11 XQuartz を 2.7.6 にアップデートしてから

$ brew install veclibfort

をしても関係なし．同じエラーが出る．

現在入っている gfortran のバージョン：

$ gfortran --version
GNU Fortran (GCC) 4.7.2
...

gfortran 単体ではインストールできなくなった：

$ brew install gfortran
Error: No available formula for gfortran
GNU Fortran is now provided as part of GCC, and can be installed with:
 brew install gcc

ここにもあるし，Homebrew 版 gcc  をインストールしてみる．

$ brew install gcc
==> Downloading https://downloads.sf.net/project/machomebrew/Bottles/gcc-4.8.3_1.mavericks.bottle.tar.gz
######################################################################## 100.0%
==> Pouring gcc-4.8.3_1.mavericks.bottle.tar.gz
Error: The `brew link` step did not complete successfully
The formula built, but is not symlinked into /usr/local
Could not symlink bin/gfortran
Target /usr/local/bin/gfortran
is a symlink belonging to gfortran. You can unlink it:
 brew unlink gfortran

Error が出たので，言われるとおり

$ brew unlink gfortran
Unlinking /usr/local/Cellar/gfortran/4.7.2... 3 symlinks removed

そして

$ brew link gcc
Linking /usr/local/Cellar/gcc/4.8.3_1... 29 symlinks created

gfortran が使えるようになった：

$ gfortran --version
GNU Fortran (Homebrew gcc 4.8.3_1) 4.8.3
...

再度

$ brew install veclibfort

今度は通った．
改めて

$ brew upgrade

imagemagick のところで error が出たが気にしないことにする．
その他 warning が出たが octave がインストールされた．