pyconjp 2017に参加して来ました

概要

9月7,8,9,10で開催されたpyconjp 2017に参加してきました。
カンファレンスは8,9でしたが、7にチュートリアル、10に開発スプリントが開催されています。
また、今年はCfPをだしたが採択されなかったトークを喋るRejectConも開催されたようです。
今年のテーマは「OUTPUT ＆ FOLLOW」
公式サイト : https://pycon.jp/2017/ja/

セッション感想

セッションのスライドはだいたい公開されており、toggterにもまとまっていたので詳しくはそちら
セッションのメモは以下

野球を科学する技術〜Pythonを用いた統計ライブラリ作成と分析基盤構築

https://speakerdeck.com/shinyorke/ye-qiu-woke-xue-suruji-shu-pythontotong-ji-raiburaritofen-xi-ji-pan-number-pyconjp

野球ユニフォームで登壇が正装
分析基盤を構築した話をする
- 気軽に作って壊せる
- 使いたい・試したいライブラリを積極活用
- OSSにする
DBはMySQL
データはスクレイピング(Scrapy)、時系列データとして使いたいのでAirflow
実験はjupyter
scrapyはクローラー界のRoRと読んでいいぐらい高機能
airflow
- ジョブ管理
- 結構高機能
- 意外と苦労した
分析
- 定期的に見るか、分析に使うかで使い分ける
- 定期的はRedash
- 実験とかはjupyter

Pythonで大量データ処理！PySparkを用いたデータ分析のきほん

https://speakerdeck.com/chie8842/pythondeda-liang-detachu-li-pysparkwoyong-itadetachu-li-tofen-xi-falsekihon

データ量がスケールしても動く
大規模データに対する機械学習
上記のような時にSpark
RDDはJVMで実行しないから遅い
PySparkでpandasとDataFrameで変換すると遅い
- 100ｋのデータの変換に7分かかる
apache Arrow https://japan.zdnet.com/article/35078163/

Kivyによるアプリケーション開発のすすめ

https://www.slideshare.net/JunOkazaki1/pyconjp2017-kivy

python3.5
mac,Linuxでも動くはず
MITライセンス、Qtとは違う！
UIはkvという独自言語
- kvはCSSのBootstrapのようなもの
- kvを使用するのが普通、その方がコードが簡潔
kivyを今使うのは結構たいへんそう
デモは良さげ

len()関数がオブジェクトの長さを手にいれる仕組み

https://www.slideshare.net/shimizukawa/how-does-python-get-the-length-with-the-len-function

len()が戻り値の型をintで保証
Adapter Patternで実装されている
スライドがすごく分かりやすかった
公式ドキュメントの「デザインと歴史」を読めばいろいろわかりそう https://docs.python.org/ja/3/faq/design.html

Pythonistaで始めるiOSプロトタイプ開発

iOSで動くIDE、pythonが書ける

Pythonと機械学習によるWebセキュリティの自動化

https://www.mbsd.jp/insight.html https://t.co/thfG8n2080

Webアプリケーション診断を自動化
従来
- アプリをクローリングして疑似攻撃
- 判定
少ない手数で脆弱性を検出する(いろいろするわけではない)
- HTML,JSの理解 - LSTM
- 防除機構の回避 - 多層パーセプトロン、Q学習、GA
LSTM
- 時系列データを対象としたアルゴリズム
高度すぎてついていけなかった

2日目keynote

https://speakerdeck.com/sinhrks/pandasdefalseosshuo-dong-shi-li-tozui-chu-false-bu

pythonと科学計算
- プログラマー以外でもpythonを使ってプログラムをする人が増えてる
- SciPy2017に行ってきた話 9日間開催
  - クレータの解析をpythonでした話
pandasのOSS活動
- pandas : データ分液のためのデータ構造を提供するパッケージ
  - 現実の汚いデータ(フォーマットがバラバラ)を効率的に扱えるのが便利
  - データの理解、データ準備に使用される
OSS活動最初の一歩
- コミッタの役割の話は興味深い
  - インフラの整備とかもやってる
  - プロダクトとコミュニティの品質の維持をやるのが大事
  - プロダクト品質の維持

Pythonで実現する4コマ漫画の分析・評論 2017

https://slideship.com/users/@esuji/presentations/2017/08/FSKS46VL9ivVSpUE4Gaamh/

情熱駆動開発!!
OCRは三国志の人と同じGoogle OCR
誰が何処に出ているか等も分析したい
- dlibの物体検出器で人物判定
- 横向き、後ろ向き、顔の重なりがあるのでそれを調査
  - 期待した精度はでなかった
- 検出人物の分類
  - CNNを利用
  - だめだった

The theory of Serverless development by Python (理論から学ぶPythonによるサーバレス開発)

https://slideship.com/users/@marcy-terui/presentations/2017/09/9PzXZzcJfBR1ENEMmMbGSf/ https://www.slideshare.net/acloudguru/ant-stanley-being-serverless

Serverlessとは
- 管理すべきサーバがない
- サーバOSがない
- 常駐サーバプロセスがない
Function as a Service
- 関数単位で独立した環境とリソースを提供
- 関数単位で横にスケール
- 高い抽象度
Function SaaS
- 単独ではサービスとしては簡潔しない
  - Fully featured Saasはその逆で単独で簡潔するもの
  - APIエンドポイント,データストア,認証、検索
- プラットフォームの一部だったり
  - AWSならAPI Gateway, DynamoDB etc
Serverlessがどうして登場したのか
- システム開発は他者への依存を高める方向へ向かっている
どのように実装するか
- 実態はDockerが多い
  - 特定のイベントによってコンテナが起動されて関数が実行される
  - VMよりも起動のオーバーヘッドは小さいが、オーバーヘッド自体はある
  - オーバーヘッドがあるので、一度起動したコンテナを再利用することもある
- イベント駆動
  - 何かがトリガーとなって起動する(タイマー、クラウドリソースの変化、画面操作etc)
  - 1イベントにつきふうくすうのFunctionを実行可能
- pull型のPub/Subモデル
Serverlessに向いているもの
- IoT
  - IN/OUTが明確で各ステップでスケール調整できるのがGood
- ユーザ行動データ解析
- 特定のイベントに連動していろんなSaaSが動くやつ
- 普通のWeb APIアプリケーションには向いていない
  - RequestとResponseが一対一で同期的だから
DBAとのコネクションコストを考える