UTF-8 化

16 owa 2003/12/07 23:21 id: mJs8kxp1Zus prob: 0.0%: ちょっと振り返ってみました
1. コンテンツのUTF-8 変換 -- OK
2. スクリプト -- ちょっと直す
3. RDB -- UTF8 にコンバート (kiyo さんのを参考にする)
4. 瓦版の RDFSummary -- 直す
5. ... OK
6. ... OK
というわけで、RDB 移植と RDFSummary の修正だけでいけそう。
段取りは、
0. セコ鯖に Data.fs 移植
1. コンテンツの UTF-8 変換
2. スクリプトや RDFSummary の修正
3. RDB の UTF8 化スクリプト作成
ここまで準備してから...
4. セコ鯖にアドレス変更 (BBS停止)
5. 別マシンで最新 RDB を UTF-8 に変換する
6. セコ鯖で BBS 開始
7. チャン鯖をゆっくり落ち着いて修正
8. チャン鯖にアドレスを戻す。
4,5,6 うまく行けば１分くらいの停止で済みそうだが、
全部やるには一月くらいかかるかも;;
あまりこういう処でぐずぐずしてるのは嫌だす

15 owa 2003/12/06 23:53 id: mJs8kxp1Zus prob: 0.7%: 今いじったら出来ました。
一応検証して 12/14 までにはβ公開予定。
# スケジュールは白紙に;;

14 owa 2003/12/05 00:44 id: mJs8kxp1Zus prob: 0.2%: いまのうちに UTF8 化しないとまずくない?
戦えないと話にならないので、ツール作成予定を発表することにした。
このツールでできること
フォルダの management_page_charset や基本的なオブジェクトのテキスト
部分のエンコードをインタラクティブに変換すること。
スケジュール
---
0.1.0. UTF-8 エンコード変更処理の実装を完了
0.1.1. β版公開
---
0.3.1. エンコード判別メソッドを独自に作る (精度と信頼性アップ)
0.3.2. 表示用文字列カットメソッド作る
0.3.3. コメントを入れる
0.3.4. セキュリティ関連追加
---
0.5.1. オブジェクトの種類を拡張できるようにリファクタリング
0.5.2. エンコーダの種類を拡張できるようにリファクタリング
---
とりあえず予定だけ。β版は今年中になんとか...

13 owa 2003/11/27 00:57 id: mJs8kxp1Zus prob: 0.3%: あとでゆっくり見ようと思ったサイト
http://oss.software.ibm.com/icu/download/2.8/index.html
http://www.egenix.com/files/python/unicode-proposal.txt
今作ってるツールで kconv はうまく変換してくれるが pykf は何か変。
文字コードはゆっくり考えないといろいろボロが出そうです。
http://www.python.jp/Zope/download/JapaneseCodecs

12 kiyo 2003/11/26 00:14 id: M4qDt4tUHP2 prob: 4.8%: 課題-2 は柴田さんでしょう。
僕じゃないよー。
課題-3 もここから情報もらったものです。
あたしゃ、何にもしてない。

11 owa 2003/11/25 23:31 id: mJs8kxp1Zus prob: 0.2%: 課題-2,3 を kiyo さんに解決してもらったみたい;;
課題-1 は今作っているツールでいちおう解決する見込み。
ということで、当初の課題は短命で終わるかもしれないのだけど、
実際はこれから発生する問題で、いろいろ続くという予感がします。
とりあえず第一段は今年中に終了させるのを目標としよう。
# 作るのは一割、検証が九割ということですので
過程で作ったものとか、パクって修正したものは、どこかにまとめて置きます。
って終わったみたいだけど、ほとんどこれからです;;

10 owa 2003/11/23 23:24 id: mJs8kxp1Zus prob: 0.0%: UTF変換プロダクトDTMLで作ってたけど繁雑なので内部でpythonに切替え中。
そろそろ自家製pythonスクリプトが心配になってきた。
文字列をsizeでちょん切るメソッドとか見直さないといけない。
pythonに既にutf対応メソッドあるのかもしれない、全く調査不足。

9 owa 2003/11/22 23:28 id: mJs8kxp1Zus prob: 0.0%: >>8 大丈夫じゃないかなあー
おっ RDB 使いの御言葉ですので助かります。かたじけない。
Firebird 見捨てた訳じゃないんです。
仕事で大容量の画像ファイルなど扱うことあるので常に意識してます。

Windows や Macintosh のこと考えると、
SJIS ←→ EUC-JP が互換じゃないことが常にネックになりがちです。
Web や多言語化のこと考えてもベースは Unicode になる流れ。
EUC-JP は(日本人にとって)プログラミングの観点からは確かに便利でしたけど、
こだわる気はありません。
Unicode が良いとか悪いとかは別次元の話と思って進めてます。

コード変換プロダクトやっとフレームできました。
メソッド仕込む段階ですが Zope プロダクト面白いですね^^
# 馴れた人なら１〜２時間でコーディングできるんだろうな

8 kiyo 2003/11/22 19:45 id: M4qDt4tUHP2 prob: 0.3%: >>6 アダプタ Psycopg は大丈夫なのだろうか?
大丈夫じゃないかなあー。
まだ実験中だけど今のところ良いような
最近　Firebird の方が blob での UTF-8 にバグあるんじゃないかと
騒いでるよー。
うーん、一番安心できると思っていたのに。。。

7 owa 2003/10/04 22:09 id: mJs8kxp1Zus prob: 0.0%: 下調べの最後にコンテンツの変換。
最初は ftp で持ってきて変換して戻すとか、
ZODB ツールを改修して一発で変換することとか考えていたけど、
なぜか気が乗らない... そうだプロダクトを作ろう
とりあえず単純なプロダクト作ってみた。
設定文字コード、タイトル、生データが見えることを確認。
(Folder, DTML Document, DTML Method, Python Script, TinyTablePlus)
web 経由で使える文字コード変換ツールが作れそう。
という理由で、この辺から始めることにした。
1. コンテンツの変換
2. 例外への対応
3. RDB の UTF-8 化