UTF-8 化

このサイトをUTF-8にしたのは良いが、これから問題出そう。

32  kiyo  2004/01/20 10:45 id: M4qDt4tUHP2  prob: 0.0%

>>31 
間違い、勘違いのたぐいの場合無視して下さい。
私（FZUG）が昔さわったプロダクトに Fle3 があります。
学習系に使われるプロダクトのようです。
これの Vocabulary.xx (「ボキャブラリィ」つづりがあやしい) だったと記憶しますが、
xx部分がそれぞれの言語に分かれて（例えば jpだと日本）いてこれを作る事で日本語表示が可能になってます。
plone にも似たしくみがあったような？　

http://www.atransia.co.jp/home/ZenKai/Members/kafka/News/103...
から情報を探れます。 

# ボキャブラリィ vocablaryでした。
# WebMailも同じですね。 これ少し日本語化する為いじったのが
http://fzug.com/fzug_prog/zopeing/d_load/TEST/WebMailJP-4.1....
にあります。

31  owa  2004/01/20 01:23 id: mJs8kxp1Zus  prob: 0.1%

Unix 系ではロケールと云う多言語化のしくみがありますが、Zope のプロダクト作る場合どんな方法があるのでしょう。この前の会合で質問したところ python, zope 系では標準的なしくみは無いらしいです。もしアイディア持っている方が
居られれば教えてください。
自分の作っているプロダクトのメッセージ文をどう扱おうか迷ってます。ボタンの切替えで多言語表示にしようと企てはいますが。JCodeChangerにも一部企てが入っていますが。

30  owa  2004/01/20 01:01 id: mJs8kxp1Zus  prob: 0.0%

>>29
script のマクロのような使いかたみたい?僕は使わないと思う。
この方面にとりくんでいればJZUGの価値があったのだろうけど。今や個人戦になっているようですね。といっても横のつながりが無いと云うわけではありませんが。
http://mail.zope.org/pipermail/zope-dev/2004-January/021420....
http://www.freeml.com/message/zope-memo@freeml.com/0000555
http://www.atransia.co.jp/home/fukamachi/Diary/2004/01/14/
...
兵士を助けるすべがない管理職は何をなすべきか。"文字昆布"かじるしか手は無いと云うのでは困った。もともとオープンソース・ソフトの世界に管理職なるものをもちこもうと云う発想には賛成しないので、今はあまり関わりたくありません。もちろんオープンな
管理システムは全然別で、望ましいと思ってますけど。

29  kiyo  2004/01/19 18:09 id: M4qDt4tUHP2  prob: 1.6%

最近 UTF-8 を意識している人が多くなったのだろうか？
http://mojix.org/2004/01/02/151950 を発見した。

28  owa  2003/12/18 21:00 id: mJs8kxp1Zus  prob: 0.2%

この BBS の投稿にフィルタが必要です
http://www2d.biglobe.ne.jp/~msyk/cgi-bin/charcode/
http://www2d.biglobe.ne.jp/~msyk/cgi-bin/charcode/bbs.cgi?c=...
UTFコードの仕様通りでないと、セキュリティ的にまずいらしい。
また UTF-8 以外で投稿することも可能ではあるので、作らねば。

以前に某 ZWiki サイトが文字化けでひどいことになったのを思い出します。
その時はなんでコードチェックしないのかと思いましたが、今日は我が身。
コードをチェックするついでに、いろいろチェックして見ようかな。
(追記: ↓の個人情報ポリシには変更ありません)

27  owa  2003/12/17 23:43 id: mJs8kxp1Zus  prob: 0.2%

さっき、このサイトの UTF-8 化実施しました。
不具合あるけど、ゆっくり直していきます^^

PostgreSQL のテーブル変換に psycopg ライブラリ使ったのですが、
昔 Oracle と C で組んだ頃を思い出すと涙出るくらい簡単。
なんかこの BBS も書き換えたくなってきたけど、それはまた別の話。

# せっかく頂いたコメント三件変換できませんでした。
# 後でハンドコピーしますので勘弁。

26  owa  2003/12/15 23:46 id: mJs8kxp1Zus  prob: 0.2%

さていよいよ RDB のコンバートなので下調べ
http://initd.org/software/initd/psycopg
http://www.python.jp/pub/doc_jp/contrib/peps/pep-0249.txt
http://www.postgresql.jp/document/pg734doc/index.html
python で RDB を自由に使えたらとてもうれしい。
ゆっくり急がずまいろうか^^

25  owa  2003/12/14 22:32 id: mJs8kxp1Zus  prob: 0.0%

サイトをコピーして全部 UTF-8 変換してみたけど、まあまあでした^^
問題が出たのは瓦版ページだけ。
- HTML ヘッダに文字コードを直に書くのは、Zope 的に良くない;;
- RDFSummary 直しが必要
  EUC-JP と UTF-8 の両方に対応するには日本語の処理部分が多くなるので
  別モジュールにしたほうが良さそう。元々コード変換は後付け機能だし。
- 某 EUC-JP サイトを UTF-8 変換するとエラーになる
  文字列の最後が半端だと kconv がエラーを吐いて変換してくれません。
  文字列カットとチェックメソッド作るので、それで対応する予定。
- 某 COREBlog サイトの RDF でエラーが出たけど、現在日記の先頭が文字化け
  していて変、そのせいかもしれない。なので少し様子見。
- 某瓦版サイトでは先頭文字やサイズによるカットメソッド使ってますが、
  処理を端折りすぎ。ちゃんと作らないといけません > 反省

24  owa  2003/12/14 00:14 id: mJs8kxp1Zus  prob: 0.0%

>>23
JCodeChanger-0.2.0 で ZCatalog ベースのオブジェクトにも対応しました。
ftp://owa.as.wakwak.ne.jp/pub/Zope/JCodeChanger
このプロダクトはツールなので、使う人におまかせと云うスタンスです。
ハサミを販売しても傷害幇助罪にはならないだろうと考えてます。

Squishdot, COREBlog 等の中のオブジェクトも変換できるので、
なんかの時には役立つかもしれません。

が、個別のプロダクトで設定している独自のプロパティ等があるので、
そのプロダクト自体をいじらないといけない場合が多いと思います。
日本語化 ZWiki の HTML ヘッダなどは直に埋め込まれていて、
テキストを変換した後、修正が必要のようでした。

自分のサイトの場合、何時移行しても対応できるようにヘッダに
---
<meta http-equiv="content-type"
content="text/html;charset=<dtml-var management_page_charset missing="euc-jp">">
---
などと入れてます

ところで pykf を選択した場合 utf-8 変換できない理由わかりました。
pykf は utf-8 への変換をサポートしていないので組込みの unicode を 
使ってますが python 2.2 以降じゃないとだめみたいです。
ということで将来動くだろうとコーデック選択は残すことにしました。

と自分だけ納得して、ここまでで一応区切りにしますが、
障害等あれば連絡頂けると有り難いと思います。

追信: python で unicode モジュール使うには日本語の場合 JapaneseCodecs が必用です。python
の version のせいだと思ったのは私が無知でした。ちゃんと使えてます。失礼しました。

23  owa  2003/12/13 00:55 id: mJs8kxp1Zus  prob: 0.1%

>>20 このまま安定版目指します
舌の根も乾かないうちに Squishdot も対応できないか調べ始めました。
Zch, COREBlog などもそうなんですが ZCatalog をベースにしてます。
一応フォルダの中に入れるのですが、変換かけて良いものかどうか判断がつきません。
うまく行ったら公開するかも知れませんが、本当の目的は別のところで、
将棋のベースを何にするかを調査しているだけだったりします。
話は飛びますが、てっきり CubeDeZope は UTF-8 化済みと誤解してました。
http://mooya.ath.cx/CubeDeZope/1071238928
サイトの中をいろいろ調べると、参考になる記事があります。
ちょっとうちとはスケールが違います。
ここも http://cjkpython.berlios.de/