Encoding headers, wrapping eigenclasses
This commit is contained in:
parent
b97625597e
commit
e3cd3341b7
|
@ -6,10 +6,8 @@ require "nokogiri"
|
||||||
require "cgi"
|
require "cgi"
|
||||||
|
|
||||||
module MusicBrainz
|
module MusicBrainz
|
||||||
module Tools
|
module Tools; end
|
||||||
end
|
module Parsers; end
|
||||||
module Parsers
|
|
||||||
end
|
|
||||||
end
|
end
|
||||||
|
|
||||||
require "version"
|
require "version"
|
||||||
|
|
|
@ -17,7 +17,7 @@ module MusicBrainz
|
||||||
|
|
||||||
def load(params, query)
|
def load(params, query)
|
||||||
parser = MusicBrainz::Parsers.get_by_name(params[:parser])
|
parser = MusicBrainz::Parsers.get_by_name(params[:parser])
|
||||||
xml = MusicBrainz::Tools::Proxy.load(query)
|
xml = MusicBrainz::Tools::Proxy.query(query)
|
||||||
result = parser[:const].send(parser[:method], Nokogiri::XML(xml))
|
result = parser[:const].send(parser[:method], Nokogiri::XML(xml))
|
||||||
if params[:create_model]
|
if params[:create_model]
|
||||||
result_model = params[:create_model].new
|
result_model = params[:create_model].new
|
||||||
|
|
|
@ -1,4 +1,5 @@
|
||||||
# -*- encoding: utf-8 -*-
|
# -*- encoding: utf-8 -*-
|
||||||
|
|
||||||
module MusicBrainz
|
module MusicBrainz
|
||||||
module Parsers
|
module Parsers
|
||||||
class << self
|
class << self
|
||||||
|
|
|
@ -1,44 +1,47 @@
|
||||||
# -*- encoding: utf-8 -*-
|
# -*- encoding: utf-8 -*-
|
||||||
|
|
||||||
module MusicBrainz
|
module MusicBrainz
|
||||||
module Tools
|
module Tools
|
||||||
class Cache
|
class Cache
|
||||||
@@cache_path = nil
|
class << self
|
||||||
|
@@cache_path = nil
|
||||||
|
|
||||||
def self.cache_path=(path)
|
def cache_path=(path)
|
||||||
@@cache_path = path
|
@@cache_path = path
|
||||||
end
|
|
||||||
|
|
||||||
def self.cache_path
|
|
||||||
@@cache_path
|
|
||||||
end
|
|
||||||
|
|
||||||
def self.clear_cache
|
|
||||||
FileUtils.rm_r(@@cache_path) if @@cache_path && File.exist?(@@cache_path)
|
|
||||||
end
|
|
||||||
|
|
||||||
def self.cache_contents(url)
|
|
||||||
response = nil
|
|
||||||
url_parts = url.split('/')
|
|
||||||
file_name = url_parts.pop
|
|
||||||
directory = url_parts.pop
|
|
||||||
file_path = @@cache_path ? "#{@@cache_path}/#{directory}/#{file_name}" : nil
|
|
||||||
|
|
||||||
if file_path && File.exist?(file_path)
|
|
||||||
response = File.open(file_path).gets
|
|
||||||
else
|
|
||||||
response = yield
|
|
||||||
|
|
||||||
unless response.nil? or file_path.nil?
|
|
||||||
FileUtils.mkdir_p file_path.split('/')[0..-2].join('/')
|
|
||||||
file = File.new(file_path, 'w')
|
|
||||||
file.puts(response.gets) # .force_encoding('UTF-8')
|
|
||||||
file.chmod(0755)
|
|
||||||
file.close
|
|
||||||
response.rewind
|
|
||||||
end
|
|
||||||
end
|
end
|
||||||
|
|
||||||
response
|
def cache_path
|
||||||
|
@@cache_path
|
||||||
|
end
|
||||||
|
|
||||||
|
def clear_cache
|
||||||
|
FileUtils.rm_r(@@cache_path) if @@cache_path && File.exist?(@@cache_path)
|
||||||
|
end
|
||||||
|
|
||||||
|
def cache_contents(url)
|
||||||
|
response = nil
|
||||||
|
url_parts = url.split('/')
|
||||||
|
file_name = url_parts.pop
|
||||||
|
directory = url_parts.pop
|
||||||
|
file_path = @@cache_path ? "#{@@cache_path}/#{directory}/#{file_name}" : nil
|
||||||
|
|
||||||
|
if file_path && File.exist?(file_path)
|
||||||
|
response = File.open(file_path).gets
|
||||||
|
else
|
||||||
|
response = yield
|
||||||
|
|
||||||
|
unless response.nil? or file_path.nil?
|
||||||
|
FileUtils.mkdir_p file_path.split('/')[0..-2].join('/')
|
||||||
|
file = File.new(file_path, 'w')
|
||||||
|
file.puts(response.gets) # .force_encoding('UTF-8')
|
||||||
|
file.chmod(0755)
|
||||||
|
file.close
|
||||||
|
response.rewind
|
||||||
|
end
|
||||||
|
end
|
||||||
|
|
||||||
|
response
|
||||||
|
end
|
||||||
end
|
end
|
||||||
end
|
end
|
||||||
end
|
end
|
||||||
|
|
|
@ -1,58 +1,61 @@
|
||||||
# -*- encoding: utf-8 -*-
|
# -*- encoding: utf-8 -*-
|
||||||
|
|
||||||
module MusicBrainz
|
module MusicBrainz
|
||||||
module Tools
|
module Tools
|
||||||
class Proxy
|
class Proxy
|
||||||
@@last_query_time = 0
|
class << self
|
||||||
@@query_interval = 1.5 # Min: 1.0 Safe: 1.5
|
@@last_query_time = 0
|
||||||
@@tries_limit = 5
|
@@query_interval = 1.5 # Min: 1.0 Safe: 1.5
|
||||||
|
@@tries_limit = 5
|
||||||
|
|
||||||
WEB_SERVICE_URL = 'http://musicbrainz.org/ws/2/'
|
WEB_SERVICE_URL = 'http://musicbrainz.org/ws/2/'
|
||||||
USER_AGENT = "gem musicbrainz (https://github.com/magnolia-fan/musicbrainz) @ " + Socket.gethostname
|
USER_AGENT = "gem musicbrainz (https://github.com/magnolia-fan/musicbrainz) @ " + Socket.gethostname
|
||||||
|
|
||||||
def self.query_interval=(sec)
|
def query_interval=(sec)
|
||||||
@@query_interval = sec.to_f
|
@@query_interval = sec.to_f
|
||||||
end
|
end
|
||||||
|
|
||||||
def self.query_interval
|
def query_interval
|
||||||
@@query_interval
|
@@query_interval
|
||||||
end
|
end
|
||||||
|
|
||||||
def self.tries_limit=(num)
|
def tries_limit=(num)
|
||||||
@@tries_limit = num.to_i
|
@@tries_limit = num.to_i
|
||||||
end
|
end
|
||||||
|
|
||||||
def self.load(params = {})
|
def query(params = {})
|
||||||
url = WEB_SERVICE_URL + params[:resource].to_s.gsub('_', '-') + '/' + (params[:id].to_s || '')
|
url = WEB_SERVICE_URL + params[:resource].to_s.gsub('_', '-') + '/' + (params[:id].to_s || '')
|
||||||
params.delete(:resource)
|
params.delete(:resource)
|
||||||
params.delete(:id) unless params[:id].nil?
|
params.delete(:id) unless params[:id].nil?
|
||||||
url << '?' + params.map{ |k, v|
|
url << '?' + params.map{ |k, v|
|
||||||
k = k.to_s.gsub('_', '-')
|
k = k.to_s.gsub('_', '-')
|
||||||
v = (v.is_a?(Array) ? v.map{ |_| _.to_s.gsub('_', '-') }.join('+') : v.to_s)
|
v = (v.is_a?(Array) ? v.map{ |_| _.to_s.gsub('_', '-') }.join('+') : v.to_s)
|
||||||
k + '=' + v
|
k + '=' + v
|
||||||
}.join('&') unless params.empty?
|
}.join('&') unless params.empty?
|
||||||
MusicBrainz::Tools::Cache.cache_contents(url) {
|
MusicBrainz::Tools::Cache.cache_contents(url) {
|
||||||
self.get_contents url
|
get_contents url
|
||||||
}
|
}
|
||||||
end
|
end
|
||||||
|
|
||||||
def self.get_contents(url)
|
def get_contents(url)
|
||||||
response = nil
|
response = nil
|
||||||
|
|
||||||
@@tries_limit.times {
|
@@tries_limit.times {
|
||||||
time_passed = Time.now.to_f - @@last_query_time
|
time_passed = Time.now.to_f - @@last_query_time
|
||||||
sleep(@@query_interval - time_passed) if time_passed < @@query_interval
|
sleep(@@query_interval - time_passed) if time_passed < @@query_interval
|
||||||
|
|
||||||
begin
|
begin
|
||||||
response = open(url, "User-Agent" => USER_AGENT)
|
response = open(url, "User-Agent" => USER_AGENT)
|
||||||
@@last_query_time = Time.now.to_f
|
@@last_query_time = Time.now.to_f
|
||||||
rescue => e
|
rescue => e
|
||||||
response = nil if e.io.status[0].to_i == 404
|
response = nil if e.io.status[0].to_i == 404
|
||||||
end
|
end
|
||||||
|
|
||||||
break unless response.nil?
|
break unless response.nil?
|
||||||
}
|
}
|
||||||
|
|
||||||
response
|
response
|
||||||
|
end
|
||||||
end
|
end
|
||||||
end
|
end
|
||||||
end
|
end
|
||||||
|
|
|
@ -1,4 +1,5 @@
|
||||||
# -*- encoding: utf-8 -*-
|
# -*- encoding: utf-8 -*-
|
||||||
|
|
||||||
module MusicBrainz
|
module MusicBrainz
|
||||||
VERSION = "0.6.0"
|
VERSION = "0.6.0"
|
||||||
end
|
end
|
||||||
|
|
|
@ -1,3 +1,5 @@
|
||||||
|
# -*- encoding: utf-8 -*-
|
||||||
|
|
||||||
require "spec_helper"
|
require "spec_helper"
|
||||||
|
|
||||||
describe MusicBrainz do
|
describe MusicBrainz do
|
||||||
|
|
|
@ -1,3 +1,5 @@
|
||||||
|
# -*- encoding: utf-8 -*-
|
||||||
|
|
||||||
require "spec_helper"
|
require "spec_helper"
|
||||||
|
|
||||||
describe MusicBrainz::Artist do
|
describe MusicBrainz::Artist do
|
||||||
|
|
|
@ -1,3 +1,5 @@
|
||||||
|
# -*- encoding: utf-8 -*-
|
||||||
|
|
||||||
require "spec_helper"
|
require "spec_helper"
|
||||||
|
|
||||||
describe MusicBrainz::ReleaseGroup do
|
describe MusicBrainz::ReleaseGroup do
|
||||||
|
|
|
@ -1,3 +1,5 @@
|
||||||
|
# -*- encoding: utf-8 -*-
|
||||||
|
|
||||||
require "spec_helper"
|
require "spec_helper"
|
||||||
|
|
||||||
describe MusicBrainz::Release do
|
describe MusicBrainz::Release do
|
||||||
|
|
|
@ -1,3 +1,5 @@
|
||||||
|
# -*- encoding: utf-8 -*-
|
||||||
|
|
||||||
require "spec_helper"
|
require "spec_helper"
|
||||||
|
|
||||||
describe MusicBrainz::Track do
|
describe MusicBrainz::Track do
|
||||||
|
|
|
@ -1,3 +1,5 @@
|
||||||
|
# -*- encoding: utf-8 -*-
|
||||||
|
|
||||||
require "rubygems"
|
require "rubygems"
|
||||||
require "bundler/setup"
|
require "bundler/setup"
|
||||||
require "ap"
|
require "ap"
|
||||||
|
|
|
@ -1,3 +1,5 @@
|
||||||
|
# -*- encoding: utf-8 -*-
|
||||||
|
|
||||||
require "spec_helper"
|
require "spec_helper"
|
||||||
|
|
||||||
describe MusicBrainz::Tools::Cache do
|
describe MusicBrainz::Tools::Cache do
|
||||||
|
|
Loading…
Reference in New Issue